Skip to main content

Filebeat

데이터 수집용 컴포넌트

가벼운 로그 수집기이며 각종 장비 및 클라우드, 컨테이너, 호스트 VM 상관없이 로그 파일을 경량화된 방식으로 수집하는 데이터 수집이 가능하게 합니다.
LogStash 대비 상대적으로 리소스를 상당히 적게 소모하며 간단한 필터 기능을 제공합니다.

FileBeat의 장점은 아래와 같습니다.

  • 다른 로그 수집 모듈에 비해 적은 리소스 소모량
  • 특정 로그 타입에 대해 모듈 제공
  • 데이터 구분을 위한 간단한 필터 제공

이 컴포넌트는 설치시, DaemonSet으로 설치되어 클러스터의 각 노드에 배포됩니다. 노드 추가 시, 추가된 노드에도 자동으로 설치됩니다.

Turaco 디자이너에서 사용하는 Filebeat 컴포넌트 사용 방법을 기술합니다.

컴포넌트 배치​

Filebeat 컴포넌트는 아키텍처 설계 화면 (이하 디자이너 화면)에서 좌측에 위치한 컴포넌트 목록에서 '수집 및 분석' 카테고리에 있습니다.​

  1. 설계화면 왼쪽 컴포넌트 리스트 화면에서 Filebeat 컴포넌트를 선택 후 디자이너 화면으로 드래그 & 드롭합니다.

컴포넌트배치

  1. 배치된 Filebeat 컴포넌트에 대한 이름과 설명을 입력 후 확인 버튼을 클릭합니다.
    이름과 설명은 필수 입력값이며 입력하지 않으면 확인 버튼이 활성화되지 않습니다.

환경 설정​

Filebeat 컴포넌트는 아래와 같이 세 부분에 대한 설정을 해야 합니다.

  • 컴포넌트 배포를 위한 설정
  • 데이터 원본 설정
  • 데이터 대상 설정

배포 설정​

클러스터내에 Filebeat 컴포넌트를 배포하기 위한 설정을 할 수 있습니다.
ECK Operator를 통해서 설치되며 Operator는 기본적으로 Turaco에서 제공되며 DaemonSet으로 배포되어 클러스터의 각 노드에 배포됩니다.

배포 설정

  1. 환경 설정을 위한 아이콘을 클릭합니다.

  2. 드롭다운 아이콘을 클릭합니다.

  3. 드롭다운 메뉴에서 DaemonSet를 항목을 선택합니다.
    선택 시, DaemonSet 설정 내용이 팝업창에 표시됩니다.

  4. 적용 버튼을 클릭합니다.

  5. DaemonSet 내용이 환경 설정 입력창에 반영됩니다.

Filebeat 상세 구성

ECK Operator를 통한 Filebeat에 대한 상세 구성 내용은 여기를 참고하세요.

수집 환경 설정​

Filebeat는 수집을 할 데이터 원본과 수집된 데이터를 저장할 대상을 설정해야 합니다.

  • [데이터 원본] -> [Filebeat] -> [대상 저장소]

수집할 데이터 대상은 입력설정 항목에서 설정 할 수 있으며 대상 저장소는 출력 설정 항목에서 설정할 수 있습니다.

입력 설정​

데이터 원본에 대한 설정은 아래 항목에서 선택할 수 있습니다.

입력 설정

  1. 환경 설정을 위한 아이콘을 클릭합니다.

  2. 드롭다운 아이콘을 클릭합니다.

  3. 드롭다운 메뉴에서 수집할 데이터 소스를 선택합니다.
    선택 가능한 항목의 아래와 같습니다.

  • Log
  • FileStream
  • Kafka
  • HTTP Endpoint
  • Redis
  • Container

  1. 적용 버튼을 클릭합니다.

  2. 선택한 항목에 대한 설정 내용이 환경 설정 입력창에 적용됩니다.

출력 설정​

수집한 데이터를 저장할 대상 서비스를 선택할 수 있습니다.

입력 설정

  1. 환경 설정을 위한 아이콘을 클릭합니다.

  2. 드롭다운 아이콘을 클릭합니다.

  3. 드롭다운 메뉴에서 수집된 데이터를 저장할 서비스를 선택합니다.
    현재는 LogStash만 저장할 수 있으며 '+ADD' 버튼을 통해 저장 대상 서비스를 추가할 수 있습니다.

  • LogStash

  1. 적용 버튼을 클릭합니다.

  2. 선택한 항목에 대한 설정 내용이 환경 설정 입력창에 적용됩니다.