Logstash
애플리케이션 및 클러스터에서 생성되는 로그를 수집하기 위한 컴포넌트
Logstash는 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진이며 서로 다른 소스의 데이터를 통합하고 사용자가 지정 한 목적지(통합 저장소)로 데이터를 정규화하여 저장할 수 있습니다. 다양한 입력 및 출력 필터를 통해 거의 모든 유형의 이벤트 데이터를 변환할 수 있으며 플러그 인으로 제공되는 많은 코덱이 처리 과정을 단순화 합니다.
LogStash는 아래와 같은 장점을 가집니다.
Elasticsearch 등을 위한 강력한 수집 기능
뛰어난 Elasticsearch 및 Kibana 시너지 효과를 발휘하는, 수평 확장이 가능한 데이터 처리 파이프라인플러그형 파이프라인 아키텍처
다양한 입력, 필터, 출력을 믹스매치하고 조정하면서 파이프라인에서 조화롭게 운용커뮤니티에서 확장 가능하고 개발자에게 편리한 플러그인 에코시스템
200여 개 플러그인 사용 가능, 또한 직접 플러그인을 만들어 제공할 수 있는 유연성
Turaco에서는 간단한 설정으로 LogStash를 클러스터내에 배포하는 수단을 제공합니다.
본 챕터에서는 LogStash 컴포넌트의 사용법에 대해 설명합니다.
컴포넌트 배치
LogStash 컴포넌트는 아키텍처 설계 화면 (이하 디자이너 화면)에서 좌측에 위치한 컴포넌트 목록에서 '수집 및 분석' 카테고리에 있습니다.
- 설계화면 왼쪽 컴포넌트 리스트 화면에서 LogStash 컴포넌트를 선택 후 디자이너 화면으로 드래그 & 드롭합니다.
- 배치된 LogStash 컴포넌트에 대한 이름과 설명을 입력 후 확인 버튼을 클릭합니다.
이름과 설명은 필수 입력값이며 입력하지 않으면 확인 버튼이 활성화되지 않습니다.
복제 노드 수 및 포트 설정
환경 설정
LogStash 환경은 아래와 같이 4개 환경을 구성해야 합니다.
- Deployment -> 쿠버네티스 배포 환경 설정
- Service -> 쿠버네티스 서비스 환경 설정
- 실행 환경 -> LogStash가 동작하기 위한 기본 환경 설정
- 파이프라인 -> 수집을 위한 파이프라인 설정
배포 리소스 설정
LogStash를 클러스터내 설치하기 위한 배포 환경을 구성하기 위한 단계입니다.
-
환경 설정을 위한 아이콘을 클릭합니다.
-
드롭다운 아이콘을 클릭합니다.
-
드롭다운 메뉴에서 Deployment를 항목을 선택합니다.
선택 시, Deployment 설정 내용이 팝업창에 표시됩니다. -
적용 버튼을 클릭합니다.
-
Deployment 내용이 환경 설정 입력창에 반영됩니다.
서비스 리소스 설정
LogStash를 클러스터내 설치하기 위한 배포 시 서비스 리소스 환경을 구성하기 위한 단계입 니다.
-
환경 설정을 위한 아이콘을 클릭합니다.
-
드롭다운 아이콘을 클릭합니다.
-
드롭다운 메뉴에서 Service를 항목을 선택합니다.
선택 시, Service 설정 내용이 팝업창에 표시됩니다. -
적용 버튼을 클릭합니다.
-
Service 내용이 환경 설정 입력창에 반영됩니다.
실행 환경 설정
LogStash를 실행하기 위한 기본 환경을 구성하기 위한 단계입니다.
-
환경 설정을 위한 아이콘을 클릭합니다.
-
드롭다운 아이콘을 클릭합니다.
-
드롭다운 메뉴에서 Configuration를 항목을 선택합니다.
선택 시, Configuration 설정 내용이 팝업창에 표시됩니다. -
적용 버튼을 클릭합니다.
-
Configuration 내용이 환경 설정 입력창에 반영됩니다.
실행 환경 세부 설정
파이프라인 설정
데이터 수집을 위한 환경을 구성하기 위한 단계입니다.
LogStash 동작 후 정상적으로 데이터를 수집하기 위해서는 파이프라인 항목을 올바르게 구성하여야 합니다.
필요한 경우, 파이프라인 항목을 더 추가할 수 있습니다.
-
환경 설정을 위한 아이콘을 클릭합니다.
-
드롭다운 아이콘을 클릭합니다.
-
드롭다운 메뉴에서 Configuration를 항목을 선택합니다.
선택 시, Configuration 설정 내용이 팝업창에 표시됩니다. -
적용 버튼을 클릭합니다.
-
Configuration 내용이 환경 설정 입력창에 반영됩니다.