Filebeat의 데이터 전처리 자동화

엘라스틱은 로그스태시 없이도 데이터를 연동할 수 있는데, 이미 살펴본 Upload a file을 제외한 나머지 두 기능은 모두 Beat 에이전트를 이용한다. 

'Elastic Agent'는 Beat 통합 프로젝트인데 아직은 베타고 설정도 복잡하다. 'Add data' 클릭.

원하는 데이터 유형을 선택하면 Filebeat를 이용한 연동 레시피를 보여준다. 윈도우 웹로그(IIS logs) 선택.

레시피 순서대로 따라만 하면 된다. Filebeat는 데이터 유형별로 최적화(?)된 수집/전처리 모듈을 제공하는데, 윈도우 웹로그를 연동하고 싶다면 IIS 모듈을 설치하는 식.

PS D:\ELK\filebeat-7.11.1-windows-x86_64> .\filebeat.exe modules enable iis
Enabled iis
PS D:\ELK\filebeat-7.11.1-windows-x86_64> .\filebeat.exe modules list
Enabled:
iis

다음은 IIS 모듈 설정 내역. 연동 대상 데이터의 기본 경로 및 전처리 파이프라인 등이 명시되어 있으며, 경로가 다르다면 OS별로 해당 경로를 지정해주면 된다. 별도 경로를 지정하면 디폴트 경로는 무시.

다음은 Filebeat 실행 결과. 모듈만 설치하면 거의 손 하나 까딱하지 않고, 윈도우 웹로그 기본 필드 구조가 반영된 데이터 구조를 만들 수 있다. UserAgent 분석 및 IP 지리정보 매핑까지 일사천리.

다음은 실제 적용되는 전처리 설정.

Filebeat를 실행하면 해당 설정이 노드에 등록되는 방식. beat가 아닌 노드에서 전처리가 실행된다는 얘기.

모듈 실행만 했는데 이정도면 꽤 쓸만하다. 물론 기본 필드 구조를 크게 벗어나지 못하기 때문에 다양한 관점의 분석은 어렵지만 그건 사용자마다 달라질 수 있는 부분이고, 모든 사용자의 사정을 다 반영할 수는 없으니까. 

옥에 티라면 로그스태시에 비해 많이 느리다. 아무래도 경량 에이전트를 지향하다 보니 자원을 아껴 쓰는 것 같다. 전처리 과정의 정규표현식 압박도 좀 있고.

관련 글

• Filebeat 경로
• Filebeat의 processors
• Filebeat 웹 로그 모듈 버그?
• Splunk의 데이터 전처리 자동화
• Filebeat: mapper_parsing_exception