Filebeat의 데이터 전처리 자동화

엘라스틱은 로그스태시 없이도 데이터를 연동할 수 있는데, 이미 살펴본 Upload a file을 제외한 나머지 두 기능은 모두 Beat 에이전트를 이용한다. 

데이터 분석이 쉬워지는 비법 - 2nd

종종 데이터 전처리를 쉽게 또는 자동으로 해주는 기능 없냐는 질문을 받을 때가 있다. 그런 기능 비슷한 게 있긴 있다. (Machine Learning > Data Visualizaer > Import data)

Elasticsearch SQL - 2nd

엘라스틱이 sql을 지원하기 시작한지 꽤 됐는데 조인은 아직이다. 

Logstash 필터 date - 3rd

간단한 파이프라인 설정.

filter {
 mutate { remove_field => [ "@timestamp", "@version", "path", "host" ] }
 dissect { mapping => { "message" => "%{timestamp} %{+timestamp} %{}" } }
 date { 
  match => [ "timestamp", "yyyy-MM-dd HH:mm:ss" ] 
  remove_field => "timestamp" 
 }
}