Splunk의 Join

스플렁크는 조인 기능을 지원한대서 써보는 중인데 진짜 된다. 일단 Sysmon 이벤트 중 네트워크 연결(eventcode=3) 이벤트 발생 통계.

index=sysmon EventCode=3
| stats count as sysmon_count by img_name
| sort sysmon_count desc

① sysmon 인덱스에서 eventcode=3인 데이터만 불러온 후,

② img_name(프로세스)별로 집계한 다음,

③ 내림차순으로 정렬해주는 SPL(Search Process Language) 쿼리문을 사용했다.

카프카와 로그스태시 연동

로그스태시 장애 발생 시 데이터 유실을 방지하기 위해 카프카를 많이 쓰는 듯하다. 그런데 카프카는 데이터를 보낼 때 직렬화(?) 과정을 거친다고.

Filebeat > Logstash

input {
 beats {
  port => 5044
 }
}

output {
 stdout {}
}

Splunk의 데이터 전처리

다음은 Filebeat의 아파치 모듈을 이용한 웹로그 연동 결과. URL과 변수가 포함된 URI 필드(url_original)가 보인다.

Filebeat의 데이터 전처리

엘라스틱은 로그스태시 없이도 데이터를 연동할 수 있는데, 이미 살펴본 Upload a file을 제외한 나머지 두 기능은 모두 Beat 에이전트를 이용한다. 

데이터 분석이 쉬워지는 비법 - 2nd

종종 데이터 전처리를 쉽게 또는 자동으로 해주는 기능 없냐는 질문을 받을 때가 있다. 그런 기능 비슷한 게 있긴 있다. (Machine Learning > Data Visualizaer > Import data)

Elasticsearch SQL - 2nd

엘라스틱이 sql을 지원하기 시작한지 꽤 됐는데 조인은 아직이다. 

Logstash 필터 date - 3rd

간단한 파이프라인 설정.

filter {
 mutate { remove_field => [ "@timestamp", "@version", "path", "host" ] }
 dissect { mapping => { "message" => "%{timestamp} %{+timestamp} %{}" } }
 date { 
  match => [ "timestamp", "yyyy-MM-dd HH:mm:ss" ] 
  remove_field => "timestamp" 
 }
}