엘라스틱 Anomaly Detection Job

엘라스틱이 데이터 성격별로 알아서 이상징후를 분석해주는 ML 작업 기능을 제공한다. ECS와 호환되는 테이블 구조일 때만 ML 작업 선택 가능. 다음은 winlogbeat로 윈도우 이벤트 연동 시 선택 가능한 ML 작업 내역.   

데이터 곤조

Logstash 필터 xml - 2nd

xml 필터는 xml 코드만을 인식한다.

filter {
 mutate {
  remove_field => ["@timestamp", "@version", "path", "host"]
 }

 xml {
  force_array => false
  source => "message"
  target => "event"
 }
}

Splunk의 xml 처리 - 2nd

makeresults를 이용한 xml 테스트 환경. csv 포맷이라 ,를 기준으로 데이터가 잘린다.

엘라스틱 Runtime field - 15th

로그스태시는 문자열 필드를 text(검색용)와 keyword(집계용) 타입으로 나누는데, 이때 집계용 필드 이름에 keyword(fieldname.keyword)를 붙여서 text 타입과 구분한다. beat도 타입별 역할은 같은데, 명명 규칙이 다르다. 검색용 필드 이름에 text를 붙임. 

ESQL - 4th

오늘 새롭게 발생한 프로세스 검색.

정규표현식: 문자클래스 범위

버전 정보를 제외한 문자열만 추출하고 싶다. 특수문자 / 제외.