케세라세라: tech

레이블이 tech인 게시물을 표시합니다. 모든 게시물 표시

2026년 10월 17일 토요일

엘라스틱 Anomaly Detection Job

엘라스틱이 데이터 성격별로 알아서 이상징후를 분석해주는 ML 작업 기능을 제공한다. ECS와 호환되는 테이블 구조일 때만 ML 작업 선택 가능. 다음은 winlogbeat로 윈도우 이벤트 연동 시 선택 가능한 ML 작업 내역.

Logstash 필터 xml - 2nd

xml 필터는 xml 코드만을 인식한다.

filter {
 mutate {
  remove_field => ["@timestamp", "@version", "path", "host"]
 }

 xml {
  force_array => false
  source => "message"
  target => "event"
 }
}

Splunk의 xml 처리 - 2nd

makeresults를 이용한 xml 테스트 환경. csv 포맷이라 ,를 기준으로 데이터가 잘린다.

엘라스틱 Runtime field - 15th

로그스태시는 문자열 필드를 text(검색용)와 keyword(집계용) 타입으로 나누는데, 이때 집계용 필드 이름에 keyword(fieldname.keyword)를 붙여서 text 타입과 구분한다. beat도 타입별 역할은 같은데, 명명 규칙이 다르다. 검색용 필드 이름에 text를 붙임.

ESQL - 4th

오늘 새롭게 발생한 프로세스 검색.

정규표현식: 문자클래스 범위

버전 정보를 제외한 문자열만 추출하고 싶다. 특수문자 / 제외.

데이터 시인성 - 10th

데이터 발생 확률을 측정해주는 anomalousvalue 실행 결과. 값이 0에 가까울수록 발생 확률이 낮다는 의미이기 때문에 그만큼 이상징후일 가능성이 높다.

Logstash 권한 - 3rd

간만에 로그스태시. root 실행을 아예 막아놨네? path.settings 옵션 없으면 logstasy.yml도 찾지 못하고(..)

엘라스틱 Runtime field - 14th

특정 필드의 해시값(fingerprint)을 구한 후, 숫자(hexnum)로 바꾸는 beat 설정. 기본 해시 알고리즘은 256bit(64자리) 해시값을 만드는 sha256.

processors:
  - include_fields:
      fields: "winlog"
  - fingerprint:
      fields: "winlog.event_data.NewProcessName"
  - script:
      lang: javascript
      source: >
        function process(evt) {
          var str = evt.Get('fingerprint');
          var hex = parseInt(str, 16);
          evt.Put('hexnum', hex)
        }