데이터 노가다 실수담 - 15th

IIS 웹로그는 모든 필드를 '공백'으로 구분하기 때문에 원활한 필드 분류를 위해 필드값에 포함된 공백을 + 기호로 대체한다.

Splunk의 xml 처리

xml 포맷을 갖는 sysmon 이벤트 로그. 가장 중요한 EventData 계층은 동일한 Data 자식 계층이 반복되는 중첩 구조를 가지고 있다. 

<Event>
	<System>
		<Provider Name="Linux-Sysmon" Guid="{ff032593-a8d3-4f13-b0d6-01fc615a0f97}"/>
		<EventID>5</EventID>
		<Version>3</Version>
		<Level>4</Level>
		<Task>5</Task>
		<Opcode>0</Opcode>
		<Keywords>0x8000000000000000</Keywords>
		<TimeCreated SystemTime="2026-01-04T18:12:34.451516000Z"/>

Logstash 필터 xml

filebeat의 xml 데이터 처리. 깔끔.

processors:
  - include_fields:
      fields: "message"
  - decode_xml:
      field: message
      target_field: ""

2025년에 있었던 일

벌써 또 일 년. 제법 바쁘게 지낸 거 같은데 생각나는 건 엘라스틱 라이선스 이슈 뿐이다. 몇 개월 전 엘라스틱측 클레임이 들어왔다는 출강 기관의 SOS를 받은 것. 요지는 

누구 허락 받고 엘라스틱 교육 하느냐

Kibana Alert - 2nd

로그스태시도 대안이 될 수 있다. 원하는 조건 입력 후 이메일로 출력하는 방식.

input {
  elasticsearch {
    hosts => "https://192.168.56.1:9200"
    index => "winevent"
    user => "elastic"
    password => "******"
    ssl_certificate_authorities => "D:/ELK/v9/elasticsearch-9.2.0/config/certs/http_ca.crt"
    schedule => "* * * * *"
    query => '{

Kibana Alert

특정 조건 발생 시 경보 생성 기능은 유료다. 정확히 얘기하면 메일 발송 등 경보 발령에 의미를 부여해주는 기능이 유료. 일단 메일 커넥터 생성. 이때 gmail 서버 인증을 받으려면 앱 비밀번호(구글 계정 관리)를 먼저 만들어놔야 한다.

SplunkForwarder v9 - 2nd

다수 포워더 운영 효율을 높이는 방법은 배포 서버 연동.