Logstash 필터 grok - 3rd

간단한 파이프라인 테스트 결과.

[2020-12-10T20:28:16,956][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
{
    "message" => "a|b\r"
}
{
    "message" => "|c\r"
}

Winlogbeat의 파일 연동 - 2nd

Winlogbeat는 실시간 기록되는 이벤트 로그는 물론 별도 저장된 이벤트 로그 파일 연동도 지원한다.

 

winlogbeat.event_logs:  - name: 'C:\backup\sysmon-2019.08.evtx'

문제는 파일 연동 시 단일 파일 단위로만 연동을 지원하며, 와일드카드 등을 이용한 다수 파일 단위의 연동은 지원하지 않는다는 것. LogParser는 지원하는데

LogParser의 파일 연동

 애플리케이션 이벤트 로그 파일을 D 드라이브로 복사 후,

java.io.FilePermission 에러

다음은 SSL 통신을 위한 엘라스틱 설정(elasticsearch.yml). 인증서 경로는 'D:/ELK/certutil'.

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate 
xpack.security.transport.ssl.key: D:/ELK/certutil/instance/instance.key 
xpack.security.transport.ssl.certificate: D:/ELKcertutil/instance/instance.crt 
xpack.security.transport.ssl.certificate_authorities: D:/ELK/certutil/ca/ca.crt
xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.key: D:/ELK/certutil/instance/instance.key 
xpack.security.http.ssl.certificate: D:/ELK/certutil/instance/instance.crt 
xpack.security.http.ssl.certificate_authorities: D:/ELK/certutil/ca/ca.crt

winlogbeat-security.js - 2nd

로그스태시는 사전 정의되지 않은 모든 데이터를 문자열로 인식한다. 전에 로그스태시가 숫자를 인식한다고 했었는데 착각이었음 다음은 winlogbeat가 쏴주는 5156 이벤트(네트워크 연결 허용) 중 목적지 포트가 53인 이벤트만을 dns-request 인덱스에 저장하는 파이프라인 설정.

input { 
 beats { port => 5044 } 
}
  
output {
 stdout {}
 if [winlog][event_data][DestPort] == 53 {  
  elasticsearch {    
   hosts => "192.168.56.1"    
   index => "dns-request"   
  }
 } 
}

Logstash 휴먼 버그

간단한 로그스태시 파이프라인 설정.

input {
 file {
  path => "D:/Edu/Multicam/elastic/log/iis_sample.log"
  start_position => "beginning"
  sincedb_path => "nul"
 }
}

output {
 elasticsearch {
  hosts => "192.168.56.1"
 }
}

WSL2 우분투의 logstash: unrecognized service

WSL2 우분투에 엘라스틱을 설치해봤다.

Welcome to Ubuntu 20.04.1 LTS (GNU/Linux 4.19.128-microsoft-standard x86_64)
  System information as of Tue Nov  3 20:03:18 KST 2020

  System load:  0.12               Processes:             19
  Usage of /:   1.4% of 250.98GB   Users logged in:       0
  Memory usage: 27%                IPv4 address for eth0: 172.17.215.13
  Swap usage:   0%

root@MHKANG:/mnt/c/Users/Administrator#