Kibana Alert - 3rd

ElastAlert도 대안이 될 수 있다. pip로는 설치가 잘 되지 않아서 가상 환경을 자동으로 지원한다는 pipx로 WSL 우분투에 설치.

root@easyDATA:~# apt install pipx
root@easyDATA:~# pipx install elastalert2
 installed package elastalert2 2.29.0, installed using Python 3.12.3 These apps are now globally available - elastalert - elastalert-create-index - elastalert-test-rule ⚠️ Note: '/root/.local/bin' is not on your PATH environment variable. These apps will not be globally accessible until your PATH is updated. Run pipx ensurepath to automatically add it, or manually modify your PATH in your shell's config file (i.e. ~/.bashrc). done!
root@easyDATA:~# ls .local/bin/
elastalert  elastalert-create-index  elastalert-test-rule

데이터 시인성 - 9th

변수 고유개수 발생 추이.

Splunk의 날짜 계산 - 2nd

12시간 간격 집계 결과. 데이터는 10일부터 존재하는데 시작 시간이 9일 21시? 스플렁크가 (한국보다 9시간 빠른) GMT 기준으로 시간을 계산한 결과, 10일 0시가 아닌 09시가 기준이 되면서 12시간 간격 시작 시간이 전날 21시가 된 듯. 

Splunk with LLM

AI Toolkit 앱(구 MLTK)이 LLM 연동 기능을 제공한다.

Splunk 설정 변경

스플렁크 설정 작업은 웹UI를 사용하는 게 편하다. 시스템 재시작이 대부분 필요 없기 때문.

data with no timestamp

스플렁크는 이벤트 내에서 시간 정보를 찾고, 없으면 이벤트 파일명에서 찾는다고 한다. 그런데 파일명에도 시간 정보가 없으면?

having query - 2nd

useragent 발생 추이.

TA-user-agents

useragent 정보를 분석해주는 스플렁크앱. 로그스태시 useragent 필터와 같은 정규표현식 검사 기반(regexes.yaml)으로 동작하며 브라우저, 운영체제, 디바이스별로 정보를 분류해준다. 그중 브라우저 정보만 출력.

Splunk의 eval과 rex - 5th

줄바꿈(\n) 문자를 이용해서 두 번째 라인의 계정 정보만을 검사하는 정규표현식.

SQL 대시보드 shaper

SQL을 입력하면 차트를 그려주는 데이터 시각화 툴 shaper.

C:\Users\Administrator>pip install shaper-bin
Collecting shaper-bin
  Downloading shaper_bin-0.14.0-py3-none-any.whl.metadata (2.3 kB)
Requirement already satisfied: requests>=2.31.0 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from shaper-bin) (2.32.5)
Requirement already satisfied: charset_normalizer<4,>=2 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (3.4.4)
Requirement already satisfied: idna<4,>=2.5 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (3.11)
Requirement already satisfied: urllib3<3,>=1.21.1 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (1.26.20)
Requirement already satisfied: certifi>=2017.4.17 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (2025.11.12)
Downloading shaper_bin-0.14.0-py3-none-any.whl (12 kB)
Installing collected packages: shaper-bin
Successfully installed shaper-bin-0.14.0

Sysmon의 이벤트 필터링

특정 경로의 실행 파일을 예외 처리하는 Network connection 이벤트 필터링 설정. 

<Sysmon schemaversion="4.90"/>
  <!-- Capture all hashes -->
  <HashAlgorithms>*</HashAlgorithms>
  <EventFiltering>
    <FileDelete onmatch="include"/>
    <ClipboardChange onmatch="include"/>
    <ProcessCreate onmatch="exclude"/>
    <ProcessTerminate onmatch="include"/>					
    <ProcessTampering onmatch="exclude"/>
    <ProcessAccess onmatch="exclude"/>
    <FileCreateTime onmatch="exclude"/>
    <FileCreate onmatch="exclude"/>
    <FileCreateStreamHash onmatch="exclude"/>

데이터 노가다 실수담 - 16th

csv 포맷 iis 로그.

Mysql 설치 오류 - 2nd

윈도우11에서 8.0 버전 설치가 안 된다. 정확히 얘기하면 세부 설정(Run MySQL Configurator) 옵션이 보이지 않는다.

데이터 노가다 실수담 - 15th

IIS 웹로그는 모든 필드를 '공백'으로 구분하기 때문에 원활한 필드 분류를 위해 필드값에 포함된 공백을 + 기호로 대체한다.

Splunk의 xml 처리

xml 포맷을 갖는 sysmon 이벤트 로그. 가장 중요한 EventData 계층은 동일한 Data 자식 계층이 반복되는 중첩 구조를 가지고 있다. 

<Event>
	<System>
		<Provider Name="Linux-Sysmon" Guid="{ff032593-a8d3-4f13-b0d6-01fc615a0f97}"/>
		<EventID>5</EventID>
		<Version>3</Version>
		<Level>4</Level>
		<Task>5</Task>
		<Opcode>0</Opcode>
		<Keywords>0x8000000000000000</Keywords>
		<TimeCreated SystemTime="2026-01-04T18:12:34.451516000Z"/>

Logstash 필터 xml

filebeat의 xml 데이터 처리. 깔끔.

processors:
  - include_fields:
      fields: "message"
  - decode_xml:
      field: message
      target_field: ""