노가다는 AI에게

요즘 자주 보이는 마케팅.

TA-linux_secure - 3rd

TA-linux_secure 앱(버전 이슈인지 현재 검색은 안 됨)을 설치하면 스플렁크에 기본 내장된 linux_secure 소스타입 기능을 보강할 수 있다. 그런데 해당 앱이 만들어준 테이블 구조가 마음에 들지 않는다면? 

연애와 데이터 분석의 공통점

궁금하면 어떻게든 분석한다

데이터 노가다 실수담 - 17th

[로 끝나는 Z를 검사하는 PCRE 전방탐색. 사용된 ()는 둘이지만, 전방탐색은 캡쳐그룹으로 동작하지 않는다.

어떻게 공부할 것인가 - 2nd

국민학교 1학년 입학했을 때 처음 배웠던 게 ㄱ, ㄴ ㄷ, ㄹ... ㅏ, ㅑ, ㅓ... 그리고 자기 이름 쓰기, 뭐 그랬던 것 같다. 요즘엔 수준이 더 높아졌겠지. 하지만 그때나 지금이나 초등 교육 커리큘럼의 기본 전제는 다르지 않을 것이다.

말은 할 줄 알겠지

한국 살면서 한국말을 모르면 많이 답답할 것이다. 이 사람은 왜 웃고, 저 사람은 왜 화를 내는지 알 수 없고, 결국 세상이 어떻게 돌아가는지 알 수 없게 된다. 그 상태에서 학교 교육을 받으면? 생존이 위태위태한 상황인데 학습이 순조로울 리 없다.

무언가를 새로 배울 때는 항상 사전 지식이라는 기초가 있어야 한다. 비행기를 한쪽 엔진만으로 착륙시키는 법을 배우려면 먼저 멀쩡한 엔진이 두 개 달린 비행기를 착륙시킬 줄 알아야 한다 - 어떻게 공부할 것인가 (15페이지)

Kibana Alert - 3rd

ElastAlert도 대안이 될 수 있다. pip로는 설치가 잘 되지 않아서 가상 환경을 자동으로 지원한다는 pipx로 WSL 우분투에 설치.

root@easyDATA:~# apt install pipx
root@easyDATA:~# pipx install elastalert2
 installed package elastalert2 2.29.0, installed using Python 3.12.3 These apps are now globally available - elastalert - elastalert-create-index - elastalert-test-rule ⚠️ Note: '/root/.local/bin' is not on your PATH environment variable. These apps will not be globally accessible until your PATH is updated. Run pipx ensurepath to automatically add it, or manually modify your PATH in your shell's config file (i.e. ~/.bashrc). done!
root@easyDATA:~# ls .local/bin/
elastalert  elastalert-create-index  elastalert-test-rule

데이터 시인성 - 9th

변수 고유개수 발생 추이.

Splunk의 날짜 계산 - 2nd

12시간 간격 집계 결과. 데이터는 10일부터 존재하는데 시작 시간이 9일 21시? 스플렁크가 (한국보다 9시간 빠른) GMT 기준으로 시간을 계산한 결과, 10일 0시가 아닌 09시가 기준이 되면서 12시간 간격 시작 시간이 전날 21시가 된 듯. 

Splunk with LLM

AI Toolkit 앱(구 MLTK)이 LLM 연동 기능을 제공한다.

Splunk 설정 변경

스플렁크 설정 작업은 웹UI를 사용하는 게 편하다. 시스템 재시작이 대부분 필요 없기 때문.

data with no timestamp

스플렁크는 이벤트 내에서 시간 정보를 찾고, 없으면 이벤트 파일명에서 찾는다고 한다. 그런데 파일명에도 시간 정보가 없으면?

having query - 2nd

useragent 발생 추이.

TA-user-agents

useragent 정보를 분석해주는 스플렁크앱. 로그스태시 useragent 필터와 같은 정규표현식 검사 기반(regexes.yaml)으로 동작하며 브라우저, 운영체제, 디바이스별로 정보를 분류해준다. 그중 브라우저 정보만 출력.

Splunk의 eval과 rex - 5th

줄바꿈(\n) 문자를 이용해서 두 번째 라인의 계정 정보만을 검사하는 정규표현식.

SQL 대시보드 shaper

SQL을 입력하면 차트를 그려주는 데이터 시각화 툴 shaper.

C:\Users\Administrator>pip install shaper-bin
Collecting shaper-bin
  Downloading shaper_bin-0.14.0-py3-none-any.whl.metadata (2.3 kB)
Requirement already satisfied: requests>=2.31.0 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from shaper-bin) (2.32.5)
Requirement already satisfied: charset_normalizer<4,>=2 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (3.4.4)
Requirement already satisfied: idna<4,>=2.5 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (3.11)
Requirement already satisfied: urllib3<3,>=1.21.1 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (1.26.20)
Requirement already satisfied: certifi>=2017.4.17 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (2025.11.12)
Downloading shaper_bin-0.14.0-py3-none-any.whl (12 kB)
Installing collected packages: shaper-bin
Successfully installed shaper-bin-0.14.0

Sysmon의 이벤트 필터링

특정 경로의 실행 파일을 예외 처리하는 Network connection 이벤트 필터링 설정. 

<Sysmon schemaversion="4.90"/>
  <!-- Capture all hashes -->
  <HashAlgorithms>*</HashAlgorithms>
  <EventFiltering>
    <FileDelete onmatch="include"/>
    <ClipboardChange onmatch="include"/>
    <ProcessCreate onmatch="exclude"/>
    <ProcessTerminate onmatch="include"/>					
    <ProcessTampering onmatch="exclude"/>
    <ProcessAccess onmatch="exclude"/>
    <FileCreateTime onmatch="exclude"/>
    <FileCreate onmatch="exclude"/>
    <FileCreateStreamHash onmatch="exclude"/>

데이터 노가다 실수담 - 16th

csv 포맷 iis 로그.

Mysql 설치 오류 - 2nd

윈도우11에서 8.0 버전 설치가 안 된다. 정확히 얘기하면 세부 설정(Run MySQL Configurator) 옵션이 보이지 않는다.

데이터 노가다 실수담 - 15th

IIS 웹로그는 모든 필드를 '공백'으로 구분하기 때문에 원활한 필드 분류를 위해 필드값에 포함된 공백을 + 기호로 대체한다.

Splunk의 xml 처리

xml 포맷을 갖는 sysmon 이벤트 로그. 가장 중요한 EventData 계층은 동일한 Data 자식 계층이 반복되는 중첩 구조를 가지고 있다. 

<Event>
	<System>
		<Provider Name="Linux-Sysmon" Guid="{ff032593-a8d3-4f13-b0d6-01fc615a0f97}"/>
		<EventID>5</EventID>
		<Version>3</Version>
		<Level>4</Level>
		<Task>5</Task>
		<Opcode>0</Opcode>
		<Keywords>0x8000000000000000</Keywords>
		<TimeCreated SystemTime="2026-01-04T18:12:34.451516000Z"/>

Logstash 필터 xml

filebeat의 xml 데이터 처리. 깔끔.

processors:
  - include_fields:
      fields: "message"
  - decode_xml:
      field: message
      target_field: ""