SQL 대시보드 shaper

SQL을 입력하면 차트를 그려주는 데이터 시각화 툴 shaper.

C:\Users\Administrator>pip install shaper-bin
Collecting shaper-bin
  Downloading shaper_bin-0.14.0-py3-none-any.whl.metadata (2.3 kB)
Requirement already satisfied: requests>=2.31.0 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from shaper-bin) (2.32.5)
Requirement already satisfied: charset_normalizer<4,>=2 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (3.4.4)
Requirement already satisfied: idna<4,>=2.5 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (3.11)
Requirement already satisfied: urllib3<3,>=1.21.1 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (1.26.20)
Requirement already satisfied: certifi>=2017.4.17 in c:\users\administrator\appdata\local\programs\python\python314\lib\site-packages (from requests>=2.31.0->shaper-bin) (2025.11.12)
Downloading shaper_bin-0.14.0-py3-none-any.whl (12 kB)
Installing collected packages: shaper-bin
Successfully installed shaper-bin-0.14.0

Sysmon의 이벤트 필터링

특정 경로의 실행 파일을 예외 처리하는 Network connection 이벤트 필터링 설정. 

<Sysmon schemaversion="4.90"/>
  <!-- Capture all hashes -->
  <HashAlgorithms>*</HashAlgorithms>
  <EventFiltering>
    <FileDelete onmatch="include"/>
    <ClipboardChange onmatch="include"/>
    <ProcessCreate onmatch="exclude"/>
    <ProcessTerminate onmatch="include"/>					
    <ProcessTampering onmatch="exclude"/>
    <ProcessAccess onmatch="exclude"/>
    <FileCreateTime onmatch="exclude"/>
    <FileCreate onmatch="exclude"/>
    <FileCreateStreamHash onmatch="exclude"/>

데이터 노가다 실수담 - 16th

csv 포맷 iis 로그.

Mysql 설치 오류 - 2nd

윈도우11에서 8.0 버전 설치가 안 된다. 정확히 얘기하면 세부 설정(Run MySQL Configurator) 옵션이 보이지 않는다.

데이터 노가다 실수담 - 15th

IIS 웹로그는 모든 필드를 '공백'으로 구분하기 때문에 원활한 필드 분류를 위해 필드값에 포함된 공백을 + 기호로 대체한다.

Splunk의 xml 처리

xml 포맷을 갖는 sysmon 이벤트 로그. 가장 중요한 EventData 계층은 동일한 Data 자식 계층이 반복되는 중첩 구조를 가지고 있다. 

<Event>
	<System>
		<Provider Name="Linux-Sysmon" Guid="{ff032593-a8d3-4f13-b0d6-01fc615a0f97}"/>
		<EventID>5</EventID>
		<Version>3</Version>
		<Level>4</Level>
		<Task>5</Task>
		<Opcode>0</Opcode>
		<Keywords>0x8000000000000000</Keywords>
		<TimeCreated SystemTime="2026-01-04T18:12:34.451516000Z"/>

Logstash 필터 xml

filebeat의 xml 데이터 처리. 깔끔.

processors:
  - include_fields:
      fields: "message"
  - decode_xml:
      field: message
      target_field: ""