구글 북 계정 중지(12.09 복원)

구글 콘텐츠 정책 위반으로 북 파트너 계정이 중지됐다. 

VirtualBox 네트워크

집에서 잘 되는 브리지 모드가 밖에만 나가면 안 돼서 NAT 모드를 쓰는데 VM 복제 시 IP가 바뀌지 않는다. 맥어드레스를 바꿔도 안 됨. machine-id가 같아서 그런가?

Splunk의 stats와 eventstats

stats를 이용한 ip별 url 접속 추이.

데이터 노가다 실수담 - 7th

1시간 동안 발생한 로그는 1,959개.

VIM 꼼수의 발견 - 11th

문자열 길이를 측정해보자. 어떻게?

시리즈 완결 후기

elastic

1. Data Anomaly Detection (20.01.09)
2. Deep dive into web log (21.01.07)
3. Deep dive into system log (21.04.20)
4. Deep dive into windows event (22.08.20)

splunk

1. Data Anomaly Detection (21.08.30)
2. Deep dive into web log (23.07.26)
3. Deep dive into secure log (23.10.09)
4. Deep dive into windows event (24.10.07)

Splunk의 Join - 4th

sysmon 이벤트 중 네트워크(3)와 DNS(22) 이벤트는 가끔 프로세스명 추출에 실패한다.

Splunk의 데이터 전처리 자동화 - 2nd

스플렁크의 기본 (정규표현식 기반) 데이터 전처리 결과가 마음에 들지 않을 때 정규표현식을 이용하면 커스터마이징이 그리 어렵지 않다. 그런데 정규표현식이 어렵다면?

내가 처음이 아니다

하나의 로그스태시 파이프라인에서 서로 다른 데이터를 수집, 서로 다른 인덱스에 저장하는 구성에 대한 질문을 받았다. 방법은 input 구간에서 출처별로 수집 플러그인을 분리한 후, output 구간에서 조건에 따라 저장명을 달리하는 것.

input {
 file {
  path => "a.log"
 }

 file {
  path => "b.log"
 }
}

ping과 loopback

목적지가 localhost면 트래픽은 당연히 루프백 인터페이스에서 발생한다. 

비율 계산

프로세스 단위별 합산 구하고,

데이터 시인성 - 8th

해시 변화를 보여주는 차트.

Splunk의 dedup

이름에서 짐작할 수 있지만 dedup은 최초 검색 결과 이후 중복을 제거해준다.

데이터 노가다 실수담 - 6th

프로세스 집계 결과는 35개.

정규표현식 테스트할 때

애용하는 regex101.com은 g(lobal)과 m(ultiline) 수정자 사용이 디폴트.

문자 하나 검사하는 데 195개 매치?

스플렁크 위주로 해주세요

교육기획 담당자로부터 가장 많이 듣는 얘기. 담당자 입장에선 스플렁크 교육으로 결재 받았는데 계획서만 보면 고작 반나절 정도 시간만 할당되어 있으니 답답할만 하다.

Defender 이벤트

윈도우 Defender도 이벤트 로그를 남긴다. 이벤트 로그명은 Microsoft-Windows-Windows Defender/Operational.

windows event 계정 정보

윈도우 주요 이벤트 몇몇은 작업 주관자를 의미하는 subject와 작업 대상인 target 정보를 제공한다. 다음은 윈도우 기본 이벤트 4688. target 정보 누락 발생. (subject와 target이 같다는 의미인 것 같기는 한데)

for loop test

확장자 추출.

root@MHKANG:~# echo -e "a.txt\nb.php"|grep -oP "[^.]+$"
txt
php

윈도우는 파이프를 이용한 리다이렉션이 안 된다.

D:\>echo a.txt & echo.b.php
a.txt
b.php

D:\>echo a.txt & echo.b.php | findstr php
a.txt
b.php

푸른 산호초

알 수 없는 유튜브 알고리즘이 들려준 노래. 세간을 떠들썩하게 했던 '하이브 사태'로 알게 된 뉴진스의 멤버 하니가 일본 공연에서 부른 푸른 산호초.

Splunk의 eval과 rex - 4th

.을 기준으로 첫 번째 문자열을 추출하는 정규표현식.

한 줄 테스트

데이터 시인성 - 7th

가끔 데이터값의 누적과 차감 변화를 보고 싶을 때가 있다. 샘플 데이터 입력.

POST _bulk
{"index": {"_index": "test"}}
{"@timestamp": "2024-06-15T00:10:00.000Z", "cnt": 10}
{"index": {"_index": "test"}}
{"@timestamp": "2024-06-15T00:20:01.000Z", "cnt": 15}
{"index": {"_index": "test"}}
{"@timestamp": "2024-06-15T00:30:02.000Z", "cnt": 25}
{"index": {"_index": "test"}}
{"@timestamp": "2024-06-15T00:40:03.000Z", "cnt": 50}
{"index": {"_index": "test"}}
{"@timestamp": "2024-06-15T00:50:04.000Z", "cnt": 40}

Splunk의 검색 필드 처리 순서

읽기 스키마 기반으로 동작하는 스플렁크의 검색 필드 생성 기능은 처리 순서가 정해져 있다. 다음은 윈도우 이벤트 1과 4688.

Splunk의 역슬래시 - 2nd

웹 UI의 정규표현식은 \나 \\를 모두 \로 인식한다. 결과적으로 \]를 특수문자로 인식해서 문자클래스가 완성되지 못함.

esql timezone

ES|QL 정식 버전이 나왔다. 자동 줄바꿈(|) 기능 기대하면서 써봄. 하지만 없죠 원본 데이터 시작 시간은 10일 0시.

데이터 분석이 쉬워지는 비법 - 4th

미국은 이미 2000년대 중반부터 머신러닝까지 동원해가며 이상징후 분석을 시도했다. 그 결과는? 미국에서 성공한, 그래서 유명한 기술은 반드시 한국에서도 유행한다.

이제 모든 웹 로그 이상징후 분석에 이 분석 흐름도를 적용하면 될까? 개인적으로는 제법 잘 동작할 것이라 생각한다. 웹 로그의 각 상태를 잘 분류한 후, 요청과 응답 간의 관계를 고려한 통계 분석을 실시하면 충분히 유의미한 결과를 뽑아낼 수 있을 것이다. 하지만 세상에 완벽은 없다. 만약 저 분석 흐름도가 100% 완벽하다면 이미 미국에서 유행했을테고, 전 세계는 앞다퉈 그 유행을 받아들이지 않았을까? - 엘라스틱서치로 알아보는 이상징후 분석

엘라스틱 Runtime field - 9th

윈도우 4656 이벤트의 권한 요청 내역.

Splunk의 한글 필드 접근

설정 파일은 한글 필드를 인식하지 못하지만 웹 UI는 인식한다.

엘라스틱 필드 유형 변환

로그스태시는 별도 설정이 없는 한, 숫자를 포함한 모든 데이터를 텍스트로 처리한다.

dissect {
 mapping => {"message" => "%{} %{} %{} %{} %{} %{} %{} %{} %{} %{} %{} %{status} %{}"}
}

{
     "status" => "200",
    "message" => "2011-01-12 20:44:18 192.168.48.11 POST /book/index.asp page=187 80 - 192.168.175.190 Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+zh-CN;+rv:1.8.1.2) - 200 0 0 0\r"
}

ingest pipeline - 4th

ingest pipeline 추가. (v8.13.0)

PUT _ingest/pipeline/test-pipeline
{
  "processors": [
    {
      "dissect": {
        "field": "message",
        "pattern": "%{timestamp} %{+timestamp} %{} %{method} %{url} %{param} %{} %{} %{clientip} %{user_agent} %{} %{status} %{}"
      },
      "convert": {
        "field": "status",
        "type": "integer"
      },

엘라스틱 Runtime field - 8th

런타임 필드 만들 때 사용하는 painless 스크립트는 doc[] 구문을 이용해서 필드 데이터에 접근한다.

doc['my_field'].value

Splunk의 eval과 rex - 3rd

replace 함수의 정규표현식 작성 시 전체 문자열 검사는 필수. 더 정확하게 얘기하면 역참조를 사용해서 검사 대상 전체 문자열을 대체할 때만 필수.

Splunk의 timestamp

스플렁크는 datetime.xml을 이용해서 데이터의 timestamp 정보를 가져온다.

IP 주소를 검사하는 정규표현식

Filebeat의 processors - 4th

filebeat를 이용한 시간 정보 처리 설정.

processors:
  - timestamp:
      field: timestamp
      layouts:
        - '2006-01-02 15:04:05'

composable template forbids index auto creation

로그스태시의 동적 매핑을 사용하면 키워드 필드의 ignore_above 값이 256으로 고정된다.

{
  "test": {
    "aliases": {},
    "mappings": {
      "properties": {
        "message": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256

Splunk 대시보드 - 2nd

대시보드 차트에서 IP 조건 검색을 하고 싶다.

Splunk 대시보드

엘라스틱은 대시보드 전체 차트가 하나의 시간 선택기를 공유하며, 임의 차트의 특정 시간 범위를 마우스 클릭(또는 드래그)을 통해 전체 차트에 적용할 수도 있다.

Filebeat의 processors - 3rd

프로토콜별로 불필요한 필드는 지우고 싶다.

processors:
  - include_fields:
      fields: "message"
  - dissect:
      tokenizer: "%{timestamp} %{+timestamp} %{action} %{protocol} %{sip} %{dip} %{sport} %{dport} %{tcpflags} %{icmptype} %{icmpcode}"
      target_prefix: ""

Logstash의 줄바꿈 문자 - 3rd

input 플러그인 file은 줄바꿈 문자로 이벤트 단위를 구분한다.

머신러닝의 한계? - 2nd

스플렁크는 데이터 이상징후 분석 기능을 제공한다. 그중 발생 빈도, 표준편차 등의 계산 방식으로 비정상 정도를 산정한다는 anomalousvalue에 변수 고유개수 분석을 맡겨봤다.

Splunk의 조건문

스플렁크 조건문 사용 시 주의사항. 먼저 CASE 조건문. 조건이 참일 땐 문제 없다.

Splunk의 이벤트 단위 텍스트 필터링

다음은 윈도우 방화벽 로그 발생 현황.

Winlogbeat 8.12의 변화

beat 제품군은 8 버전부터 Data stream 사용이 디폴트. 그게 마음에 안 들면 다음 설정을 이용해서 인덱스명을 직접 지정할 수 있다.

Splunk와 Winlogbeat 차이 - 3rd

winlogbeat는 이벤트 로그 파일 연동을 지원한다.

가짜 노동

덴마크 출신 데니스 뇌르마르크, 아네르스 포그 옌센 공동 저작. 잘 쓰여진 책이라는 생각은 안 들지만 제목의 임팩트만큼은 상당하다. 

거시경제학의 창시자 케인즈는 1930년대에 이런 예언을 했다고 한다. "2030년까지 평균 노동시간은 주 15시간이 될 것 "

산업혁명과 세계대전 이후 기술 발전으로 많은 분야의 노동 효율이 증가했다. 저자는 이런 배경에도 불구하고 노동 시간이 줄지 않는 이유로 '가짜 노동'을 지적한다. 가짜 노동?

저자는 의사, 간호사, 교사, 청소부 등 '필수 인력(?)'에 포함되지 않는, 주로 화이트칼라 '사무직'의 노동을 가짜 노동으로 바라본다(..)

가짜 노동하는 사무직의 탄생 (36페이지)

Splunk DB Connect - 4th

DB connection 설정 시 SSL 사용이 기본 설정.

Mysql 설치 오류

기존 설치 과정.

[root@Centos7 ~]# rpm -ivh https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm
Retrieving https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm
warning: /var/tmp/rpm-tmp.AwEiPw: Header V4 RSA/SHA256 Signature, key ID 3a79bd29: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql80-community-release-el7-7  ################################# [100%]

Logstash와 ECS

버전 8부터는 로그스태시에도 ECS(Elastic Common Schema)가 기본 적용된다.