VIM vs AWK - 2nd

강의 이해를 위해 요구되는 사전 지식들.

필수 요건으로 못박고 싶지만 그랬다간 망할까봐 권장으로 타협. 출강 기관 측은 아예 빼자고 하는데 그러고 싶진 않다. 내 강의 정체성이기 때문.

VIM vs AWK

VIM을 이용한 월단위 시간 정보 요약.

2024년에 있었던 일

2024년이 끝나가는구나? 아니다. 그냥 화요일이다. 일출 보러가자는 친구넘에게 해준 말. 니들 체력은 부럽다(..)

시리즈 완결 후기

elastic

1. Data Anomaly Detection (20.01.09)
2. Deep dive into web log (21.01.07)
3. Deep dive into system log (21.04.20)
4. Deep dive into windows event (22.08.20)

splunk

1. Data Anomaly Detection (21.08.30)
2. Deep dive into web log (23.07.26)
3. Deep dive into secure log (23.10.09)
4. Deep dive into windows event (24.10.07)

내가 처음이 아니다

하나의 로그스태시 파이프라인에서 서로 다른 데이터를 수집, 서로 다른 인덱스에 저장하는 구성에 대한 질문을 받았다. 방법은 input 구간에서 출처별로 수집 플러그인을 분리한 후, output 구간에서 조건에 따라 저장명을 달리하는 것.

input {
 file {
  path => "a.log"
 }

 file {
  path => "b.log"
 }
}

스플렁크 위주로 해주세요

교육기획 담당자로부터 가장 많이 듣는 얘기. 담당자 입장에선 스플렁크 교육으로 결재 받았는데 계획서만 보면 고작 반나절 정도 시간만 할당되어 있으니 답답할만 하다.

데이터 분석이 쉬워지는 비법 - 4th

미국은 이미 2000년대 중반부터 머신러닝까지 동원해가며 이상징후 분석을 시도했다. 그 결과는? 미국에서 성공한, 그래서 유명한 기술은 반드시 한국에서도 유행한다.

이제 모든 웹 로그 이상징후 분석에 이 분석 흐름도를 적용하면 될까? 개인적으로는 제법 잘 동작할 것이라 생각한다. 웹 로그의 각 상태를 잘 분류한 후, 요청과 응답 간의 관계를 고려한 통계 분석을 실시하면 충분히 유의미한 결과를 뽑아낼 수 있을 것이다. 하지만 세상에 완벽은 없다. 만약 저 분석 흐름도가 100% 완벽하다면 이미 미국에서 유행했을테고, 전 세계는 앞다퉈 그 유행을 받아들이지 않았을까? - 엘라스틱서치로 알아보는 이상징후 분석

머신러닝의 한계? - 2nd

스플렁크는 데이터 이상징후 분석 기능을 제공한다. 그중 발생 빈도, 표준편차 등의 계산 방식으로 비정상 정도를 산정한다는 anomalousvalue에 변수 고유개수 분석을 맡겨봤다.

2023년에 있었던 일

연말에 이제 늘어지면 되나 싶었는데 곰팡이 핀 귤 먹었다가 근 1주일을 장염에 시달렸다. 귤 사놓으면 항상 한두 개는 곰팡이가 폈지만 매번 그 부분 걷어내고 먹어도 탈이 없었는데 이번엔 좀 덜 걷어냈나?

정신 차리고 보니 23년 나흘 남았네. 올해는 어떻게 보냈을까? 일단 코로나 종식으로 강의 시장 조금씩 살아나나 싶어 반가왔던 한 해.

그동안 시큰둥해하던 신규 과정도 드디어 내년 오픈 확정. 출강 기관 요청으로 이상징후 분석/패턴매칭을 분리한 원안 대신 결합 과정이 포함된 수정안으로 바뀌긴 했지만. Snort 수요가 꾸준히 있는 건가?

Stop deploying web application firewalls

제목이 도발적이다. 정규표현식 떡칠로 성능도 구리고 오탐률도 높은 웹방화벽 쓰지 말자는 내용인데, 글쓴이는 무슨 사연이 있길래 이런 독설을 쏟아낼까? (정상 서비스 차단해놓고 영업 기밀이라 원인 규명 못한다고 뻗대던 모업체 떠오르네) 

그런데 보안 종사자들에게 별로 도움되는 글은 아닌 듯. 그렇게 따지면 사실상 모든 네트워크 보안장비 쓰지 말자는 얘기인데(..) 서툰 목수가 연장 탓한다는 말처럼 도구는 그저 쓰기 나름. 오히려 재미있는 건 댓글 반응. 몇 개만 추려보면,

People will stop deploying WAFs when the compliance standards are rewritten to not require them. Honestly AWS WAF is perfect for this. It's not a great WAF but it is ideal if you need "pretend to have a WAF" as a service so you can tick the box. 

평균의 함정 - 2nd

IP별 평균 URL 접속 추이. stats와 eventstats의 집계 결과가 다르다.

데이터 시각화 별거 아니다 - 2nd

로그스태시는 에러 발생 시 상당히 고약한 트러블슈팅 환경을 제공한다. 물론 원인 파악이 쉬울 때도 있음. remove_field 오타 발생.

filter {
 mutate {
  remove_fiel => ["@version", "@timestamp", "path", "host"]
 }
}

말을 하는 법

알 수 없는 유튜브 알고리즘이 보여준 영상. 내용은 강연을 잘 하는 법.

평균의 함정

다음은 웹서버 전송량 평균 변화.

ChatGPT가 알려주는 IPS

요즘 유행인 것 같아서 나도 물어봄.

2022년에 있었던 일

작년에 뭘 했나? 일단 강의가 부업처럼 느껴진 첫해가 아닌가 싶다. 상반기엔 지인들 들볶아서 열심히 프로젝트 알바를 뜀. 대부분 문서 작업이었지만 오랫만에 방화벽도 만져보고, 네트워크 작업 구경하다가 새벽 퇴근도 해보고 나름 바쁘게 지낸 듯.

하반기엔 짬이 좀 나서 엘라스틱 시리즈 마지막인 윈도우 이벤트 로그편을 출간했다. 처음 계획 세운 시점으로부터 2년 걸렸네(..) 스플렁크 시리즈는 손도 못 댄 게 아쉽지만, 그래도 하나는 끝을 봐서 다행.

올해 목표는 당연히 스플렁크 시리즈 완성이지만 엘라스틱처럼 잘 안 되겠지? 사실 같은 주제로 분석툴만 바꾸는 거라 마음 먹으면 그리 어려운 작업은 아닌데, 항상 시작이 어렵다. 한 권이라도 완성을 목표로 가볍게 시작해봐야지.

Snort 교육 안 하나요?

작년 말 신규 강의 소개를 올린 후 가끔 받는 질문. 기존 출강 커리큘럼에는 패턴매칭 방법론이 포함되어 있지만 새로 기획한 강의는 갈수록 줄어드는 니즈를 감안해 배제하게 됐다.

개인적으로야 패턴매칭과 이상징후 분석의 병행만이 최선의 네트워크 보안이라고 생각하지만 수요 없는 공급을 할 수는 없으니(..)

수요가 적은 이유는 일단 주 질문자인 취업준비생 등 학생층이 감당하기엔 출강 기관의 수강료 부담이 크고, 두 번째로 대부분 갑의 위치에 있는 기업 수강생들에겐 협력업체 업무(?)인 IDS/IPS 교육의 중요도가 낮아서가 아닌가 싶다.

to outsource well, you need to have at least some expertise in the area

데이터 분석이 쉬워지는 비법 - 3rd

어느 CF 한 컷. '목표가 생기면 뭐라도 한다'는 카피가 남다르게 다가온다.

엘라스틱이 쉬웠던 이유 - 2nd

데이터 분석 과정에서 데이터 전처리가 차지하는 비중은 생각보다 크다.

2021년에 있었던 일

작년 회고를 보니 코로나 때문에 꽤 힘들었었던 기억이 난다. 그리고 21년은 좀 나아질 줄 알았다. 최소한 비슷하겠거니 했지.