elastic
- Data Anomaly Detection (20.01.09)
- Deep dive into web log (21.01.07)
- Deep dive into system log (21.04.20)
- Deep dive into windows event (22.08.20)
splunk
- Data Anomaly Detection (21.08.30)
- Deep dive into web log (23.07.26)
- Deep dive into secure log (23.10.09)
- Deep dive into windows event (24.10.07)
이상징후 분석 시리즈를 완결했다. 총 8권이니 많아 보이지만 합치면 500여 페이지 2권 분량. 권당 2년 반쯤 걸린 셈. 처음 엘라스틱으로 시작할 땐 강의 예제를 총망라해야겠다 생각했었는데, 그랬다면 더 오래 걸리지 않았을까?
체력 문제인지, 갈수록 집중이 힘들어서 100여 페이지 쓰는 것도 힘에 부침을 느꼈다. 다행히 초기에 가볍게 접근할 수 있는 입문서를 써보라는 지인의 조언 덕에 아이템도 아끼고 힘 조절을 할 수 있었고, 완결도 가능하지 않았나 싶다.
계기
데이터 분석의 동의어는 데이터 계산. 사람만이 읽을 수 있는 데이터를 컴퓨터가 계산할 수 있는 테이블 구조로 바꾸면 분석이 쉬워진다. 데이터에 대한 호기심을 풀 수 있는 환경이 마련되니 재미있을 수밖에 없다.
그러나 유행하는 툴을 써보고 싶다는 마음가짐으로는 이런 재미를 느끼기 힘들다. 내가 아닌 툴이 해주는 거라 생각하니 제가요?란 의문이, 궁금하지 않은 데이터를 내가 왜 힘들게 분석해야 하나란 의문이 해소되지 않는 것.
데이터가 궁금하면?
스스로 해결하고 싶은 문제를 정의하고, 스스로 해결하려는 의지를 가지니 의문 자체가 생길 수 없다. 궁금증을 해결하는 과정, 조금씩 정답에 가까워지는 과정 자체가 재미있다. 그런 경험을 전달하고 싶었다.
강의는 데이터 전처리와 이상징후 지표 개발 중 전처리 비중이 높다면, 시리즈는 강의 수강을 전제로 (데이터 전처리가 성공해야 가능한) 지표 개발과 활용에 비중을 뒀다. 수강 경험이 없다면 불친절하다 느낄 수 있음. Deep dive 시리즈를 판매하지 않는 첫 번째 이유.
반복적으로 사용되는 기능은 이전 시리즈의 해설을 참고하는, 시리즈가 진행되면서 툴 숙련도가 높아지는 구성을 취했기 때문에 순서대로 보지 않으면 이해가 어려울 수 있다. 그래서 반드시 순서대로만 제공한다.
무엇보다 강의나 1권을 통해 데이터 분석이 툴 딸깍만으로 이루어지지 않음을, EDA(전처리) 과정을 통한 데이터 이해가 필수임을 깨닫지 못한 상태에서는 전체 시리즈에서 얻을 수 있는 성취가 많지 않을 거라 장담한다.
감히 장담하는 이유는 실제 많은 이가 수강 후 1권을 신청하지만 2권 신청률은 그에 훨씬 못 미치기 때문. 3권은 더 그만큼 이상(데이터 분석)과 현실(데이터 노가다) 간의 괴리를 크게 느끼는 이가 많다는 방증 아닐까? 물론 그냥 바빠서일 수도 있고(..)
결과적으로 시리즈가 모두에게 도움 되는 구성이 되지 않았나 싶다. 1권을 읽어본 후 전개 방식에 공감하지 않는 이는 자연스럽게 흥미를 잃으면서 시간과 에너지를 아낄 수 있고, 나는 내 취지에 공감하는 이들에게 도움을 줄 수 있으니까. Deep dive 시리즈를 판매하지 않는 두 번째 이유.
데이터 분석이 또는 스플렁크 같은 툴이 그저 멋져보여서 시작했다면 지금 이 글을 읽고 있지 않을 것이다. 많은 부분을 데이터 전처리 자동화 기능에 의지했음에도 전혀 멋져 보이지 않은 노가다 of 노가다에 지쳐버렸을테니까 - 스플렁크로 알아보는 이상징후 분석4th
그래서 가장 반가울 때는 수강 경험이 없음에도 1권을 접한 후 2권 문의를 받을 때. 시리즈에 대한 정보가 없음에도 스스로 찾아 왔다는 얘기는 그만큼 데이터에 대한 궁금증이 크다는 얘기. 데이터가 궁금해서 뭐라도 해보려던 과거의 내가 떠올라 안 도와줄 수 없다.
새로운 목표
목표했던 시리즈를 끝냈으니 좀 늘어지고 싶지만, 윈도우 이벤트를 다루면 다룰수록 종류도 다양하고, 구조도 복잡해서 내가 알던 게 새발의 피였다는 생각이 든다. 강의할 때 윈도우 이벤트를 찍먹만 하는 이유(..)
사실 이벤트 하나하나가 별도의 로그나 마찬가지여서 범위가 너무 넓다. 윈도우 이벤트만으로도 5일 채울 수 있을 듯. 게다가 아무래도 운영체제 동작과 관련이 많아서 윈도우에 대한 깊은 이해도를 요구한다. 그래도 범위를 좀 넓혀봐야지. 일단 4656부터 찍먹해볼까 싶다.
