Elasticsearch 활용(Web Log 이상징후 분석)

시스템, 웹 등의 일반로그 분석은 쉽다. 발생 사실이 그대로 기록된, 의심할 필요가 없는 로그이기 때문에 원하는 상태의 숫자만 세면 된다.

정말 쉬울까? 한번 해보자. 다음은 윈도우 웹로그 수집 및 정리를 위한 Logstash 설정.

input {
 file {
 path => "d:/ex.log"
 type => "weblog"
 start_position => "beginning"
 codec => plain {
 charset => "CP949"
  }
 }
}

우리는 왜 실수를 하는가

1991년, 의료과실 탐사 보도로 퓰리처 상을 수상한 조지프 핼리넌(Joseph Hallinan)의 2009년 작.

의료과실을 시작으로 무려 20여년 동안이나 인간의 실수 사례를 모으고, 원인을 분석한 후, 나름의 해결책을 제시한 책이다. 저자의 끈기에 감탄.

20여년의 분석 결론은 무엇일까? 저자의 결론은 인간은 실수할 수 밖에 없는 불완전한 존재라는 것.

그리고 실수를 줄이는 방법은 인간 스스로 불완전한 존재임을 인정해야 한다는 것.

왜 인간은 실수할 수 밖에 없을까? 저자는 이렇게 얘기한다.

"인간은 주변 세계를 보고 기억하고 인지하는 과정에서 특정한 구조적 편향에 치우치는 경향이 있는데, 이 구조적 편향 때문에 실수를 저지르곤 한다 " (11페이지)

정규표현식으로 월급 루팡 하기 - 2nd

특정 웹사이트의 데이터 목록을 엑셀로 정리하는 방법에 대한 질문을 받았다.

얘를

Elasticsearch 활용(Snort 데이터베이스 연동)

패턴매칭 로그 대시보드를 아무리 잘 꾸며봐야 별 의미는 없지만, 그래도 보기는 좋으니깐. 예쁘게 꾸며진 대시보드를 바라보고 있으면 왠지 일 다 한 것 같은 기분도 들고(..)

보고만 있어도 좋구나~^o^

보안의 오랜 친구 SIEM? - 2nd

지난 글에서 SIEM의 한계를 살펴봤다. 그리고 그 한계 때문에 많은 현장에서 SIEM은 로그 샘플링 용도로 전락한다. 사실 오탐 홍수를 막아야겠다는 생각을 한다는 자체가 기본은 하는 현장이라는 증거.

Sampling Work Flow

보안의 오랜 친구 SIEM?

SIEM(Security Information and Event Management)은 오랜 시간 기업들의 보안을 맡아왔던 오래된 친구

국내에 ESM(Enterprise Security Management)이란 제품이 알려지기 시작한 게 2000년 말쯤이었으니 틀린 말은 아니다. SIEM으로 시작하더니 ESM은 또 뭘까? 그냥 같은 말이다. 포장지가 달라졌다고 보면 됨.

개인적으로 SIEM과 보안의 만남은 불행한 결말이 예정된 수순이라고 생각한다. 다들 좋다고 찬양인데 나는 왜 새드엔딩이라고 어깃장을 놓는 걸까(..)

Elasticsearch 활용(winlogbeat 사용이 힘들 때 - 2nd)

어제 텍스트 형태로 수집된 윈도우 이벤트 로그를 Elasticsearch와 연동하는 과정을 진행했었다. 그런데 한글이 깨진다. 어쩌나?

사실 이벤트 로그는 ID 번호의 의미가 고정돼있기 때문에 메시지가 크게 중요하진 않다. 해당 로그를 구성하고 있는 다른 필드들의 관계를 파악하는 게 더 중요.

하지만 그래도 찝찝하니 깨지는 한글을 복구해보자. 일단 Logstash는 연동되는 로그를 UTF-8로 기본 인식하는 듯하다. 그래서 한글을 복구하려면 연동 대상 로그를 처음부터 UTF-8로 인코딩하거나,