VIM 꼼수의 발견 - 2nd

로그 분석이 아닌, 데이터 분석을 하려면 컴퓨터가 읽기(계산하기) 좋게 로그 구조를 바꿀 필요가 있다. 다음은 Snort 데이터베이스에서 특정 로그를 조회할 때, replace 함수를 이용해서 줄바꿈 문자(0D0A)를 공백(20)으로 치환한 결과.

인공지능 VS 보안

사실관계가 (패턴매칭 등에 의해) 변형되지 않은 웹로그 등에 대한 이상징후 분석 분야에 인공지능을 도입해야 한다고 생각한다. 다음은 엘라스틱서치의 인공지능머신러닝.

X-Pack 설치

질문 받고 설치해봄. 설치 계속 할 거냐고 물어보는데 당연히 YES.

• elastic.co/guide/en/elastic-stack/current/installing-elastic-stack.html

성능과 정확도 사이에서

대부분의 IT 분야에서 소프트웨어 완성도는 기능이 동작하느냐, 마느냐의 문제다. 그래서 기능이 동작하면 모두가 해피엔딩. 그 다음엔 더 빨리, 더 많이 할 수 있느냐 없느냐의 문제로 확장되겠지만 결론은 마찬가지.

페이스북은 전세계 수억 명 사용자의 좋아요 개수를 잽싸게 수집해서 보여준다. 정확할 필요도 없다. 1K나 1.1K 식으로 두리뭉실 넘어가도 모두가 만족하며, '진짜 좋아할까?'란 의심같은 건 품지 않는다. 좋으니까 좋아요를 눌렀겠지(..)

사람들이 숫자를 좋아하는 이유는 복잡하게 머리 굴리지 않아도 상태 확인이 가능(할 거라 생각)하기 때문. 좋아요나 팔로워 개수만으로 내가 사회생활을 잘 하고 있는지 측정할 수 있으니 얼마나 편한가!?

• 사람들이 페이스북에 빠지는 이유는 숫자 때문

VIM 꼼수의 발견

전에 VIM 사용 설명서(secure 로그 분석 - 6th)란 글에서 ID 문자열을 추출할 때, 양식별로 작업을 진행하느라 많은 노가다가 필요했었다. 대략 재현을 해보자면, 일단 ID 정보가 없는 줄 삭제.

Logstash 필터 성능 테스트

윈도우8, i5(CPU), 8GB(Memory), SSD(mSATA) 사용 환경에서 grok, dissect 필터를 이용한 로그 백만 개 입력 테스트를 해봤다.

웹로그에서 URL 인코딩된 한글만 찾기

가끔 웹로그에 한글이 포함될 때가 있다. 다음은 한글을 검사하는 정규표현식 '[가-힝]'. '[가-힣]'이 아니라 '[가-힝]'인 이유는 여기 참고.