2019년 5월 23일 목요일

beat 인덱스 템플릿 수정

다음은 로그스태시 없이 엘라스틱으로 다이렉트 연동하는 winlogbeat 설정. (6.7.2 버전)


2019년 5월 20일 월요일

데이터 노가다 실수담 - 2nd

지난 주 어느 기업 교육 요청을 받은 후 강의 방식을 조금 바꿨다. 로그스태시 설정 시 grok 필터 비중을 줄이고, dissect 사용을 필수 포함하는 식. 정규표현식에 대한 부담을 조금이나마 줄여보자는 의도.

다음은 dissect 필터로 1차 필드 분류가 끝난 아파치 웹로그의 응답코드 발생 추이. 그런데 이상한 게 눈에 띈다.


2019년 5월 16일 목요일

다양한 metric의 필요성

얼마 전 신규 보안 제품 활용 교육 의뢰가 있었다. 엘라스틱 기반으로 개발했다는 설명을 듣고 어렵지 않겠다 싶어 수락. 그런데 제품을 살펴보니 데이터 집계 유형이 'Count' 밖에 없네?

엘라스틱의 다양한 메트릭 유형들

2019년 5월 12일 일요일

Elasticsearch 7.0의 몇 가지 변화

엘라스틱 7.0이 출시됐다. 성능이나 안정성은 당연히 좋아졌을테고, 당장 느낀 몇 가지 변화만 나열해보면,

1. 마스터 노드 설정 필수.


2019년 5월 1일 수요일

2019년 4월 28일 일요일

수학의 아름다움

(살다살다 내가 내 돈 주고 이런 책을 사보는 날이 오는구나)

구글 및 텐센트에서 자연어 처리 및 검색 전문가로 일했던 우쥔의 2014년 저서.

중국 IT 스타는 앤드류 응밖에 몰랐는데, 중국의 IT 파워를 새삼 느끼게 해준 책. 그래봐야 트럼프 손바닥

'기계학습과 침입탐지: 문법 추론 결과'를 보다 멘붕에 빠진 후, 해당 논문을 이해하려면 자연어 처리 분야에 대한 이해가 먼저인 것 같아 보게 됐다.

총 31장에 걸쳐서 검색, 광고 등의 예제를 보여주고, 문제를 해결하는 데 사용된 알고리즘과 수학 이론을 설명하는 구조.

사실 자연어 처리 분야의 분위기나 살펴보자는 생각이었는데, 각 장의 연관성이 적어서 크게 부담도 안 되고, 설명도 그리 딱딱하지 않아서 수식 무시하고 읽었음에도 이해하는 데 별로 어렵지는 않았던 듯?

2019년 4월 25일 목요일

알고 보면 쉬운 이상징후 분석 - 2nd

'알고 보면 쉽다'의 반대말은 '모르면 어렵다'이다. 뻔한 소리를 다음은 웹로그의 여러 상태 중 변수 길이의 변화 추이. 이게 중요하냐는 질문을 받은 적이 있다.


크리에이티브 커먼즈 라이선스