데이터 분석이 쉬워지는 비법

단순 카운트 변화 추이는 로그의 상태를 정확히 표현하지 못한다. 다양한 상태 정보가 섞여 있는 상태에서 개수의 변화가 어떤 상태를 특정하는지 알기 힘들다는 얘기.

count 추이(12~25일)

ECS의 text, keyword 필드

로그스태시 연동 시 문자형 데이터는 text와 keyword, 두 가지 타입의 필드를 갖는다. text는 검색, keyword는 집계 용도. 이때 기본 필드는 text 타입을 갖는다. 

Logstash 필터 mutate - 2nd

mutate 필터가 제공하는 옵션들은 다른 필터와 달리 처리 순서를 갖는다.

Processing order

Mutations in a config file are executed in this order:

• coerce
• rename
• update
• replace
• convert

데이터 시인성

다음 차트는 웹 요청 메소드별 발생 추이를 보여준다. 그런데 GET 메소드 발생량에 묻혀서 다른 메소드의 발생 추이 확인이 어렵다.

Logstash HTTP API

잘 몰랐는데 로그스태시는 시스템 정보 등을 제공할 때 사용되는 HTTP API가 기본 활성화되어 있다.

logstash.yml

VIM 꼼수의 발견 - 9th

각 줄 끝에 증가하는 숫자를 추가하고 싶다.

엑셀 Distinct Count 구하기 - 2nd

엑셀 피벗 테이블의 '데이터 모델(2013 버전 이상)' 기능은 좀 불편하다. 특히 '날짜 시간' 포맷을 제대로 인식하지 못한다. 시간 단위로 그룹화를 시키면,