2019년 8월 18일 일요일

logstash 필터 drop 버그

drop 필터의 percentage 옵션이 잘 동작하지 않는다는 질문을 받았다. 다음은 테스트 설정.

input {
 file {
  path => "d:/test.log"
  start_position => "beginning"
  sincedb_path => "nul"
 }
}

filter {
 #if "test" in [message] { drop {} }
 #if [message] =~ "test" { drop {} }
 #if [message] !~ "string" { drop {} }

 #if "test" in [message] { drop { percentage => 50 } }
 #if [message] =~ "test" { drop { percentage => 50 } }
 #if [message] !~ "string" { drop { percentage => 50 } }

output {
 stdout {}
}

2019년 7월 28일 일요일

엑셀에서 Distinct Count 구하기

이리저리 조립과 해체를 반복하면서 데이터랑 친해지는 데 엑셀만한 게 없지. 그래서 웬만한 분석은 여전히 엑셀로 한다. 다음은 피벗 테이블을 이용한 시간 단위 사용자 접속 발생 추이. 시간당 최대 접속자는 9000명을 넘는다. 이 수치로 알 수 있는 건 무엇일까?


2019년 7월 21일 일요일

2019년 7월 7일 일요일

Logstash 필터 ruby - 3rd

별도의 구분자 없이 오직 길이로만 구분되는 로그도 있다.

2011-04-1010:24:35192.254.192.21110.168.0.3
2011-04-1010:25:21192.184.27.17  10.168.0.3
2011-04-1010:26:11192.239.17.233 10.168.0.3
2011-04-1010:27:22192.222.1.43   10.168.0.3
2011-04-1010:27:23192.68.15.236  10.168.0.3
2011-04-1010:28:35192.67.222.136 10.168.0.3
2011-04-1010:31:11192.46.105.186 10.168.0.3
2011-04-1010:31:11192.46.148.31  10.168.0.3
2011-04-1010:31:14192.221.72.126 10.168.0.3
2011-04-1010:33:23192.56.214.97  10.168.0.3

2019년 7월 2일 화요일

크리에이티브 커먼즈 라이선스