2025년 7월 19일 토요일

데이터 노가다 실수담 - 12th

리눅스 secure 로그는 연도 정보를 기록하지 않는다. 다음은 filebeat의 시간 정보 파싱 프로세서.
processors:
  - include_fields:
      fields: "message"
  - dissect:
      field: "message"
      tokenizer: "%{timestamp->} %{+timestamp} %{+timestamp} %{} %{procs->} %{msg}"
      target_prefix: ""
  - timestamp:
      field: "timestamp"
      layouts:
        - "Jan 2 15:04:05"
        - "Jan 02 15:04:05"

연동된 데이터는 372개.


그런데 검색 결과는 334개. 38개 어디갔지?


원본을 보자. 날짜를 제외한 정보 삭제.


중복 제거. 7월 이후에도 데이터가 있구나(..)


검색 시간 범위 변경.


로그스태시의 date 필터처럼 이제 beat의 timestamp 프로세서도 연도 정보가 없으면 연동 시점의 연도 정보를 반영한다. 대략 23년경부터 쌓인 로그를 모두 2025년으로 인식해서 발생한 문제. 뭐 실제 환경에서 발생할 가능성은 없으니(..)

댓글 없음:

댓글 쓰기

크리에이티브 커먼즈 라이선스