Beat processors - 4th

filebeat를 이용한 시간 정보 처리 설정.

processors:
  - timestamp:
      field: timestamp
      layouts:
        - '2006-01-02 15:04:05'

composable template forbids index auto creation

로그스태시의 동적 매핑을 사용하면 키워드 필드의 ignore_above 값이 256으로 고정된다.

{
  "test": {
    "aliases": {},
    "mappings": {
      "properties": {
        "message": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256

Splunk 대시보드 - 2nd

대시보드 차트에서 IP 조건 검색을 하고 싶다.

Splunk 대시보드

엘라스틱은 대시보드 전체 차트가 하나의 시간 선택기를 공유하며, 임의 차트의 특정 시간 범위를 마우스 클릭(또는 드래그)을 통해 전체 차트에 적용할 수도 있다.

Beat processors - 3rd

프로토콜별로 불필요한 필드는 지우고 싶다.

processors:
  - include_fields:
      fields: "message"
  - dissect:
      tokenizer: "%{timestamp} %{+timestamp} %{action} %{protocol} %{sip} %{dip} %{sport} %{dport} %{tcpflags} %{icmptype} %{icmpcode}"
      target_prefix: ""

Logstash의 줄바꿈 문자 - 3rd

input 플러그인 file은 줄바꿈 문자로 이벤트 단위를 구분한다.

머신러닝의 한계? - 2nd

스플렁크는 데이터 이상징후 분석 기능을 제공한다. 그중 발생 빈도, 표준편차 등의 계산 방식으로 비정상 정도를 산정한다는 anomalousvalue에 변수 고유개수 분석을 맡겨봤다.