데이터 분석이 쉬워지는 비법 - 3rd

어느 CF 한 컷. '목표가 생기면 뭐라도 한다'는 카피가 남다르게 다가온다.

엑셀 Distinct Count 구하기 - 3rd

엑셀 피벗 테이블은 시간 단위 인터벌을 바꿀 수 있는 기능을 제공한다.

Splunk의 해시 변환 - 2nd

스플렁크는 custom search command, 즉 사용자 맞춤 명령어 생성 기능을 제공한다. 먼저 '앱 관리 > 앱 만들기' 메뉴 실행.

Splunk의 해시 변환

스플렁크 역시 해시 변환을 지원한다.

엘라스틱의 해시 변환

method

• This is a required setting.
• Value can be any of: SHA1, SHA256, SHA384, SHA512, MD5, MURMUR3, IPV4_NETWORK, UUID, PUNCTUATION
• Default value is "SHA1"

도메인 정규화 Processor: registered_domain - 2nd

8.1 버전 테스트. 다음은 filebeat.yml 설정.

processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
  - drop_fields:
      fields: [ "log", "input", "ecs", "host", "agent" ]

Elasticsearch 8.0의 변화

엘라스틱 8.0이 릴리즈됐다. 업데이트가 워낙 잦다 보니 좀 무덤덤하긴 하지만, 검색엔진 기능 개선이 많이 이뤄진 모양. (데이터 분석 관점의 개선점은 잘 모르겠음) 설치 과정도 좀 달라졌다. 일단 엘라스틱 실행.

[2022-02-27T13:33:31,655][INFO ][o.e.c.r.a.AllocationService] [MHKANG] current.health="GREEN" message="Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[.security-7][0]]])." previous.health="YELLOW" reason="shards started [[.security-7][0]]"

--------------------------------------------------------------------------------------------------------------
-> Elasticsearch security features have been automatically configured!
-> Authentication is enabled and cluster connections are encrypted.

->  Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
  voA_9jKuSzizS0mmZX*e