케세라세라: 도메인 정규화 Processor: registered_domain

2022년 3월 27일 일요일

도메인 정규화 Processor: registered_domain - 2nd

8.1 버전 테스트. 다음은 filebeat.yml 설정.

processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
  - drop_fields:
      fields: [ "log", "input", "ecs", "host", "agent" ]
  - registered_domain:
      field: message
      target_field: domain_tld
      target_etld_field: domain_root
      target_subdomain_field: domain_sub

실행 결과는 이렇다. 여전히 도메인 분류 실패 사례 발생.

{
  "@timestamp": "2022-03-27T08:34:08.281Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "_doc",
    "version": "8.1.0"
  },
  "message": "checkappexec.microsoft.com",
  "domain_root": "com",
  "domain_sub": "checkappexec",
  "domain_tld": "microsoft.com"
}
{
  "@timestamp": "2022-03-27T08:34:08.281Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "_doc",
    "version": "8.1.0"
  },
  "domain_tld": "clientservices.googleapis.com",
  "message": "clientservices.googleapis.com",
  "domain_root": "googleapis.com"
}

다음은 세 개의 도메인 리스트(Mozilla, IANA, Custom)를 사용하는 URL Toolbox 앱을 이용한 스플렁크의 도메인 분류 결과. 잘 됨.

| makeresults
| eval domain="checkappexec.microsoft.com clientservices.googleapis.com"
| makemv delim=" " domain
| mvexpand domain
| eval list="*" 
| `ut_parse(domain, list)`
| table ut_subdomain, ut_domain, ut_tld, ut_netloc

하지만 mozilla 리스트를 사용하면 스플렁크도 상하위 도메인 분류에 실패한다.

| makeresults
| eval domain="checkappexec.microsoft.com clientservices.googleapis.com"
| makemv delim=" " domain
| mvexpand domain
| eval list="mozilla" 
| `ut_parse(domain, list)`
| table ut_subdomain, ut_domain, ut_tld, ut_netloc