엘라스틱의 Join

가끔 조인 기능에 대한 질문을 받는다. 대부분 RDB의 조인을 기대하는 질문. 결론부터 말하면 다음 구조로 운영 가능한 데이터라면 엘라스틱 조인이 답이 될 수 있다.

netbios-ns

udp 137 포트를 사용하는 netbios-ns는 윈도우 시스템 간 peer 확인 프로토콜. 그런데 내 컴퓨터가 전세계의 컴퓨터와 통신을 시도하고 있다.

데이터 노가다 실수담 - 4th

다음은 변수 영역 추출 후 url 디코딩 > 길이 측정 처리가 이어지는 아파치 웹로그 데이터 파이프라인. 

filter {
 grok {
  match => { "message" => "%{COMMONAPACHELOG}" }
 }

 if "?" in [request] {
  grok {
   match => { "request" => "(?<url>[^?]+)?(?<param>.*)" }
  }

Elasticsearch 8.0의 변화 - 2nd

버전 8은 보안 기능이 필수다. 이때 스택 간 기능 연동을 위해 윈도우 버전은 관련 정보를 콘솔 실행 화면에 뿌려줌. 그런데 리눅스 RPM 버전은 (막연히 로그에 관련 정보가 찍힐 거라 생각했는데) 아니었다. 일단 yum 설치를 진행하면 관련 정보를 확인할 수 없다.

1. rpm 수동 설치

[root@Centos7 ~]# rpm -i elasticsearch-8.4.3-x86_64.rpm
warning: elasticsearch-8.4.3-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Creating elasticsearch group... OK
Creating elasticsearch user... OK
--------------------------- Security autoconfiguration information ------------------------------

트래픽 상태 축약

대부분의 트래픽은 클라이언트와 서버 사이에서 발생한다. 이때 출발지와 목적지 포트는 IP에 대한 정보가 없는 상태에서 출발지와 목적지 간의 관계를 알려주는 핵심 정보. 

Bin time spans and local time

다음은 기본 timechart. 계산 간격은 1시간.