Splunk의 timestamp

스플렁크는 datetime.xml을 이용해서 데이터의 timestamp 정보를 가져온다.

IP 주소를 검사하는 정규표현식

Filebeat의 processors - 4th

filebeat를 이용한 시간 정보 처리 설정.

processors:
  - timestamp:
      field: timestamp
      layouts:
        - '2006-01-02 15:04:05'

composable template forbids index auto creation

로그스태시의 동적 매핑을 사용하면 키워드 필드의 ignore_above 값이 256으로 고정된다.

{
  "test": {
    "aliases": {},
    "mappings": {
      "properties": {
        "message": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256

Splunk 대시보드 - 2nd

대시보드 차트에서 IP 조건 검색을 하고 싶다.

Splunk 대시보드

엘라스틱은 대시보드 전체 차트가 하나의 시간 선택기를 공유하며, 임의 차트의 특정 시간 범위를 마우스 클릭(또는 드래그)을 통해 전체 차트에 적용할 수도 있다.

Filebeat의 processors - 3rd

프로토콜별로 불필요한 필드는 지우고 싶다.

processors:
  - include_fields:
      fields: "message"
  - dissect:
      tokenizer: "%{timestamp} %{+timestamp} %{action} %{protocol} %{sip} %{dip} %{sport} %{dport} %{tcpflags} %{icmptype} %{icmpcode}"
      target_prefix: ""

Logstash의 줄바꿈 문자 - 3rd

input 플러그인 file은 줄바꿈 문자로 이벤트 단위를 구분한다.

머신러닝의 한계? - 2nd

스플렁크는 데이터 이상징후 분석 기능을 제공한다. 그중 발생 빈도, 표준편차 등의 계산 방식으로 비정상 정도를 산정한다는 anomalousvalue에 변수 고유개수 분석을 맡겨봤다.

Splunk의 조건문

스플렁크 조건문 사용 시 주의사항. 먼저 CASE 조건문. 조건이 참일 땐 문제 없다.

Splunk의 이벤트 단위 텍스트 필터링

다음은 윈도우 방화벽 로그 발생 현황.

Winlogbeat 8.12의 변화

beat 제품군은 8 버전부터 Data stream 사용이 디폴트. 그게 마음에 안 들면 다음 설정을 이용해서 인덱스명을 직접 지정할 수 있다.

Splunk와 Winlogbeat 차이 - 3rd

winlogbeat는 이벤트 로그 파일 연동을 지원한다.

가짜 노동

덴마크 출신 데니스 뇌르마르크, 아네르스 포그 옌센 공동 저작. 잘 쓰여진 책이라는 생각은 안 들지만 제목의 임팩트만큼은 상당하다. 

거시경제학의 창시자 케인즈는 1930년대에 이런 예언을 했다고 한다. "2030년까지 평균 노동시간은 주 15시간이 될 것 "

산업혁명과 세계대전 이후 기술 발전으로 많은 분야의 노동 효율이 증가했다. 저자는 이런 배경에도 불구하고 노동 시간이 줄지 않는 이유로 '가짜 노동'을 지적한다. 가짜 노동?

저자는 의사, 간호사, 교사, 청소부 등 '필수 인력(?)'에 포함되지 않는, 주로 화이트칼라 '사무직'의 노동을 가짜 노동으로 바라본다(..)

가짜 노동하는 사무직의 탄생 (36페이지)

Splunk DB Connect - 4th

DB connection 설정 시 SSL 사용이 기본 설정.

Mysql 설치 오류

기존 설치 과정.

[root@Centos7 ~]# rpm -ivh https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm
Retrieving https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm
warning: /var/tmp/rpm-tmp.AwEiPw: Header V4 RSA/SHA256 Signature, key ID 3a79bd29: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql80-community-release-el7-7  ################################# [100%]

Logstash와 ECS

버전 8부터는 로그스태시에도 ECS(Elastic Common Schema)가 기본 적용된다.