Splunk로 알아보는 이상징후 분석

네 번째 책을 출간했다. 사실 스플렁크는 상업용이고, 프리 버전은 1일 500MB 저장 용량 제한이 있어서 관심 밖이었다.

그런데 엘라스틱의 조인 기능에 답답해하던 중 스플렁크는 조인을 지원한다는 얘기를 듣고 써보다가 책까지 쓰게 됨(..)

특히 데이터를 저장한 후에도 분석 목적에 따라 테이블 구조를 마음대로 바꿀 수 있는 스플렁크의 읽기 스키마는 신선한 충격으로 다가왔다.

물론 엘라스틱도 최신 버전은 읽기 스카마를 지원하지만 적용 방식이 개발자 친화적?이라 좀 까다로울 수 있다.

반면 스플렁크의 읽기 스키마는 기본 베이스라 아예 의식할 필요가 없음. 그냥 (조인 기능을 대수롭지 않게 만들어버릴 만큼 뛰어난 데이터 접근성을 보여주는) SPL을 이용해서 마치 리눅스의 grep이나 sed 명령어 사용하듯 데이터에만 집중하면 된다.

한마디로 데이터 상상력을 발휘하기에 너무나 좋은 환경. 6개월 가량 스플렁크를 써본 소감은 검색 서비스 개발이 아닌 데이터 분석이 목적이라면, 그리고 제일 중요한 자금이 빵빵하다면 답은 스플렁크.

책의 구성은 전작 '엘라스틱서치로 알아보는 이상징후 분석'과 거의 똑같다. (제일 중요한) 1장은 그대로 유지했고, 나머지 과정은 분석툴만 엘라스틱에서 스플렁크로 바뀐 구성.

스플렁크를 활용한 데이터 분석 수준을 높이고 싶은 분들에게 도움이 되길 바란다. 스플렁크 매뉴얼을 원한다면 비추!!!

데이터 분석&스플렁크 입문 가이드

이 책은 구축/운영 매뉴얼이 아니며, 스플렁크를 데이터 분석툴로 활용한다. 특히 통계 분석이 가능한 데이터 구조를 만드는 데 필수인 데이터 전처리 및 분석 과정을 처음부터 끝까지 예제와 함께 따라해볼 수 있도록 하여 독자의 쉬운 이해를 돕는다.

이 책의 구성

1장에서는 웹 로그를 대상으로 엑셀(2013 이상)을 이용한 탐색적 데이터 분석(Exploratory Data Analysis)을 통해 통계 분석의 개념을 이해하고, 분석 대상 데이터에 대한 이해도를 높이며, 목적에 맞는 데이터 가공 및 분석 절차를 학습한다.

2장에서는 스플렁크 개념 및 구축 방안을 살펴보고, 스플렁크의 세 가지 데이터 연동 및 전처리 과정을 진행한다.

3장에서는 스플렁크의 검색 언어인 SPL(Search Processing Language)을 이용한 데이터 검색 및 전처리 보강, 그리고 대시보드 구축을 통해 이상징후 분석을 진행한다.

4장에서는 리눅스 및 스플렁크 앱을 이용한 데이터 분석 환경 구축을 다룬다.

목차

1장. 데이터 분석
  1.1 통계 분석
  1.2 데이터 전처리
  1.3 탐색적 데이터 분석
    1.3.1 전체 그림 그리기
    1.3.2 상태 세분화
    1.3.3 상태별 관계 그리기
    1.3.4 URL 변화 추이 그리기
    1.3.5 변수 변화 추이 그리기
    1.3.6 사용자 및 접속 도구 변화 추이 그리기
    1.3.7 이상징후 확인
    1.3.8 응답 변화 추이 그리기
  1.4 데이터 해상도
    1.4.1 시간 해상도
    1.4.2 URL 해상도
    1.4.3 변수 해상도
    1.4.4 시행착오
  1.5 정리

2장. 스플렁크
  2.1 스플렁크란?
    2.1.1 데이터 관리 구조
  2.2 스플렁크 설치
  2.3 데이터 연동
    2.3.1 로컬 데이터 업로드
    2.3.2 데이터 삭제
    2.3.3 실시간 모니터
    2.3.4 포워더
  2.4 정리

3장. 이상징후 분석
  3.1 SPL
    3.1.1 검색 명령어

    3.1.2 통계 명령어

    3.1.3 시계열 차트    
  3.2 데이터 전처리 편집
    3.2.1 필드 별칭
    3.2.2 필드 계산
  3.3 대시보드
  3.4 정리

4장. 분석 환경 구축
  4.1 스플렁크 on 리눅스
  4.2 스플렁크 앱
  4.3 정규표현식 메타 문자

  4.4 정리

★ 전작 엘라스틱서치로 알아보는 이상징후 분석의 리뷰를 남겨주신 분들에게 이번에도 리뷰 기회를 드립니다. 메일 주세요. ★

관련 글

• Splunk의 진입장벽