Elasticsearch 활용(scripted field - 2nd)

scripted field 추가 테스트. 다음은 get 메소드에 대한 200 응답코드 검색 결과.

이번엔 '메서드-응답코드'가 매칭된 scripted field에서 같은 결과를 검색해봤다. 응? 못찾네?

scripted field는 불러오는 시점에 데이터를 가공해서 보여주는 형식. 엘라스틱서치에 저장된 데이터가 아니라는 얘기. 없는 데이터를 검색하니 못찾는 게 당연한 건가?

다른 scripted field를 만들어 보자. 다음은 URI 변수 데이터를 필드 추출에서 멈추지 않고, Logstash 필터 ruby를 이용해서 데이터 길이까지 측정한 결과. asp 파일별 변수 길이의 변화 추적이 가능해진다.

그런데 데이터 전처리 과정에서 필터 사용을 깜박하거나, 처음엔 데이터 길이 측정의 필요성을 느끼지 못하다가, 분석 과정에서 필요해졌다면? 그럴 땐 별 수 없이 지겨운 데이터 전처리 과정을 다시 진행해야 한다. 하지만 scripted field를 이용한다면?

다음은 'var.keyword' 필드에 저장된 문자열 데이터의 길이를 잰 후, 숫자로 저장한 scripted field 생성 결과. 전처리 과정에서 생성한 var_len 필드와 후처리 과정에서 생성한 var_len2 필드가 같은 값을 보여준다.

이제 var_len2 필드로 asp 파일별 변수 길이의 변화 추이를 살펴볼 수 있는 시계열 그래프를 그려보자. 그런데 안 됨(..)

에러 메시지가 뜨는데 뭔소린지 모르겠다. 이것도 엘라스틱서치에 저장되지 않은 데이터라서 발생하는 문제인가? 'method-status' 필드의 시계열 그래프는 잘 그렸는데, 얘는 왜 못그리지?

차이가 있다면 'method-status' 필드는 문자형, 'var_len2' 필드는 숫자형 데이터라는 건데, scripted field는 숫자형 데이터의 aggregation을 지원하지 않나?

scripted field는 실시간으로 데이터를 가공해서 보여주는 기능이라 그런지, 활용에 제약이 좀 있는 듯하다. 데이터 후처리 가능한 기능이라고 좋아했는데(..) 흥 그냥 데이터 전처리 잘 하면 되지 뭐. 말은 이렇게 했지만 아시는 분 조언 좀

관련 글

• Elasticsearch 활용(scripted field - 3rd)
• Elasticsearch 활용(scripted field)