엘라스틱 써보고 싶어서 데이터 분석 하나요? 아니죠. 데이터를 잘 분석하고 싶은데 그때 선택할 수 있는 여러 툴 중 엘라스틱을 써보는 겁니다... 이 과정을 다 듣고 나면 엘라스틱을 잘 쓰니까 데이터 분석이 되는 게 아니라, 데이터를 잘 아니까 엘라스틱이 쉬워진다는 사실을 알게 되실 겁니다
input { elasticsearch { hosts => "https://192.168.56.1:9200" index => "winevent" user => "elastic" password => "******" ssl_certificate_authorities => "D:/ELK/v9/elasticsearch-9.2.0/config/certs/http_ca.crt" schedule => "* * * * *" query => '{
1 2 3 4 5 6 7 8 9 10 11 12 13 | [root@Snort ~]# rpm -ivh splunk-10.0.0-e8eb0c4654f8.x86_64.rpm warning: splunk-10.0.0-e8eb0c4654f8.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID b3cd4420: NOKEY Preparing... ################################# [100%] verify that this sytem has all the commands we will require to perform the preflight step no need to run the splunk-preinstall upgrade check useradd: cannot create directory /opt/splunk Updating / installing... 1:splunk-10.0.0-e8eb0c4654f8 ################################# [100%] find: ‘/opt/splunk/lib/python3.7/site-packages’: No such file or directory complete [root@Snort ~]# cd /opt/splunk [root@Snort splunk]# bin/splunk start --accept-license bin/splunk: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by bin/splunk) | cs |
[2025-09-07T11:06:48,019][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}[2025-09-07T11:07:00,219][INFO ][logstash.inputs.jdbc ][main][d56fa9ad43d4dc4ae19f64f322de33854c6e9d33b5fc7c06354603bf613db2ee] (0.001000s)select a.cid, a.timestamp, b.sig_name, inet_ntoa(c.ip_src), inet_ntoa(c.ip_dst), unhex(d.data_payload)from event a, signature b, iphdr c, data dwhere a.signature = b.sig_idand a.sid = c.sid and a.cid = c.cidand a.sid = d.sid and a.cid = d.cidand a.cid > 0
PS D:\ELK\elasticsearch-9.1.0\bin> .\elasticsearchjava.lang.RuntimeException: starting java failed with [1]output:[0.003s][error][logging] Error opening log file 'logs/gc.log': No such file or directory[0.003s][error][logging] Initialization of output 'file=logs/gc.log' using options 'filecount=32,filesize=64m' failed.error:Invalid -Xlog option '-Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,level,pid,tags:filecount=32,filesize=64m', see error log for details.Error: Could not create the Java Virtual Machine.
processors: - include_fields: fields: "message" - dissect: field: "message" tokenizer: "%{timestamp->} %{+timestamp} %{+timestamp} %{} %{procs->} %{msg}" target_prefix: "" - timestamp: field: "timestamp" layouts: - "Jan 2 15:04:05" - "Jan 02 15:04:05"[root@Splunk splunk]# bin/splunk enable boot-start Init script installed at /etc/init.d/splunk. Init script is configured to run at boot. [root@Splunk splunk]# [root@Splunk splunk]# ls /etc/init.d/ functions netconsole network README splunk sshd | cs |
종합하면, 앞의 17개 장은 '우리 본성의 선한 천사 '와 '지금 다시 계몽 '에 대한 최종적 비평에 다름없다. 이 비평의 전반적 평은 굉장이 부정적이다 (803 페이지)
스티븐 핑커에게는 역사와 역사적 방법론에 대한 깊은 이해가 거의 없다. 자신이 언급하는 역사시대와 사람들에 대한 깊은 지식이 없는 핑커의 책은 그저 역사에 대한 오해에 근거한 일반화 모음집에 불과할 수밖에 없다 (400 페이지)
filebeat.inputs:- type: filestream id: my-filestream-id enabled: true paths: - d:\firewall.log prospector.scanner.fingerprint.enabled: false
filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false
setup.template.settings: index.number_of_shards: 1
[root@Splunk ~]# rpm -ivh splunk-9.4.3-237ebbd22314.x86_64.rpm error: splunk-9.4.3-237ebbd22314.x86_64.rpm: headerRead failed: hdr data: BAD, no. of bytes(19932197) out of range error: splunk-9.4.3-237ebbd22314.x86_64.rpm cannot be installed | cs |
[root@Splunk ~]# file splunk-9.4.3-237ebbd22314.x86_64.rpm splunk-9.4.3-237ebbd22314.x86_64.rpm: RPM v3.0 bin i386/x86_64 splunk-9.4.3-237ebbd22314 | cs |
# Enable encryption and mutual authentication between cluster nodes xpack.security.transport.ssl: enabled: true verification_mode: certificate keystore.path: certs/transport.p12 truststore.path: certs/transport.p12 # Create a new cluster with the current node only # Additional nodes can still join the cluster later cluster.initial_master_nodes: ["192.168.31.177"] |
유기체가 생존 가능성을 높이려면 유기체의 복잡성이 환경의 복잡성과 대등한 수준이 되어야 한다 (29 페이지)
사회의 해결 능력을 훌쩍 뛰어넘는 수준으로 문제가 복잡해지면, 사회가 더 이상 문제 해결책을 '사고 '할 수 없는 시점(인식 한계점)에 도달하게 되면 해결되지 않은 문제들은 다음 세대로 떠넘겨지고 결국 해당 문명을 낭떠러지 끝으로 밀어낸다 (36 페이지)
processors: - include_fields: fields: "message" - copy_fields: fields: - from: message to: message2 - replace: fields: - field: "message2" pattern: "\"" replacement: "" - script: lang: javascript source: >filter { mutate { remove_field => ["@timestamp", "@version", "path", "host"] }
kv {}
dissect { mapping => {"msg" => "%{}(%{timestamp}:%{}"} }}
filter {
mutate {
remove_field => ["@timestamp", "@version", "path", "host"]
}
dissect {
mapping => {"message" => '%{}"%{}" %{status} %{}'}
convert_datatype => {"status" => "int"}
}
{ "message" => "122.213.34.56", "geoip" => { "longitude" => 139.6297, "ip" => "122.213.34.56", "country_code3" => "JP", "latitude" => 35.5843, "timezone" => "Asia/Tokyo", "city_name" => "Chitose", "region_name" => "Kanagawa", "region_code" => "14", "location" => { "lat" => 35.5843, "lon" => 139.6297filter { mutate { remove_field => ["@timestamp", "@version", "path", "host"] }
dissect { mapping => {"message" => '%{} "%{} %{uri} %{}" %{}'} } 
- script: lang: javascript source: > function process(evt) var str = evt.Get('message').split(';') evt.Put('result', str) }{ "@timestamp": "2025-02-27T03:49:19.802Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "8.17.0" }, "message": "type: 5 crl.root-x1.letsencrypt.org.edgekey.net;type: 5 e8652.dscx.akamaiedge.net;::ffff:23.207.177.83;",
공직사회의 일이란 그저 관습에 따르거나 기관장을 빛내기 위한 거대한 비효율의 반복 (83페이지)
진짜 필요한 일이 아닌 헛짓거리에 자신의 인생을 갈아 넣으며 느끼는 공무원들의 자괴감 (188페이지)
공직사회는 일을 못한다. 관료가 게을러서도, 철밥통이어서도 아니다. 그저 쓸데없는 일이 너무 많아서다 (274페이지)
ruby { code => " if event.get('message').include?('?') event.set('result', 'TRUE') else event.set('result', 'FALSE') end "}[2025-01-14T21:09:09,525][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}{ "message" => "a b c\r"}filter { mutate { remove_field => ["host", "@version", "path", "@timestamp"] split => {"message" => " "} }}processors: - include_fields: fields: "message" - if.contains: message: "?" then: - dissect: tokenizer: '%{clientip} %{} %{} [%{timestamp} %{}] "%{method} %{url}?%{param} %{}" %{status} %{}' field: "message" target_prefix: "" else: - dissect: tokenizer: '%{clientip} %{} %{} [%{timestamp} %{}] "%{method} %{url} %{}" %{status} %{}' field: "message" target_prefix: "" 
빅데이터는 '무엇을 얼마나 '에 관해서만 설명할 수 있다면, thick data는 '어떤 맥락에서 왜 '에 관해 말해 준다...
오직 thick data만이 빅데이터가 매끈하게 정규화, 표준화하느라 의도적으로 외면한 인간의 실제 경험, 진짜 얼굴을 보여준다 (14페이지)
