데이터 곤조

데이터는 쉽사리 곁을 내주지 않는다. 지저분한 데이터 정리 작업 시작.

엑셀 데이터 필터 기능으로 작업 결과 검증.

한 번으로 끝나는 일은 거의 없다. 2단계.

쓰레기가 줄어드는 게 보이니 기운이 난다(..) 3단계.

4단계에 걸친, 데이터만큼이나 지저분한 정리 작업 완료. 이것도 무수한 삽질 끝에 그나마 익숙해진 결과.

10여 년 이상 이런 작업을 해왔으니 익숙해질 만도 하건만, 현실은 매번 어렵다. 데이터 성격이나 목적에 따라 작업 기준이 계속 달라지기 때문. 네가 이기나, 내가 이기나 보자는 승부 근성 or 끝을 보겠다는 똥고집을 부려야 그나마 버티기 수월해진다.

깜짝 놀랄 만큼의 금전 보상이 있지 않는 한, 데이터에 대한 관심과 적성 없이 데이터를 장악하려는 곤조는 쉽게 발휘되지 않는다. 지저분하고, 단순하지도 않은 작업이 지겹게 반복되니까.

데이터로 온갖 지저분한 가공과 관찰을 하는 동안 데이터의 질감을 느끼게 된다. 자신이 적용하는 모델의 안으로 들어가서 온갖 변형, 시행착오를 거치는 동안 해당 기법에 대한 통찰이 생기게 된다. 반복을 통해 그런 모든 과정에 편안해지는 단계가 있다. 장악의 느낌과 관계 있다... 빙산은 10%만 물 위로 머리를 내밀고 90%는 수면 하에 잠겨있다. 머리를 내민 우아한 작업의 이면에 잠겨있는 잡일이 본질로 보면 더 ‘우아한’ 것일 수도 있다.

관련 글

• Logstash 필터 xml - 2nd
• 노가다는 AI에게