노가다는 AI에게

요즘 자주 보이는 마케팅.

발전, 성취감 대신 지루함만 느끼기 십상이라 사람들은  대부분 단순 반복 작업을 싫어한다. AI가 해주면 땡큐지. 단순하고 반복적인 작업은 AI에게 맡기고 사람은 창의성을 발휘하자는, 너무나 이상적인 카피라 귀에 쏙쏙 들어온다. 그런데 마뜩지 않다. 현실을 왜곡할 수도 있기 때문.

모두 모델링을 하고 싶어하고 데이터 작업은 피해요

AI가 처리해준 결과를 보고 우아하게 판단만 내리면 된다는 뉘앙스를 주는 저 카피를 100% 믿는 이가 얼마나 될지는 모르겠지만, 일단 대부분의 데이터는 단순 반복이 아니라, 복잡 반복 노가다 과정을 필요로 한다.

Data Refinery from Myounghun Kang

설령 단순한 데이터를 단순한 목적으로 분석하는 상황이라 해도 AI에게 작업을 맡기는 과정은 그리 녹록지 않다. 결국 자동화를 하겠다는 건데, 자동화의 전제 조건은 동일 입력, 동일 출력. 입력이 같다면 출력도 항상 같아야 한다. LLM 기반 에이전트는 입력이 같아도 출력이 달라질 수 있다. 사용자 역량이 중요해지는 대목.

어떤 역량?

2000년대 초 쉘스크립트를 열심히 공부하던 시기가 있었다. 사실 스크립트란 게 간단히 정의하면 명령어 나열 이상도 이하도 아니라서 각 명령어를 한 줄씩 실행해보고 정상 동작하면 그대로 이어붙이기만 하면 된다.  

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51

#! /bin/sh # File Download cd /home/hosting wget ftp://192.168.56.1/pub/linux/src/apache/apache_1.3.27.tar.gz wget ftp://192.168.56.1/pub/linux/src/php/php-4.1.2.tar.gz wget ftp://192.168.56.1/pub/linux/src/sql/mysql-3.23.55.tar.gz   # Source File unzipping tar xvzf apache_1.3.27.tar.gz tar xvzf mysql-3.23.55.tar.gz tar xvzf php-4.1.2.tar.gz   # MySQL 3.23.55 Install cd /home/hosting/mysql-3.23.55 ./configure --prefix=/usr/local/mysql --with-charset=euc_kr make make install cd /usr/local/mysql ./bin/mysql_install_db ./bin/safe_mysqld -u root --language=korean &   # Apache 1.3.27 Configuring cd /home/hosting cd apache_1.3.27 ./configure --prefix=/home/httpd   # PHP 4.1.2 Install cd /home/hosting mv /home/hosting/php-4.1.2 /usr/local/php cd /usr/local/php ./configure --with-apache=/home/hosting/apache_1.3.27 --with-mysql=/usr/local/mysql --enable-track-vars make make install cp /usr/local/php/php.ini-dist /usr/local/lib/php.ini   # Apache 1.3.27 Install cd /home/hosting/apache_1.3.27 ./configure --prefix=/home/httpd --activate-module=src/modules/php4/libphp4.a make make install cd /home/hosting   # /etc/rc.d/rc.local File Editting echo "# Apache Start" >> /etc/rc.d/rc.local echo "/home/httpd/bin/apachectl start" >> /etc/rc.d/rc.local echo "# MySQL Start" >> /etc/rc.d/rc.local echo "/usr/local/mysql/bin/safe_mysqld -u root --language=korean &" >> /etc/rc.d/rc.local   # PHP Test file Create echo "<? phpinfo() ?>" >> /home/httpd/htdocs/test.php /home/httpd/bin/apachectl start Colored by Color Scripter

cs

그런데 다양한 명령어 조합을 통해 원하는 최종 결과를 얻으려면 당연히 단계별 명령어들의 역할과 순서를 명확히 알고 있어야 한다. 자동화를 하려면 수작업으로 전체 작업 과정을 최종 목적에 맞게 제어하는 경험이 먼저라는 얘기.

작업 제어만 가능하면 해피엔딩? 

잘 정리된 표와 시각화한 그래픽 등의 결과물은 겉으로는 화려하다. 결과물만 보고는 컴퓨터가 다 알아서 하고 사람은 뭘 한 것인지 궁금해하는 사람들도 있다. 하지만 컴퓨터는 생각보다 융통성이 없다. 지정된 형식에 맞지 않으면 데이터를 전혀 읽어 들이지 못한다... 여기서 끝이 아니다. 데이터를 만든다고 반드시 의미가 있지는 않다. 데이터는 스스로 말하지 않기 때문에 처리된 데이터를 해석할 수 있어야 한다.

다음은 예전에 재미로 구해본 대통령 후보자별 상대 후보 언급 비율. 몇 시간 끙끙대며 노가다를 했던 기억이 난다.

2017 대선 토론

이젠 AI 딸깍 한 방으로 끝(..)

그런데 이 결과를 그대로 믿어도 되는 걸까? 버젓이 실수할 수 있다 경고하고 있는데? AI는 아직 100% 정확도를 보장하지 않는다. AI가 틀려도 내가 책임지겠다는 마인드가 아니라면, AI의 작업 결과를 검증할 수 있어야 발등 찍히지 않는다는 얘기. 

검증은 어떻게?

코끼리를 본 적이 없으면 AI가 코가 없는 코끼리를 그려도 문제를 깨닫지 못한다. 원본 데이터의 구조와 의미를 알고 있을 때, 결국 스스로 분석할 수 있을 때 AI 작업 결과에 의미를 부여할 수 있다. 

데이터를 분석하려면 엘라스틱이나 스플렁크가 아닌 데이터를 잘 알아야 한다. (의미 파악은 기본이고) 전체적인 구조는 어떤지, 내 목적에 맞는 범위는 어딘지, 그 범위의 데이터를 어떻게 가공해야 원하는 분석이 가능한지에 대한 감을 잡을 수 있어야 한다. 이런 감각을 일깨워주는 가장 확실한 방법은 결국 데이터를 직접 만져보는 것. 

데이터를 직접 만지는 과정에서 (특히 실수를 깨닫는 과정에서) 데이터의 새로운 특징이나 데이터를 바라보는 새로운 시각을 얻을 수도 있다. 서울대 교수가 데이터 노가다를 강조하는 이유.

학생들은 기업 프로젝트를 시작할 때 80% 정도의 우아한 작업과 20% 정도의 잡일로 구성될 거라고 기대한다. 막상 프로젝트를 시작해보면 정반대다. 프로젝트의 80% 정도는 ‘노가다 ’가 차지한다. 잡일을 대하는 태도와 엔지니어의 수준은 밀접한 관련이 있다. 잡일 단계에 들 때마다 좌절하고 지루해하면 초보이거나 적성이 맞지 않는 엔지니어다. 고급 엔지니어의 ‘내공’은 과거에 경험한 이런 궂은일의 축적에서 나온다.

반복 노가다를 좋아하는 사람은 아무도 없다. 하지만 노가다를 통해 원하는 결과를 가져오는 전체 과정을 직접 경험해야만 어떻게 해야 노가다를 줄일 수 있는지 알게 된다.

관련 글

• 데이터 분석(이라 쓰고 노가다라 읽는다)
• 연애와 데이터 분석의 공통점
• 데이터 노가다 실수담