관심가는 분야는 탐지 정확도 향상 분야인데 해당 분야의 아이디어들을 살펴보면 공통적으로 등장하는 하나의 특징을 발견할 수 있다.
특허1
- 웹 보안 시스템 및 방법(출원 번호:10-2006-0095531)
접속 요청 수 추출부는 사용자 단말이 접속 요청하는 서버의 각 웹 페이지들에 대해 접속 요청의 수를 추출하고, 대처 과정 수행부는 웹 페이지들에 대한 접속 요청의 수가 소정의 정상 범위를 벗어나는 경우 소정의 이상 대처 과정을 수행한다.
웹 서비스 요청에 대해 미리 설정된 공격 패턴과 일일이 비교하는 것이 아니라 웹 서비스 요청 자체에서 이상 여부를 판단하기 때문에 룰 업데이트의 필요가 없고, 빠르게 웹 보안을 수행할 수 있게 된다.
패턴매칭은 오탐을 포함한 대량 로그 분석과 지속적인 룰 업데이트가 필요해서 돈이 많이 드니 요청 횟수가 많은 웹 접속 위주로 분석을 하자는 것.
특허2
- 시그니처 탐지 및 이상트래픽 경보위험도 기반의 침입방지장치 및 그 방법(출원번호:10-2006-0096454)
서로 다른 복수개의 공격패턴 탐지센서 및 이상트래픽 탐지센서로부터 수집된 신뢰도와 경보위험도를 각각 가지는 공격경보들을 발생시간에 따라 분류하고, 발생시간이 동일한 공격경보들의 일치정도를 나타내는 기준값을 계산하는...
...서로 다른 종류의 탐지센서로부터 수집된 공격경보를 이용하여 이상트래픽 탐지센서가 생성한 공격경보의 경보위험도의 정확한 신뢰도를 계산하여 이상트래픽에 대하여 적절한 침입대응을 제공한다.
기존 패턴매칭은 부정확하니 여러 보안 장비의 룰에 미리 신뢰도와 위험도를 부여한 후, 그 값을 계산해서 정확도를 높이겠다는 것. 결국 분석해야할 로그가 많으니 신뢰도 계산 결과가 높은 룰(에 의해 발생한 로그)부터 분석하겠다는 것.
특허3
비슷한 특허가 미국에도 있다. 2004년 미국에서 출원된 어느 특허(Multi parameter network fault detection system using probabilistic and aggregation analysis)에 대한 요약은 다음과 같다.
The system is run within a network system, and includes a first set of firewall rules, a second set of intrusion detection rules, and a third set of authentication rules which authenticates the user, the VPN, and host intrusion. A special correlation rule set correlates among the other rules in order to determine information from patterns.
The rules look at probabilistic information and also look at patterns within the data, attempting to find where intrusions may exist prior to their actual occurence.
방화벽, IDS, VPN(?) 등의 보안 장비 룰에 확률(정확도?)을 부여한다는 것. 조합된 확률이 높은 룰(에 의해 발생한 로그)부터 분석하겠다는 것이다. 그러나 최종 공격 여부 확인은 데이터의 패턴을 봐야 한다고.
공통점
모두 룰과 관계 없는 특정 상태의 발생량이나, 룰에 일종의 가중치를 줘서 값이 높은 것부터 분석하겠다는 목표를 가지고 있다. 분석해야할 로그는 많고, 분석할 사람은 없다 보니 결국 중요해 보이는 로그라도 골라서 먼저 분석하겠다는 것.
 |
| 삐빅! 이상징후입니다 |
개인적으로 이런 방법론들을 패턴매칭과 병행한다면 상호 보완을 통해 분명 효과가 있을 거라 본다.
문제는
애당초 패턴매칭을 제대로 활용할 수 없는 환경이기 때문에 이런 방법론들이 제안된다는 것. 패턴매칭을 제대로 활용하지 못하는, 체계적인 룰 검증 체계가 없는 환경에서 룰의 정확도나 신뢰도를 결정하는 가중치는 어떻게 산정해야 할까?
쓰레기가 입력되면 쓰레기가 출력된다. (garbage in, garbage out) - 네트워크 보안 실무 (66 페이지)
출력을 분석하면 입력을 검증할 수 있다는 뜻이며, 로그를 분석하면 룰의 정확도(신뢰도)를 검증할 수 있다는 뜻.
부정확한 룰에 의해 발생한 부정확한 로그를 '중복 빈도 '나 '발생 빈도 ' 등의 조건으로 '연관 분석 '하는 무리한 방법론이 일반화되면서 보안관제 분야는 항상 인력난에 시달리고 있다. - IDS와 보안관제의 완성 (205 페이지)
결국 룰이 정확해지면 다 해결될 문제. 하지만 보안장비에 대한 투자는 늘어도 보안장비의 존재 이유인 룰에 대한 투자는 좀처럼 늘지 않는다.
한계
미국 특허 출원인도 이런 한계를 느낀 걸까? 결국 그는 데이터의 패턴을 보는 것만이 궁극적인 해결책이며, '룰의 신뢰도를 결정하는 베이지안 분석법은 그냥 추정 '일 뿐이라는 말로 애써 고안한 자신의 방법론을 스스로 평가절하하고 만다.
(0025) One aspect of the probabilistic aspect defines using Bayesian analysis as a part of the detection process. Bayesian analysis is a statistical procedure which estimates parameters of an underlying distribution based on the observed part of the distribution.
In many ways, Bayesian analysis is just a guess, since its assessment of probability depends on the validity of the prior distribution, and can not be assessed statistically.
하드웨어 성능이 날로 좋아지면서 데이터 처리 성능의 발전은 눈이 부신데, 그 결과를 측정하고 검증하는 분야의 발전은 수십 년째 제자리를 벗어나지 못하는 느낌.
패턴매칭은 기계가 할 수 있는데, 그 결과에 대한 판단은 사람 손이 필요해서가 아닐까 한다. 결과적으로 처리 성능은 측정이 가능한데, 정확도는 측정이 힘든 분야가 돼버렸다.
 |
| 조석 축구만화 |
미국도 헤메고 있는 문제
로그는 많고 사람은 부족해서 발생하는 이 문제, 기술 종주국 미국도 해결하지 못하고 있는 이 문제를 해결할 수 있는 방법은 무엇일까? 인공지능?
패턴매칭 보안 장비를 패턴매칭이 아닌 다른 방법으로 운영하려는 발상이 과연 올바른 접근일까? 연비가 나쁘다고 휘발유 자동차에 경유를 넣어도 될까?
로그가 많아서 문제라면 해결책은 로그를 줄이는 것 뿐이며, 부정확한 룰이 문제라면 정확도를 높이는 것만이 해결책이 될 수 있다. 결국 패턴매칭이 문제라면 패턴매칭을 버리든지 또는 개선하든지, 둘 중 하나를 선택해야 한다.
관련 글
댓글 없음:
댓글 쓰기