AI가 결함을 찾고 증명까지 하는 시대에 '검증했다'는 말은 하나의 뜻이 아니다. 테스트 통과와 기계 검사를 통과한 증명은 보증의 종류부터 다르다. 커버 스토리가 짚은 '판정 기준의 병목', 즉 무엇을 맞다고 볼지 정하지 않으면 기계도 사람도 판정할 수 없다는 문제를 도구 수준에서 뜯어 보면 하나의 사다리가 드러난다.
검증 수단은 다섯 계단으로 정렬된다. 아래로 갈수록 싸고 빠르며, 위로 갈수록 보증이 강하고 비싸다. 11월 공개된 OpenAI의 리눅스 커널 취약점 파이프라인과 구글 딥마인드(Google DeepMind)의 AlphaProof Code를 이 사다리에 올리면 같은 그림이 나온다. AI는 아래 계단을 싸게 만들었고, 수요는 무엇을 증명할지 정하고 판정에 서명하는 맨 위 계단으로 몰렸다.
| 계단 | 보증하는 것 | 보증하지 못하는 것 | 비용·속도 | AI가 바꾼 것 |
|---|---|---|---|---|
| ① 정적 분석·테스트·퍼징 | 결함이 '있다'는 단서 | 결함이 '없다'는 것, 거짓양성 | 가장 싸고 빠름 | 후보 2,308건을 12시간에 산출(OpenAI) |
| ② 동적 재현 | 실제로 터진다는 증거 | 성공에 이른 경로가 맞는지 | 정적 분석보다 비쌈 | 후보의 약 74.7%를 자동 재현(OpenAI) |
| ③ 평가(eval)·LLM 판정 | 사람 판단과의 높은 일치 | 정답 여부, 판정자 편향 | 싸고 대량 | 판정 자체의 자동화 |
| ④ 형식 검증 | 명세된 속성을 어기는 버그·공격의 배제 | 명세 자체가 옳은지, 범위 밖 | 과거엔 수 인년~수십 인년 | 증명은 에이전트가 쓰고 Lean 커널이 검사(딥마인드) |
| ⑤ 사람의 판정·서명 | 책임의 귀속, 무엇을 볼지의 선택 | 대량 처리 | 가장 비싸고 느림 | 아래 계단이 싸지며 수요가 몰림 |
① 정적 분석·테스트 — '있음'은 보이지만 '없음'은 못 보인다
에츠허르 다익스트라(Edsger W. Dijkstra)는 "프로그램 테스트는 버그가 있음을 보일 수는 있어도, 없음을 보일 수는 없다"고 썼다. 정적 분석은 여기에 거짓양성이라는 부담을 더한다.
AI는 이 계단을 가장 극적으로 싸게 만들었다. OpenAI 파이프라인은 12시간 만에 중복을 제거한 후보 2,308건을 냈다(파이프라인 전체 흐름은 커버 스토리 참조). 그러나 OpenAI 스스로 "후보 발견은 검증된 취약점과 같지 않다"고 선을 긋는다. 아래 계단이 싸질수록 위로 올려 보낼 후보가 쏟아진다.
② 동적 재현 — 실제로 터지는가
두 번째 계단은 "돌려 보니 실제로 터진다"는 경험적 증거다. OpenAI의 트리아지 에이전트는 후보마다 개념 증명(PoC) 코드를 만들어 메모리 오류 탐지 기능(KASAN)을 켠 격리 VM에서 실행했고, 30시간 동안 1,724건(후보의 약 74.7%)을 재현했다. 그럴듯한 보고와 진짜 결함을 가르는 필터다. OpenAI에 따르면 재현 검증은 참양성이든 거짓양성이든 비용이 비슷해서, 거짓양성을 앞단에서 걸러낼수록 비용 효율이 의미 있게 높아진다.
재현에도 맹점은 있다. 커버 스토리가 전한 '성공 200건 중 20건은 다른 0-day로 루트를 얻었다'는 사례처럼, 터졌다는 사실이 경로까지 보증하지는 않는다. 리눅스 커널 공식 문서 'AI Coding Assistants'는 이 계단을 제출 절차에 넣었다. 사소하지 않은 버그는 재현기를 만들어 실제인지 확인해 보라고 하고, 재현기를 만들지 못했으면 그 사실을 명시하라고 요구하며, 메인테이너들이 검증되지 않은 보고와 테스트되지 않은 수정을 분석하느라 너무 많은 시간을 낭비한다고 적었다.
③ 평가·LLM 판정 — 싸고 많지만 정답은 아니다
세 번째 계단은 모델이 결과를 채점하는 방식이다(평가 도입론은 지난호 오피니언 참조). 2023년 연구(Zheng 외)의 MT-Bench·Chatbot Arena 실험에서 GPT-4 같은 강한 판정 모델은 사람끼리의 일치 수준인 80% 넘게 사람 선호와 일치했지만, 같은 연구는 위치·장황함·자기 선호 편향과 제한된 추론 능력을 한계로 꼽았다. '일치'는 '정답'이 아니다. 판정자 자체가 확률적 모델이므로 이 계단의 판정은 다시 검증받아야 하는 판정이다.
④ 형식 검증 — 명세에 대해서만, 그러나 빠짐없이
형식 검증은 지켜야 할 정확성·보안 속성을 명세로 적고 시스템이 이를 만족함을 수학적으로 증명하는 방법으로, 딥마인드 기술 논문의 표현대로 그 속성을 위반하는 모든 버그와 공격을 배제한다. 판정은 오픈소스 증명 보조기 린(Lean)의 작은 신뢰 커널이 기계적으로 내린다.
이 계단은 너무 비쌌다. 기술 논문에 따르면 seL4 마이크로커널 검증에 20인년, CompCert 컴파일러에 6인년이 들었고, 이런 비용은 가장 중대한 영역이 아니면 감당하기 어려웠다. AlphaProof Code는 증명 작성을 AI로 옮겼다. 에이전트가 생성한 약 650만 줄의 Lean 증명이, 사람이 신뢰해야 하는 약 2만 6,000줄의 명세와 기계어 의미론 위에 서 있다(기술 논문 기준). 블로그는 이 작업에 4주가 걸렸다며 전문가 팀이 수년 걸리던 일이라고 비교했다.
③과 ④를 가르는 문장도 기술 논문에 있다. 증명은 최종적으로 Lean 커널이 검사하므로 "결과의 신뢰성은 증명 에이전트의 신뢰성에 의존하지 않는다." LLM 판정은 판정자를 믿어야 하지만, 형식 검증은 증명을 쓴 AI를 믿을 필요가 없다.
대신 명세는 믿어야 한다. 기술 논문은 최종 결과의 타당성이 명세를 제대로 쓰는 데 달려 있고, 명세는 자동으로 검사할 수 없다고 밝혔다. 범위도 명세가 정한다. 이번 검증은 libsignal의 1:1 세션 코드에 한정됐고 그룹 메시징·멀티디바이스·키 생성은 빠졌다. 형식 검증은 '전부'가 아니라 명세한 것을 빠짐없이 보증한다.
flowchart TB
subgraph L3["③ LLM 판정"]
direction LR
A1[결과] --> J["판정 모델<br/>확률적이라<br/>다시 검증받아야 함"]
J --> V1["사람 판단과<br/>높은 일치"]
end
subgraph L4["④ 형식 검증"]
direction LR
P["에이전트가 쓴 증명<br/>약 650만 줄<br/>믿을 필요 없음"] --> K["Lean 커널이<br/>검사"]
S["명세와 기계어 의미론<br/>약 2만 6,000줄<br/>사람이 믿어야 함"] --> K
K --> V2["명세한 속성을<br/>빠짐없이 보증"]
end
L3 ~~~ L4
style J fill:#3a2d5c,stroke:#AA78FF,color:#F9FAFB
style S fill:#3a2d5c,stroke:#AA78FF,color:#F9FAFB⑤ 사람의 판정 — 아래가 싸질수록 붐비는 계단
꼭대기 계단에서 두 사례는 같은 자리에 사람을 세웠다. 딥마인드 블로그는 "사람 전문가가 AI와 함께 무엇을 증명할지 정하고, AI 에이전트 무리가 증명한다"고 요약했다. 명세는 전문가가 모두 검토했고, 에이전트가 사람 재검토가 필요하다고 표시한 부분은 코드베이스의 약 1%였다(커버 스토리 참조). 저자들은 증명 대상 선택과 모든 최종 결정을 사람이 맡는 분업을 제안했다.
OpenAI 파이프라인도 마지막 단계는 보안 연구자의 검토이고, AI가 만든 패치는 메인테이너가 검토할 '후보'로 전달된다. 리눅스 커널 문서가 AI 에이전트의 Signed-off-by 태그를 금지하고 개발자 원산지 증명서(DCO) 인증을 사람에게만 맡긴 것도 이 계단을 제도로 못 박은 것이다(커버 스토리 참조).
우리 팀은 어느 계단까지 오를까
정답표는 없지만, 기준은 세울 수 있다(이하 필자의 해설). 첫째, 위험도. 인증·결제·암호처럼 틀리면 되돌리기 어려운 영역은 증명 작성 비용이 내려가면서 ④를 검토할 만한 후보가 됐다. 둘째, 변경 빈도. 자주 바뀌는 기능은 명세 유지 비용이 커서 ①~③의 자동화로 촘촘히 막는 편이 현실적이다. 셋째, 판정 비용. 아래 계단에서 거짓양성을 먼저 걸러야 사람의 시간을 아낀다.
어느 경로든 마지막에는 ⑤를 지난다. 그러니 팀의 검증 체계를 점검할 때 물을 것은 두 가지다. 우리는 무엇을 '맞다'고 적어 두었는가, 그 판정에는 누구의 이름이 붙는가. AI가 아래 계단을 싸게 만들수록 투자할 곳은 사다리의 꼭대기다.
출처
- https://openai.com/index/a-thousand-fewer-paths-to-root/
- https://deepmind.google/blog/introducing-alphaproof-code/
- https://google-deepmind.github.io/code-verification/
- https://lean-lang.org/
- https://arxiv.org/abs/2306.05685
- https://www.cs.utexas.edu/~EWD/transcriptions/EWD02xx/EWD268.html
- https://kernel.org/doc/html/latest/process/coding-assistants.html