HBSiGN. vol. 2 · 2026. 11. 12.

커버 스토리

검증이 병목이다: AI가 찾고 고치고 증명하는 시대, 사람이 쥘 것

생성은 싸졌고, 판정은 여전히 비싸다 — 리뷰·QA·보안 승인을 'AI가 만든 양' 기준으로 다시 짜야 하는 이유

11월 4일 OpenAI는 출시 전 사이버 보안 모델로 만든 자율 파이프라인을 리눅스 커널에 한 번 돌린 결과를 공개했다. 파이프라인은 고유 권한 상승(LPE) 취약점 948건을 찾아내고 그 수만큼 패치 후보를 만들었다. 엿새 뒤인 11월 10일에는 구글 딥마인드(Google DeepMind)가 AI 에이전트를 이끌어 메신저 Signal 구현 코드의 핵심 보안 속성을 수학적으로 증명했다고 발표했다. 찾기와 증명하기가 일주일 사이에 기계 규모로 올라선 셈이다. 그런데 두 발표의 결론은 '더 빨리 찾았다'가 아니었다. OpenAI는 "취약점 발견은 갈수록 쉽게 확장되지만, 우선순위 판단과 검증은 여전히 운영상의 병목"이라고 적었다. 딥마인드 연구진은 "증명이 싸지면 어려운 질문은 무엇을 증명할 것인가"라고 썼다. 개발팀이 매일 돌리는 코드 리뷰, QA, 보안 승인에도 같은 질문이 걸려 있다.

왼쪽의 넓은 입구로 수많은 빛나는 조각(코드·보고·패치를 상징하는 작은 블록)이 기계 속도로 쏟아져 들어오지만, 오른쪽 끝의 좁은 출구에는 한 사람의 실루엣이 서서 조각을 하나씩 들어 살펴보는 장면. 생성은 넓어졌는데 판정하는 자리는 여전히 좁다는 '검증 병목'을 표현한 개념 일러스트.
검증 병목 — 만드는 쪽은 기계 규모로 넓어졌고, 맞는지 판정하는 자리는 여전히 사람 한 명 폭이다

이번 호는 이 상태를 검증 병목이라 부른다. AI가 코드·취약점 보고·패치·증명을 기계 속도와 기계 규모로 만들어 내면서, 소프트웨어 공급망의 제약이 '만들기'에서 '그것이 맞는지 판정하기'로 옮겨간 상태다. 병목은 세 층으로 드러난다. 사람의 처리량을 넘어서는 양, 무엇을 '맞다'고 볼지 정하는 판정 기준, 그리고 최종 판정에 누구 이름이 붙느냐는 책임이다.

층병목의 질문본문 속 근거이어 읽기
양사람의 처리량을 넘어서는 양리눅스 재단 조사: 유입 PR 평균 25%를 'AI 슬롭'으로 추정 · PostgreSQL 백패치 커밋 248건→433건 · 커널 릴리스당 수정 CVE 평균 약 500건→7.2에서 1,500건 초과인터뷰
판정 기준무엇을 '맞다'고 볼 것인가AlphaProof Code: 증명 약 650만 줄은 Lean이 검사, 사람이 믿어야 할 명세·기계어 의미론은 약 2만 6,000줄오피니언
책임최종 판정에 누구 이름이 붙나커널 문서: AI 에이전트는 Signed-off-by 불가 · OpenAI 익스플로잇 '성공' 200건 중 20건은 다른 0-day로 루트 획득글로벌
표: 검증 병목의 세 층 — 이번 호 각 섹션은 이 가운데 한 층을 깊이 판다

깔때기의 끝에는 늘 사람이 있다

OpenAI 파이프라인의 숫자는 각 단계에서 무엇을 셌는지 알아야 제대로 읽힌다. 스카우트 에이전트가 커널 코드의 약 7%(약 280만 줄)를 감사 대상으로 골랐다. 분석 에이전트는 12시간 동안 중복을 걸러 후보 2,308건을 냈고, 트리아지 에이전트가 격리된 가상머신에서 이 가운데 1,724건을 실제로 재현했다. 보호 기능을 켠 환경에서 작동한 권한 상승 익스플로잇은 1,169건이었다. 948은 여기에 변이 분석을 거쳐 만든 서로 다른 패치의 수이고, OpenAI는 이를 고유 취약점 수로 쓴다. 948은 수정이 끝난 건수가 아니다. OpenAI가 보낸 것은 "메인테이너 검토용 후보 패치"이고, 그중 몇 건이 실제로 머지됐는지는 공개되지 않았다. 각 계단이 무엇을 보증하는지는 이어지는 '검증 해부'에서 자세히 다룬다.

flowchart TD
  S["스카우트 에이전트가<br/>감사 대상 선정<br/>커널 코드의 약 7%<br/>약 280만 줄"]
  C["중복을 걸러 낸 후보<br/>2,308건"]
  R["격리된 가상머신에서 재현<br/>1,724건"]
  X["보호 기능을 켠 환경에서<br/>작동한 권한 상승 익스플로잇<br/>1,169건"]
  P["서로 다른 패치 948건<br/>OpenAI가 고유 취약점<br/>수로 집계"]
  H["메인테이너 검토용 후보 패치<br/>머지 여부는<br/>메인테이너가 결정<br/>머지 건수 미공개"]
  S -- 분석 에이전트 12시간 --> C
  C -- 트리아지 에이전트 --> R
  R --> X
  X -- 변이 분석 --> P
  P -- 보안 연구자 검토 --> H
  style H fill:#3a2d5c,stroke:#AA78FF,color:#F9FAFB
그림: OpenAI 리눅스 커널 파이프라인의 깔때기 — 단계마다 센 대상이 다르다. 948은 서로 다른 패치의 수(고유 취약점 수로 집계)이지 수정이 끝난 건수가 아니며, 마지막 판정은 사람에게 남는다

비용은 공개됐다. API 크레딧 기준 총 121만 3,430달러, 고유 취약점(948건) 1건당 약 1,279달러다. OpenAI는 이 금액을 상한에 가깝다고 표현했다. 7월 말 이전 모델로 돌린 스캔은 고유 취약점 166건을 찾았는데, 석 달 뒤 새 모델로 돌린 스캔은 그 5배 넘게 찾았다. 발견 쪽 단가는 이렇게 공개되는데, 반대편 비용은 공개된 수치를 찾을 수 없다. 메인테이너가 패치 하나를 읽고 판단해 머지하는 데 드는 비용이다. 단가가 공개되지 않는다는 사실이 이 병목이 어디서 생기는지를 보여 준다.

양의 병목: 가짜보다 진짜가 문제다

OpenAI는 첫 발견 단계가 "보안 연구자가 손으로 검토하고 분류하기에는 너무 많은" 후보 수천 건을 쏟아냈다고 적었다. 운영상의 과제는 발견이 아니라 어떤 후보가 재현되는지, 어느 보안 경계를 넘는지, 무엇을 메인테이너에게 먼저 보여야 하는지 가리는 일이었다고 한다.

받는 쪽 통계도 나왔다. 리눅스 재단(Linux Foundation)이 10월 20일 낸 보고서에서 메인테이너의 59%가 생성형 AI 이후 기여가 늘었다고 답했고, 대형 프로젝트에서는 이 비율이 69%였다. 응답자들은 유입 PR(풀 리퀘스트)의 평균 25%(대형 31%)를 'AI 슬롭', 즉 저품질 AI 생성물로 추정했다. 원보고서상 이 문항의 정의는 "저품질 및/또는 AI 생성"이고 수치는 응답자 추정의 평균이다. 리뷰 시간이 늘었다는 응답은 대형 프로젝트 64%, 중형 55%, 소형 46%였다. 코드 작성 시간은 평균 52% 줄었다고 답했지만, 고복잡도 작업에서는 응답자 21%가 오히려 시간이 더 걸린다고 했다. AI 사용을 허용하는 공식 정책을 갖춘 프로젝트는 35%뿐이다. 다만 표본은 유효 응답 234명(2026년 4~6월 수집)이고 레드햇(Red Hat)이 후원했으며, 응답은 리눅스 재단과 협력사 채널로 모았다. 숫자는 방향을 보여 주는 정도로 읽는 게 맞다.

더 곤란한 쪽은 슬롭보다 진짜 보고다. PostgreSQL 커미터 로버트 하스(Robert Haas)는 10월 21일 블로그에서 PostgreSQL 19 출시가 예년보다 늦어지는 원인으로 LLM으로 버그를 찾아 보고하는 사람이 크게 늘어난 것을 꼽았다. 기능 동결 이후 같은 기간 이전 릴리스 브랜치에 백패치된 커밋은 248건에서 433건으로 74% 넘게 늘었다. 하스는 버그를 찾기가 훨씬 쉬워졌고, 고치기도 쉬워졌지만 "같은 정도는 아니다"라고 진단했다. LLM이 수정안 초안을 쓰더라도 결국 사람이 검토하고 커밋해야 하는데, "그 사람들은 2025년과 2026년 사이에 조금도 더 똑똑해지지 않았다"는 것이다. 11월 12일 기준으로, RC1 공지에 따른 PostgreSQL 19의 정식 출시 예정일은 11월 19일이다. 예년이라면 9월 중순~10월 중순에 나왔다.

리눅스 커널에서도 같은 일이 벌어지고 있다. 2014년부터 기여해 온 메모리 관리 전문가 로렌초 스토크스(Lorenzo Stoakes)는 11월 10일 여러 영역의 리뷰어 자리에서 물러나며 "AI가 생성한 패치 시리즈로 인한 지금 커널의 처리량을 고려하면, 내가 맡은 영역 외에는 리뷰할 여력이 없다"고 썼다(Phoronix 인용). 자신이 맡은 영역의 메인테이너 역할은 유지한다. 그레그 크로아-하트만(Greg Kroah-Hartman)이 공개한 슬라이드에 따르면(Phoronix 보도) 커널 릴리스당 수정 CVE는 6.9~6.19 평균 약 500건에서 7.2에서 1,500건을 넘었다. 이 숫자는 커널이 덜 안전해졌다는 뜻이 아니다. 판정하고 고쳐야 할 대상이 그만큼 늘었다는 뜻이다.

그렇다면 OpenAI 글에 나오는 "61건 패치, 43건 스테이징, 299건 공개 논의"는 무엇일까. 스캔이 끝난 10일 시점의 업스트림 현황이다. OpenAI는 같은 글에서 같은 기간의 100여 건을 "다른 기여자들"의 패치로 서술했다. OpenAI 패치가 머지된 건수가 아니며, 이 수치가 948건과 겹치는지는 밝히지 않았다. 이 숫자는 여러 주체가 같은 코드에서 동시에 대량으로 결함을 찾고 있는데, 판정과 머지는 같은 소수의 메인테이너가 맡고 있다는 정황으로 읽힌다. 이 병목을 한 메인테이너의 받은편지함에서 따라간 기록은 이번 호 인터뷰에 담았다.

판정 기준의 병목: 무엇을 증명할 것인가

딥마인드의 AlphaProof Code는 다른 쪽 끝을 보여 준다. 에이전트들은 증명 보조기 린(Lean)으로 기계가 검사하는 증명 코드를 약 650만 줄(기술 논문 기준) 만들었다. 증명 작업은 연구자 5명이 4주 동안 에이전트를 돌려 진행했다. 논문 저자들은 "우리는 증명을 쓰지 않았다"고 밝혔다. 증명 작업에서는 사람이 빠진 셈이다.

그런데 논문이 꼽은 가장 중요한 교훈은 그다음 대목에 있다. 저자들은 "노력의 대부분은 증명이 아니라 명세(spec)에 들어갔다"고 썼다. 명세란 무엇이 '안전하다'인지를 수학적으로 적은 판정 기준이다. 명세 초안은 연구자들이 여러 AI 모델과 주고받으며 만들었고, 사람 전문가가 그 하나하나를 검토하고 승인했다. 650만 줄의 증명은 '신뢰하지 않는' 산출물로 다룬다. 논리 오류가 있으면 Lean 커널이 거부하기 때문이다. 반면 사람이 읽고 믿어야 하는 명세와 기계어 의미론은 약 2만 6,000줄이다. 논문은 명세를 두고 "자동으로 검사할 수 없고, 결함이 있으면 정리가 주는 보증이 약해질 수 있다"고 적었다. 저자들의 말을 빌리면 "사소하지 않은 소프트웨어의 명세는 그 자체로 사소하지 않은 소프트웨어"다.

그래서 증명은 명세가 다루는 범위까지만 성립한다. 이번 증명의 대상은 libsignal의 1:1 세션 코드(핸드셰이크와 래칫)를 정적 링크한 AArch64 리눅스 실행 파일이다. 그룹 메시징과 멀티디바이스 상태는 범위 밖이고, 저수준 암호 루틴 등 37개 루틴은 증명 대신 계약으로 대체했다. 안드로이드·iOS 앱에서도 결과가 유효하려면 그 환경이 프로토콜 코드의 동작을 보존한다고 믿어야 한다. Signal CTO 에렌 크렛(Ehren Kret)은 "실제 코드를 유효한 Lean 정리로 옮기는 데 AI 에이전트를 쓴 것은 큰 돌파구"라고 평가했다. 이 평가도 명세가 정한 경계 안에서 읽어야 한다.

정리하면, AI는 사다리 아래 계단을 싸게 만들었지만 맨 위 계단인 '무엇이 맞는가'는 여전히 가장 비싼 일로 남았다.

책임의 병목: 누구 이름으로 머지하나

세 번째 층은 최종 판정에 누가 서명하느냐다. 딥마인드 논문은 사람의 몫을 이렇게 요약한다. 작업 범위와 순서를 정하고, 신뢰할 명세를 이끌고 승인하고, 위로 올라온 명세 문제와 잠재 버그를 검토하고, 신뢰 가정을 바꾸는 수정안을 판정한다. 블로그에 따르면 에이전트가 증명을 감사해 사람이 다시 봐야 한다고 표시한 부분은 코드베이스의 약 1%였다. 나머지는 Lean이 자동으로 검사하므로 전문가는 사람의 판단이 필요한 곳에 리뷰를 집중할 수 있었다. 사람이 모든 줄을 읽는 사람에서 기준을 승인하고 예외를 판정하는 사람으로 바뀐 것이다.

OpenAI 파이프라인도 마지막 단계는 사람 검토다. 보안 연구자가 익스플로잇과 패치, 심각도를 확인한 뒤 메인테이너에게 보내고, 머지 여부는 메인테이너가 결정한다. 리눅스 커널 공식 문서 'AI Coding Assistants'는 이를 규칙으로 못 박았다. AI 에이전트는 Signed-off-by 태그를 달 수 없고, 개발자 원산지 증명서(DCO)를 법적으로 인증할 수 있는 것은 사람뿐이다. AI가 만든 코드를 모두 리뷰하고 기여에 전적인 책임을 지는 것도 사람 제출자의 몫이다.

이 층이 비어 있으면 어떻게 되는지도 OpenAI 글에 나온다. 초기 실행에서 익스플로잇 단계는 성공 200건을 보고했다. 그런데 사람이 검토해 보니 20건은 배정된 취약점이 아닌 다른 0-day로 루트 권한을 얻은 것이었다. OpenAI는 이후 독립 점검을 추가하며 교훈을 이렇게 적었다. "결과뿐 아니라 결과에 이른 경로도 검증하라."

AI가 한 일의 판정과 공개를 개발사 안에서 끝내지 않겠다며 국가가 이 서명란에 들어서기 시작한 장면은 이번 호 글로벌에서 다룬다.

"검증도 AI에 맡기면 되지 않나"

자연스러운 반론이다. 실제로 AI 리뷰는 이미 현장에 들어와 있다. 구글 엔지니어가 만든 오픈소스 리뷰 에이전트 Sashiko는 1년이 안 되는 기간에 99개 메일링리스트에서 패치 리뷰 19만 1천 건 이상을 수행했고, 2026년 커널 CVE 463건(10월 초 기준)이 Sashiko를 인용했다. 리눅스 재단 조사에서도 메인테이너들은 AI를 복잡한 로직 요약(58%)과 로직 버그 점검(48%)에 쓰고 있었다.

다만 판정자가 누구냐에 따라 보증의 성격이 다르다. 형식 검증에서 최종 판정자는 결정적으로 동작하는 기계 검사기다. 딥마인드 논문의 표현대로 결과의 신뢰성은 증명 에이전트의 신뢰성에 의존하지 않는다. 반면 LLM이 판정하는 평가(eval)에서는 판정자 자체가 확률적 모델이다. 2023년 연구에서 GPT-4급 판정 모델은 사람 선호와 80% 넘게 일치했지만, 위치·장황함·자기 선호 편향이라는 한계도 함께 보고됐다(평가 도입론은 지난호 오피니언 참조).

딥마인드도 에이전트를 무조건 믿지는 않았다. 논문은 목표 달성 압박을 받는 에이전트가 목표 자체를 약화하는 사례를 다른 연구에서 인용하며 "에이전트가 스스로 끝났다고 보고하는 것을 절대 믿지 않는다"고 적었다. 그래서 명세를 약화하는 수정안은 승인하지 않고 잠재 버그로 분류해 사람에게 올렸다. 기계끼리의 상호 검토는 쓰되, 마지막 판정은 기계 검사기와 사람의 승인이 맡는 구조다.

그래서 무엇을 다시 설계하나

우선 확인해 둘 점이 있다. 기업 내부의 리뷰·QA·보안 승인 대기열이 2026년 하반기에 얼마나 길어졌는지 보여 주는 확인된 공개 실측 데이터는 찾지 못했다. 위의 근거는 오픈소스의 공개 사례와 설문이다. 그래도 구조는 같다. 사내 AI 코딩 도구가 PR을 늘리면 리뷰어 수가 같은 비율로 늘지 않는 한 대기열은 길어진다.

개발자·테크리드에게 던질 질문은 "우리 파이프라인에서 어디가 먼저 막히나"다. 리뷰 대기 시간, 보안 승인 건수, 재현되지 않은 버그 보고 비율처럼 판정 쪽 지표를 생성량 지표와 나란히 보는 데서 시작한다. 받는 창구에서는 재현기를 붙이고, 재현·테스트를 못 했다면 그 사실을 밝히게 한 커널 문서처럼 제출 단계에 문턱을 두어, 사람 앞에 오기 전에 걸러지게 한다.

기획자·PM에게는 AI 도입의 ROI 계산식이 바뀐다. 코드를 몇 배 빨리 만드느냐만 계산하면 비용의 반쪽이 빠진다. 늘어난 산출물을 누가, 어떤 기준으로, 얼마 동안 판정하는지가 같은 표에 들어가야 한다. 그 기준을 문서로 적는 일, 즉 명세가 1급 산출물이 된다. 이 주장은 이어지는 오피니언에서 더 밀고 나간다.

판정이 싸지는 날을 향해

두 회사가 그리는 다음 단계는 같다. OpenAI는 글 앞부분 소회(Reflections) 대목에서 형식 검증을 유망한 연구 분야로 꼽았다. 딥마인드 저자들은 모든 코드에 형식 명세가 붙고 AI 증명이 싸지면 머지 전에 모든 변경을 검증할 수 있을 것이라고 전망했고, libsignal 새 릴리스를 출시 전에 이 방식으로 검증하고 싶다고 밝혔다. 다만 여기에는 조건이 붙는다. 명세를 누가 쓰고, 누가 믿고, 누가 책임지느냐는 여전히 사람의 문제로 남는다.

하스는 LLM이 "모든 PostgreSQL 개발자, 어느 정도는 지구상 모든 소프트웨어 개발자에게 실력을 끌어올리라고 요구하게 될 것"이라고 썼다. 끌어올려야 할 실력은 더 많이 만드는 능력이 아니라 무엇이 맞는지 정하고 그 판정에 서명하는 능력이다. AI 시대 엔지니어에게 희소한 자원은 생성 능력이 아니라 검증 능력이다. 그러니 투자할 곳도 더 많이 만드는 루프가 아니라 믿을 수 있게 만드는 루프다.