"우리는 증명을 쓰지 않았다(We did not write proofs)." 이번 호 커버 스토리가 다룬 구글 딥마인드(Google DeepMind)의 Signal 형식 검증 기술 논문에서, 사람의 역할을 설명하는 절에 나오는 문장이다. 사람은 작업 범위와 순서를 정했고, 신뢰할 진술을 승인했으며, 신뢰 가정을 바꾸는 수정안을 판정했다. 그보다 앞서 명세 작성을 다룬 대목에서, 논문은 경험에서 얻은 가장 중요한 교훈으로 이렇게 적는다. "증명이 싸지면 어려운 질문은 무엇을 증명할 것인가다. 우리 노력의 대부분은 증명이 아니라 명세에 들어갔다."
나는 이 문장을 형식 검증 연구실 밖으로 가져와야 한다고 본다. 커버가 정의한 검증 병목의 둘째 층, 곧 '무엇을 맞다고 볼지'라는 판정 기준이 비어 있으면 리뷰어를 몇 명 더 붙여도 대기열은 줄지 않는다. 사람이 남겨야 할 일은 모든 줄을 읽는 것이 아니라 무엇이 맞는지를 적는 것이다. 명세 없는 AI 도입은 검증 부채를 쌓는다.

사람을 더 넣으면 부담이 나뉠까
리뷰어를 늘린 효과를 직접 잰 데이터는 없다. 그래도 적어도 규모가 부담을 나눠 주지 않았다는 데이터는 있다. 커버 스토리가 인용한 리눅스 재단(Linux Foundation) 보고서에서 메인테이너 59%가 생성형 AI 이후 기여가 늘었다고 답했고, 기여자 51명 이상 대형 프로젝트의 64%는 리뷰 시간이 늘었다고 답했다. 대형 프로젝트가 꼽은 최대 우려는 메인테이너 번아웃(63%)이었다. 서문을 쓴 레드햇의 브라이언 프로핏(Brian Proffitt)은 "규모는 부담을 여러 손에 나누기보다 증폭시킨다"고 요약했다. 검증 수단은 여전히 기여자에 대한 신뢰(47%)와 수동 점검(44%)에 기댄다. 다만 이 설문은 응답자가 전체 234명, 이 글이 인용한 문항의 응답자는 111~174명이고, LF 자체 채널과 파트너 채널로 모집했다는 한계가 있다.
기업 쪽 데이터로는 Faros AI의 2026년 보고서가 있다. 고객사 개발자 2만 2,000명의 텔레메트리를 분석해 보니, AI 도입이 높은 분기에 PR 리뷰 시간 중앙값이 441.5% 늘어 있었다. 인과가 아니라 상관 분석이고, 엔지니어링 분석 플랫폼을 파는 회사의 데이터라는 점은 감안해야 한다. 그래도 처방은 분명하다. "리뷰어를 늘리고, 게이트를 조이고, QA 주기를 늘리는 것은 증상 치료다. 리뷰는 실수를 잡으려고 있다. 목표는 리뷰에 도착하는 실수를 줄이는 것이지, 그것을 잡을 사람을 더 배치하는 것이 아니다." 보고서는 겉보기에 그럴듯한 AI 코드의 결함을 잡으려면 리뷰어가 의도를 추론하고 원래 문제를 재구성해야 하며, 이것이 느리고 비싼 인지 노동이라고 썼다.
여기서부터는 내 주장이다. 생성량은 거의 공짜로 늘지만 리뷰어는 선형으로만 늘릴 수 있다. 그리고 리뷰어가 그토록 비싸게 역산하는 '의도'가 바로 명세다. 앞단에 적어 두면 뒷단에서 재구성할 필요가 없다.
명세는 형식 논리만이 아니다
명세라고 하면 Lean이나 TLA+부터 떠올리기 쉽지만, 나는 이것을 스펙트럼으로 본다. 스크럼 가이드의 완료 정의(DoD)는 충족하지 못하면 릴리스할 수 없는 공식 기준이다. AWS의 키로(Kiro)는 사용자 스토리와 수용 기준을 요구사항 파일로 분리해 둔다. 속성 기반 테스트(Hypothesis)는 예시 몇 개가 아니라 모든 입력에서 성립해야 할 속성을 적는다. 지난호에 쓴 평가셋도 이 스펙트럼에 놓인 명세의 한 형태다. 보안 요구사항 프레임워크(OWASP ASVS)를 거쳐 형식 명세에 이르면, 오른쪽으로 갈수록 기계가 판정할 수 있는 몫은 커지고 쓰는 비용도 커진다. 이 정렬은 내 해설이다. Faros의 처방도 일부 겹친다. Faros가 강조한 것은 작성 단계의 품질 게이트이고, 그 안에서 "에이전트의 완료 정의는 과업의 명세를 대표하는 테스트를 통과하는 것"이라고 썼다.
flowchart LR D["완료 정의<br/>스크럼 DoD"] --> K["수용 기준<br/>Kiro 요구사항 파일"] K --> H["속성 기반 테스트<br/>Hypothesis"] H --> E["평가셋<br/>eval"] E --> O["보안 요구사항<br/>OWASP ASVS"] O --> F["형식 명세<br/>Lean · TLA+"] style F fill:#3a2d5c,stroke:#AA78FF,color:#F9FAFB
← 좌우로 밀어 전체 보기 →
명세를 쓰면 사람이 읽을 양도 달라진다. 딥마인드의 증명은 약 650만 줄이었지만, 사람이 읽고 신뢰해야 할 명세와 의미론은 약 2만 6,000줄이었다. 2만 6,000줄도 결코 작지 않지만, 수백만 줄과는 다른 일이다. 리눅스 커널 문서가 AI 에이전트의 서명(Signed-off-by)을 금지하고 사람만 서명하게 한 것도 같은 맥락에서 읽힌다. 책임은 사람이 판정하는 지점에 붙는다.
반론: 명세도 틀리고, 명세는 비싸다
첫째 반론은 명세 리뷰도 어렵다는 것이다. 맞는 말이다. 딥마인드 스스로 명세는 "신뢰해야 하는" 대상이라 자동으로 검사할 수 없고, 큰 명세는 다른 소프트웨어처럼 사람 리뷰로 모든 버그를 잡을 수 없다고 썼다. 에이전트에게 맡겨 두면 감사하기 어려운 명세가 나와서 때로 가독성을 위해 다시 쓰게 했다는 고백도 있다. 2025년 11월 기준 소트웍스(Thoughtworks) 기술 레이더는 스펙 주도 개발을 '평가(Assess)' 단계에 두고, 일부 도구가 리뷰하기 어려운 장황한 명세 파일을 만든다고 경고했다.
그런데 같은 논문이 해법도 보여 준다. 딥마인드는 일부러 버그를 심어 보안 정리가 거짓이 되는지 확인하는 방식으로 명세 자체를 시험했다. 코드에 맞추려고 보안을 약화하는 수정안은 받아들이지 않고 잠재 버그로 사람에게 올렸다. 명세 리뷰가 어렵다는 사실은 명세를 버릴 이유가 아니다. 짧고 읽히는 명세를 지키는 일이 사람의 몫이라는 뜻이다.
둘째 반론은 비용이다. seL4 마이크로커널 검증에는 20인년이 들었다('검증 해부' 참조). 그래서 위험에 따라 고를 일이다. Faros도 모든 PR에 사람 리뷰를 요구하는 방식은 물량 앞에서 무너진다며, 위험도에 따라 사람과 에이전트의 리뷰를 나누라고 권했다. AWS가 2014년에 낸 보고서는 전부를 형식화하지 않아도 된다는 근거다. 엔지니어들은 2~3주 만에 TLA+를 익혔고, 설계 일부만 정밀하게 다듬어도 중요한 통찰을 얻었다. 설계 리뷰와 코드 리뷰를 여러 번 통과한 버그를 모델 체커가 몇 초 만에 찾은 사례도 있다. 여러 차례의 리뷰가 놓친 것을 명세가 잡은 것이다.
다음 분기 검증 투자는 어디에
딥마인드는 이 흐름이 소프트웨어 전반에 "아마도(perhaps)" 보이지만 암호 프로토콜에서 특히 두드러진다고만 썼다. 모든 개발이 명세 중심으로 간다는 것은 그들이 아니라 내가 거는 내기다. 그 내기에 걸고 제안한다. 개발자는 고위험 모듈부터 속성 테스트와 완료 정의를 코드와 같은 저장소에서 리뷰받는 산출물로 다루자. 기획자와 PM은 PRD에 '판정 기준' 항목을 넣자. 무엇이 충족되면 맞다고 보는지, 그것을 사람이 판정할지 기계가 판정할지까지 적는 것이다. AWS 엔지니어들은 "무엇이 잘못될 수 있나"를 묻는 대신 "무엇이 맞아야 하나"를 먼저 진술하는 방식이 실수가 훨씬 적다고 썼다. AI가 증명까지 해 주는 시대에 사람이 쥘 질문이 바로 그것이다.
출처
- https://google-deepmind.github.io/code-verification/
- https://deepmind.google/blog/introducing-alphaproof-code/
- https://www.linuxfoundation.org/press/new-lf-research-survey-shows-generative-ai-cuts-open-source-coding-time-in-half-but-25-of-incoming-pull-requests-are-considered-ai-slop
- https://www.linuxfoundation.org/hubfs/Research%20Reports/Navigating-Open-Source-Software-Development-in-the-Generative-AI-Era.pdf
- https://pages.faros.ai/hubfs/AI_Engineering_Report_2026_The_Acceleration_Whiplash_Faros.pdf
- https://kernel.org/doc/html/latest/process/coding-assistants.html
- https://lamport.azurewebsites.net/tla/formal-methods-amazon.pdf
- https://scrumguides.org/scrum-guide.html
- https://kiro.dev/docs/specs/
- https://hypothesis.readthedocs.io/en/latest/
- https://platform.claude.com/docs/en/test-and-evaluate/define-success
- https://asvs.owasp.org/
- https://github.blog/ai-and-ml/generative-ai/spec-driven-development-with-ai-get-started-with-a-new-open-source-toolkit/
- https://www.thoughtworks.com/radar/techniques/spec-driven-development