HBSiGN. vol. 2 · 2026. 11. 12.

툴 & 리소스

판정 능력을 늘리는 도구 여섯 — 명세·증명·인입 창구·서명

생성 도구는 이미 넘친다. 이번 큐레이션은 '맞는지 가리는 힘'을 늘리는 도구와 문서이며, 각각이 보증하지 못하는 것까지 함께 적었다

코드와 보고서를 만들어 주는 도구는 이미 넘친다. 커버 스토리가 짚은 병목은 그 반대편, 쏟아지는 생성물이 맞는지 가려내는 쪽에 있다. 이번 큐레이션은 그래서 판정 능력을 늘리는 도구만 골랐다. 항목마다 커버가 정의한 검증 병목의 세 층 가운데 어디를 덜어 주는지 붙였다. 사람에게 밀려드는 생성물의 양, 무엇을 '맞다'고 볼지 정하는 판정 기준, 최종 판정에 이름을 거는 책임이다. '검증 해부'의 다섯 계단 중 어디를 싸게 만드는지도 적었다. 평가(eval)·관측 도구는 지난호 툴 섹션을 참조하면 된다.

도구커버 정의 층사다리 계단이용 조건(11월 12일 기준)보증하지 못하는 것
Lean 4 + 딥마인드 공개 저장소판정 기준④ 형식 검증Lean은 Apache-2.0·무료명세 밖의 속성
OpenSSF·CNCF 전자책양② 재현·⑤ 사람 판정의 인입 설계무료 PDFAI 정책 템플릿은 미포함
Patch the Planet양·책임② 재현·중복 제거·패치신청·선발형머지 여부는 메인테이너 몫
리눅스 커널·curl AI 기여 문서책임⑤ 사람의 서명공개 문서문서만으로는 강제되지 않음
Gemini Decisions API판정 기준·양③ LLM 판정입력 100만 토큰당 0.10달러, 무료 티어확률적 판정(기계 검사 아님)
OSS-Fuzz AI 패치(베타)양① 퍼징 → 패치 후보등록된 C/C++ 프로젝트, 별도 과금 언급 없음성공률 미공개
표: 이번 호 툴 6종 한눈에 보기. 이용 조건은 2026년 11월 12일 열람 기준

Lean 4 + 딥마인드 code-verification — 증명보다 명세 파일을 읽어라 〔판정 기준〕

린(Lean)은 오픈소스 프로그래밍 언어이자 증명 보조기(proof assistant)다. 작은 신뢰 커널이 증명을 기계적으로 검사한다. 라이선스는 Apache-2.0이고 무료이며, 최신 안정판은 v4.35.0(10월 12일 게시)이다. 이 언어를 배울 실물 교재가 생겼다. 구글 딥마인드(Google DeepMind)가 Signal 형식 검증에 쓴 공개 저장소 google-deepmind/code-verification이다. 설명란에는 "기계어 수준에서 Signal의 보안을 검증한다"고 적혀 있다. 딥마인드는 이를 오픈소스로 공개했다고 밝혔으나, GitHub에서 표준 라이선스로 자동 식별되지는 않는다. 재사용하려면 라이선스 조건부터 직접 확인해야 한다.

이 저장소에서 볼 것은 증명 그 자체가 아니다. 기술 논문에 따르면 약 650만 줄의 증명은 Lean 커널이 검사하므로 신뢰할 필요가 없다. 사람이 믿어야 하는 쪽은 명세와 AArch64 의미론 약 2만 6,000줄이다. 논문은 "명세는 신뢰해야 하며, 자동으로 검사될 수 없다"고 못 박는다. 증명은 명세된 속성에 대해서만 성립한다. 도입 비용도 돈보다 시간 쪽에 있다. 저자들은 노력의 대부분이 증명이 아니라 명세 작성에 들어갔다고 적었다(커버 스토리 참조). 첫걸음은 명세 파일 몇 개를 읽고 "우리라면 무엇을 적어야 하나"를 따져 보는 것이다.

OpenSSF·CNCF 「Securing Open Source in the Age of AI」 — 인입 창구 설계서 〔양〕

OpenSSF와 CNCF가 2026년 5월 무료 PDF로 낸 v1.0 실무 가이드다. 저자는 크리스 아니슈치크(Chris Aniszczyk, CNCF), 크리스토퍼 'CRob' 로빈슨(Christopher Robinson, OpenSSF), 데이비드 A. 휠러(David A. Wheeler, OpenSSF) 3인이다. 문서는 보고서 한 건을 검토하고 평가하는 데 개발자 시간이 1~8시간 든다고 적는다. 이 비용을 줄이려면 들어오는 창구부터 설계하라는 것이 문서의 요지다. 권고는 구체적이다. SECURITY.md로 보고 방법을 공개하고, 받아들일 만한 보고에 어떤 데이터가 필요한지 명시하라고 한다. 개념 증명(PoC)은 비공개로 공유하고 패치 제안을 요구하는 방안도 검토하라고 권한다. 위협 모델과 명시적으로 금지하거나 관심 밖인 시나리오를 공개해 두면, 루트 권한을 전제한 비현실적 발견을 거절할 근거가 생긴다. 연구자에게 건네는 문장은 짧다. "Fixes are more important than findings. Full stop."

한계도 문서가 스스로 적었다. AI 기여 정책 템플릿은 들어 있지 않다. 재단들이 구체적인 정책을 문서화하고 있다는 문장과 쿠버네티스 사례를 넣을 자리표시만 남아 있다. OpenSSF 취약점 공개 워킹그룹도 모범 사례를 성문화하는 중이다. 지금은 체크리스트로 써서 SECURITY.md와 보고 가이드라인을 손보는 데까지가 현실적인 쓰임이다.

Patch the Planet — 발견이 아니라 패치를 들고 오는 지원 〔양·책임〕

OpenAI와 트레일 오브 비츠(Trail of Bits)가 6월 22일 발표한 공동 이니셔티브다. OpenAI의 사이버보안 노력 'Daybreak'의 일부다. 메인테이너가 Trail of Bits 페이지의 양식으로 신청하면 선발하는 방식이고, 공식 자격 요건과 비용은 페이지에 적혀 있지 않다. 선발되면 Trail of Bits 엔지니어가 코드베이스에 1주를 온전히 쓰고, 발견에 그치지 않고 패치까지 내놓는다. OpenAI의 ChatGPT Pro 6개월 이용권도 따라오며, 조건부로 Codex 보안 기능 접근이 포함된다. 공익 지원이면서 OpenAI 제품을 경험하게 하는 상업적 성격도 지닌 셈이다.

대시보드는 커버의 병목 논리를 숫자로 보여 준다. 11월 12일 열람 기준(페이지에 스냅샷 기준일은 표기되지 않았다)으로 검토 중인 코드베이스는 75개다. 발견·보고된 이슈 2,118건 가운데 작성된 패치가 733건이고, 업스트림에 수락·머지된 것은 506건(24%)이다. 찾는 속도와 받아들여지는 속도는 다르다. 운영 측 자체 집계로, 독립 검증은 없다. 포레스터(Forrester)의 비스와지트 마하파트라(Biswajeet Mahapatra)는 "희소한 전문성에 대한 의존은 사라지지 않는다"고 지적했다. 그 의존은 분류와 패치 안전성 판단 쪽으로 옮겨 갈 뿐이라는 것이다. 오픈소스 메인테이너 대상의 선발형 프로그램이라 기업 내부 팀은 대상이 아니다.

flowchart LR
  F["발견·보고된 이슈<br/>2,118건"] --> P["작성된 패치<br/>733건"]
  P --> M["업스트림 수락·머지<br/>506건<br/>이슈 2,118건의 24%"]
  style M fill:#3a2d5c,stroke:#AA78FF,color:#F9FAFB
그림: Patch the Planet 대시보드의 깔때기 — 찾은 것과 받아들여진 것 사이의 거리. 11월 12일 열람 기준, 운영 측 자체 집계

리눅스 커널 「AI Coding Assistants」 + curl 기여 가이드 — 서명의 규칙을 문서로 〔책임〕

팀의 AI 기여 정책을 쓸 때 가장 실용적인 출발점은 이미 운영 중인 공개 문서다. 리눅스 커널 공식 문서는 AI 에이전트가 Signed-off-by 태그를 달 수 없고, 개발자 원산지 증명서(DCO) 인증은 사람만 할 수 있다고 정한다. 제출자는 AI가 만든 코드를 전부 검토하고 기여에 온전한 책임을 진다. 사소하지 않은 버그는 재현기를 만들어 실제인지 확인하도록 권하고(없으면 보고가 무시될 수 있다), 어시스턴트가 스스로 무엇이든 보내서는 안 된다. curl의 기여 가이드는 보고 쪽을 겨눈다. AI로 문제를 찾았다면 보고서에 그 사실을 반드시 밝혀야 하고, 보내기 전에 직접 확인해야 한다. AI가 쓴 보고서를 붙여넣지 말고 직접 써야 하며, 조작된 보안 보고를 낸 사람은 즉시 차단된다. AI 보조 코드가 담긴 PR은 받되, 다른 PR과 같은 기준을 적용한다.

수요는 분명하다. 리눅스 재단(Linux Foundation) 조사(n=119)에서 공식 AI 허용 정책을 갖춘 프로젝트는 35%, 정책도 계획도 없는 곳은 32%였다. 정책을 보유한 응답 54건 가운데 76%가 '기여자의 리뷰 책임'을, 76%가 '투명성·공개'를 담았다. 두 문서가 정확히 그 두 축이다. 한계는 문서만으로는 강제되지 않는다는 점이다. 리뷰와 차단을 집행하는 사람이 있어야 한다.

Gemini Decisions API — 판정을 싸게, 그러나 확률로 〔판정 기준·양〕

구글(Google)이 11월 11일 발표한 엔드포인트로, 모델명은 gemini-decision-1이다. 텍스트를 생성하지 않는다. 도구 선택·정책 검사·채점처럼 답이 정해진 선택지 안에 있는 판정에 쓴다. 후보 선택지를 한 번에 점수화해 확률과 0~1 신뢰도 점수를 돌려준다. 질문 유형은 예/아니오, 객관식, 서열형 루브릭 채점 세 가지다. 요청당 최대 1,000문항, 입력은 최대 256K 토큰(텍스트·이미지·오디오·비디오·PDF)까지 받는다. 가격은 입력 100만 토큰당 0.10달러이고 출력에는 과금하지 않는다. AI Studio 무료 티어도 있다. 구글은 종단 지연이 150~250ms이고 자사 벤치마크 묶음 기준으로 Gemini 3.5 Flash-Lite보다 5배 가까이 싸다고 주장하지만, 모두 자체 벤치마크다.

평가 프레임워크가 아니라 대량 판정 API다. 쓰임새는 검증 사다리의 ③계단이다. 쏟아지는 보고나 PR에서 "재현 정보가 있는가", "정책 위반인가" 같은 1차 분류를 싸게 돌려, 사람의 시간을 아래 계단에서부터 아끼는 것이다. 다만 확률적 모델의 판정이라 Lean 같은 기계 검사의 보증은 없다. 구글 블로그도 정확도 한계를 따로 밝히지 않았다. 이 판정은 거르는 데 쓰고, 승인에는 쓰지 말아야 한다.

OSS-Fuzz AI 패치(베타) — 크래시 보고에 패치 후보를 붙인다 〔양〕

구글이 7월 29일 공개한 기능이다. 퍼징 인프라 OSS-Fuzz에 구글 딥마인드의 코드 보안 에이전트 CodeMender를 결합했다. 크래시 보고에 근본 원인 분석과 패치 후보가 붙어 온다. 각 패치는 격리 환경에서 깨끗이 컴파일되고 크래시를 해결하는지 확인받고, 기능 테스트로 회귀도 점검받는다. 베타 기간에는 임시 조치로 구글 엔지니어가 제안 패치를 직접 검토한다. 대상은 OSS-Fuzz에 이미 등록된 프로젝트의 재현 가능한 C/C++ 메모리 안전 버그다. 기본으로 적용되며 옵트아웃할 수 있다.

앞의 정책 문서와도 이어진다. 제출 정책이 AI 생성 제출을 금지하지 않아야 대상이 되고, 프로젝트가 AI 코드를 제한하면 제출을 아예 보류한다. 공개된 AI 기여 정책이 자동화 도구를 켜고 끄는 스위치로 작동하는 셈이다. 한계는 분명하다. 패치 성공률이나 검토 건수는 공개되지 않았고, 테스트는 통과하지만 기능상 틀린 패치를 어떻게 걸러 내는지도 설명이 없다. 문서 스스로 권한다. "AI가 제안한 패치도 다른 제출과 똑같은 엄격함으로 대하라."


인입과 패치를 다루는 네 도구(OpenSSF 전자책·Patch the Planet·OSS-Fuzz·커널 문서)의 방향은 같다. '더 많이 찾기'가 아니라 '재현하고 패치까지 붙여 넘기기'다. 최종 머지는 여전히 메인테이너가 한다. 다음 스프린트에는 둘을 권한다. 정책 문서 하나는 무료로 바로 손댈 수 있다. 커널·curl 문서와 OpenSSF 전자책을 참고해 SECURITY.md와 기여 가이드에 'AI 사용 공개·재현 정보·사람의 서명'을 넣는 것이다. 검증 도구 하나는 Gemini Decisions API 무료 티어로 1차 분류를 시험하거나, Lean 명세 파일 읽기부터 시작한다. 어느 쪽을 고르든 판정에 이름을 거는 마지막 칸은 사람의 몫으로 남는다.