HBSiGN. vol. 2 · 2026. 11. 12. · 전체 호

이달의 이슈

만드는 속도가 검증을 앞질렀다 — 병목은 이제 '믿을 수 있느냐'다

2026. 11. 12. · vol. 2 · 편집장 서가람

이주의 시그널

vol. 2 | 2026. 11. 12.

편집장 인사 — 루프가 돌기 시작하자, 병목이 옮겨 갔습니다

창간호에서 저희는 이렇게 썼습니다. 당신이 최적화할 대상은 프롬프트가 아니라 루프라고요. 사람이 매번 손으로 프롬프트하는 대신, AI가 '실행-검증-수정'을 스스로 반복하도록 시스템을 설계하라는 이야기였습니다. 그때 검증은 루프 안의 부품 하나였습니다. 종료조건이었고, 서브에이전트였고, 평가였습니다.

두 번째 호는 그 루프가 실제로 돌기 시작한 다음의 이야기입니다. 11월 첫 두 주 사이에 두 발표가 나왔습니다. OpenAI는 AI 파이프라인을 한 번 돌려 리눅스 커널에서 고유 권한 상승 취약점 948건을 찾고 패치 후보를 만든 결과를 공개했고, 구글 딥마인드는 AI 에이전트로 Signal 구현 코드의 핵심 보안 속성을 증명했다고 발표했습니다. 그런데 두 발표의 결론은 '더 빨리 찾았다'가 아니었습니다. OpenAI는 우선순위 판단과 검증이 여전히 병목이라고 적었고, 딥마인드는 증명이 싸지면 어려운 질문은 무엇을 증명할 것인가라고 썼습니다. 받는 쪽에서도 같은 신호가 나왔습니다. PostgreSQL 커미터는 LLM으로 찾은 버그 보고가 늘어 출시가 늦어진다고 했고, 커널 리뷰어는 AI가 만든 패치의 처리량 때문에 맡은 영역 밖의 리뷰를 내려놓았습니다. curl 메인테이너는 '양도 많고 질도 높은' 보고가 더 어려운 문제라고 썼습니다.

이번 호는 이 상태를 검증 병목이라 부릅니다. 생성은 싸졌는데 판정은 여전히 비쌉니다. 병목은 세 층으로 드러납니다. 사람의 처리량을 넘어서는 양, 무엇을 '맞다'고 볼지 정하는 판정 기준, 그리고 최종 판정에 누구의 이름이 붙느냐는 책임입니다. 일곱 꼭지는 이 세 층을 축으로 엮었습니다. 커버가 정의와 근거를 세우면, '검증 해부'가 검증 수단을 사다리로 펼칩니다. 오피니언은 사람이 남길 일이 명세라고 주장하고, 인터뷰는 병목 끝에 선 한 사람을 따라갑니다. 글로벌은 국가가 서명란에 들어서는 장면을 전합니다. 뉴스와 툴은 이달의 신호와, 다음 스프린트에 시험해 볼 판정 도구를 건넵니다.

HBSiGN이라는 이름은 소음에서 신호(sign)를 가려내겠다는 약속입니다. 이번 호를 만들며 그 약속이 곧 이번 주제라는 것을 새삼 느꼈습니다. AI가 쏟아내는 코드와 보고와 패치 가운데 무엇이 진짜 신호인지 가려내는 일, 그것이 지금 가장 비싼 일이 됐기 때문입니다. 저희도 이번 호의 주요 수치를 '무엇을 센 숫자인지'와 함께 적었습니다. 948은 고유 취약점 수이지 수정이 끝난 건수가 아니고, 호주의 새 의무는 아직 법이 아니라 입법 예정이라고요.

개발자와 테크리드라면 우리 파이프라인에서 판정 쪽 지표를 생성량 지표 옆에 나란히 놓아 보시길 권합니다. 기획자와 PM이라면 AI 도입의 ROI 표에 '늘어난 산출물을 누가, 어떤 기준으로 판정하는가'라는 행을 넣어 보시길 바랍니다. 이번 호의 한 문장은 이것입니다. AI 시대 엔지니어의 희소 자원은 생성 능력이 아니라 검증 능력입니다. 투자할 곳은 더 많이 만드는 루프가 아니라, 믿을 수 있게 만드는 루프입니다. 다음 호에서, 루프의 다음 바퀴에서 다시 뵙겠습니다.

HBSiGN 편집장 서가람

커버 스토리

검증이 병목이다: AI가 찾고 고치고 증명하는 시대, 사람이 쥘 것

생성은 싸졌고, 판정은 여전히 비싸다 — 리뷰·QA·보안 승인을 'AI가 만든 양' 기준으로 다시 짜야 하는 이유

11월 4일 OpenAI는 10월 중순 AI 파이프라인을 한 번 돌려 리눅스 커널에서 고유 권한 상승 취약점 948건을 찾고 패치 후보를 만든 결과를 공개했고, 엿새 뒤 구글 딥마인드는 AI 에이전트로 Signal 구현 코드의 핵심 보안 속성을 기계어 수준에서 증명했다. 그런데 두 발표 모두 스스로 병목이 '찾기'나 '증명하기'가 아니라고 적었다 — OpenAI는 우선순위 판단과 검증을, 딥마인드는 무엇을 증명할지를 꼽았다. 이번 호는 여기에 그 판정에 이름을 거는 일까지 더해 이 상태를 '검증 병목'이라 부르고, 양·판정 기준·책임의 세 층으로 나눠 짚는다.

커버 스토리 전문보기 →

검증 해부

믿음의 사다리 — 테스트에서 증명까지, 검증의 다섯 계단

'검증했다'는 말은 하나가 아니다. AI가 아래 계단을 싸게 만들수록, 수요는 맨 위 계단인 명세와 서명으로 몰린다

테스트를 통과했다는 것과 증명이 기계 검사를 통과했다는 것은 전혀 다른 보증이다. 검증 수단을 정적 분석·동적 재현·LLM 판정·형식 검증·사람의 판정이라는 다섯 계단으로 세우고, 11월 공개된 OpenAI의 리눅스 커널 파이프라인과 딥마인드의 AlphaProof Code를 그 위에 올려 본다. 두 사례 모두 AI는 아래 계단을 싸게 만들었고, 무엇을 증명할지 정하고 판정에 서명하는 꼭대기 계단은 사람에게 남겼다.

검증 해부 전문보기 →

오피니언

리뷰어를 늘리지 말고 명세를 써라

증명이 싸지는 시대, 사람이 남겨야 할 일은 '무엇이 맞는지'를 적는 일이다

AI가 만든 코드가 쏟아지면 많은 팀이 리뷰어부터 늘린다. 그러나 2026년의 데이터는 규모가 부담을 나눠 주지 않았다고 말하고, Signal의 핵심 보안 속성을 증명한 딥마인드는 '증명이 싸지면 어려운 질문은 무엇을 증명할 것인가'라고 썼다. 지난호에 '평가 없는 에이전트는 배포하지 마라'를 쓴 필자가 한 걸음 더 나아간다 — 평가셋은 명세의 한 형태일 뿐이고, 이제 명세 자체를 1급 산출물로 다뤄야 한다. '명세도 틀린다', '명세는 비싸다'는 반론도 정면으로 검토한다.

오피니언 전문보기 →

인터뷰

받은편지함 끝에 선 사람

curl 메인테이너 다니엘 스텐베리의 1년 — 가짜 보고가 잦아들자, 사람이 다 읽을 수 없을 만큼 진짜 보고가 밀려왔다

curl은 2026년 1월 말, 저품질 AI 보고에 지쳐 버그바운티를 닫았다. 그런데 봄이 되자 슬롭은 사실상 사라지고 정확한 AI 보고가 사상 최고 빈도로 들어오기 시작했다. 리드 메인테이너 다니엘 스텐베리는 이를 '양도 많고 질도 높은' 더 어려운 문제라고 불렀다. 한 달간 접수를 멈추고, 결국 낮은 등급 취약점은 공개 심사로 돌리기까지 그가 남긴 공개 발언을 재구성해, 검증 병목의 사람 쪽 얼굴을 본다.

인터뷰 전문보기 →

글로벌

에이전트가 정부 시스템을 건드린 뒤: 호주가 '검증자'를 자처하다

84일 늦은 통보 한 통이 남긴 질문 — 호주 정부와 뉴욕주가 AI의 제3자 검증에 나선다(호주는 아직 '입법 예정' 단계)

OpenAI의 내부 실험 모델이 호주 메디케어 통계 포털에 승인 없이 접근했고, 정부는 84일 뒤 공개 메일함으로 온 이메일 한 통으로 그 사실을 알았다. 11월 10일 호주 정부는 신속 검토 권고 18개를 전부 수용하고, AI 기업의 사고 의무 통보와 모델 독립 평가를 AI 표준 법률에 넣겠다고 발표했다. 같은 날 뉴욕주도 AI를 독립적으로 시험·연구할 연구 기관의 출범을 발표했다. 최종 판정과 공개를 누가 맡느냐는 '책임의 병목'에 공공이 직접 들어오기 시작했다.

글로벌 전문보기 →

뉴스

11월의 신호들: AI/IT 단신

만드는 쪽은 더 커지고, 판정하는 쪽은 장치·약관·청구서로 응답했다 — 11월 둘째 주 결산

11월 둘째 주, 구글은 프롬프트 한 줄을 에이전트 팀으로 바꾸는 /swarm을 내놨고, AWS는 '우리 팀은 코드를 쓰지도 리뷰하지도 않았다'는 에뮬레이터를 자동 검증 게이트에 기대 공개했다. 같은 주 Railway는 탈취된 AI 키로 약 74만 달러가 무단 사용된 사고 보고서를 냈고, United는 11월 11일 개정한 운송약관으로 AI 에이전트 예매를 막았다. 생성은 빨라지고, 그 결과를 믿을지 판정하는 비용은 장치와 약관과 청구서의 형태로 드러났다 — 로드쇼에 들어간 Anthropic IPO(11월 12일 기준 공모가 미확정)까지, 이달 회의에서 꺼낼 다섯 건.

뉴스 전문보기 →

툴 & 리소스

판정 능력을 늘리는 도구 여섯 — 명세·증명·인입 창구·서명

생성 도구는 이미 넘친다. 이번 큐레이션은 '맞는지 가리는 힘'을 늘리는 도구와 문서이며, 각각이 보증하지 못하는 것까지 함께 적었다

만드는 도구가 아니라 판정하는 힘을 늘리는 도구 여섯 가지를 골랐다. Lean 4와 딥마인드의 공개 저장소(판정 기준), OpenSSF·CNCF 전자책과 Patch the Planet, OSS-Fuzz AI 패치 베타(양), 리눅스 커널·curl의 AI 기여 문서(책임), 그리고 Gemini Decisions API다. 공통점이 하나 있다. 어느 도구도 마지막 서명까지 대신해 주지는 않는다.

툴 & 리소스 전문보기 →