AI를 목줄에 매어 두는 법

"'2025년은 에이전트의 해'라는 말을 보면 몹시 걱정된다. 내 느낌엔 이것은 에이전트의 10년이다." 안드레이 카파시(Andrej Karpathy)가 2025년 6월 한 강연에서 한 말이다. OpenAI 창립 멤버이자 前 테슬라 AI 디렉터인 그가, 자율 에이전트를 둘러싼 과열된 기대에 건 제동이었다. 그의 메시지는 강연과 트윗, 팟캐스트를 가로질러 일관된다 — 지금은 완전 자율의 시대가 아니라, 사람이 검증을 쥔 부분 자율(partial autonomy)의 시대다.

그의 제동은 이번 호가 좇은 흐름과 정면으로 맞선다. 보리스 체르니(Anthropic Claude Code 책임자)와 피터 슈타인베르거(OpenClaw 창시자, 現 OpenAI)가 촉발하고 애디 오스마니가 '루프 엔지니어링'으로 명명한 그 흐름은 "더 이상 코딩 에이전트에 프롬프트하지 말고, 에이전트를 프롬프트하는 루프를 설계한 뒤 자리를 비우라"는 쪽을 가리킨다. 카파시는 그 반대극에 선다 — 자율성은 켜고 끄는 스위치가 아니라 슬라이더이고, 그 손잡이는 사람이 쥔다는 것이다. 그래서 그를 읽는 일은, 자율 루프가 어디까지 무인으로 돌아도 되는지를 되묻는 일이 된다.

소프트웨어 3.0: 영어로 프로그래밍하는 컴퓨터

카파시는 소프트웨어의 역사를 세 단계로 나눈다. 사람이 코드를 짜던 1.0, 데이터로 신경망 가중치를 학습시키던 2.0, 자연어 프롬프트로 LLM을 부리는 3.0이다. 그가 보기에 LLM은 영어로 프로그래밍하는 새로운 종류의 컴퓨터이고, 그렇다면 프로그래밍의 무게중심은 '코드 한 줄'에서 '지시하고 결과를 확인하는 과정'으로 옮겨간다 — 그 과정에서 사람이 어디에 서야 하는가가 강연을 관통하는 질문이다.

자율성 슬라이더: 사람이 쥐는 손잡이

그가 제시한 핵심 개념은 '자율성 슬라이더(autonomy slider)'다. 도구는 사용자가 넘겨줄 자율성의 수준을 과제에 맞게 조절할 수 있어야 한다는 것이다. "당신이 자율성 슬라이더를 쥔다. 과제의 복잡도에 따라, 그 과제에 내어줄 자율성의 양을 조절할 수 있다"고 그는 말했다. 이 비유의 뿌리는 그의 자율주행(테슬라 오토파일럿) 경험이다 — 자율성은 켜고 끄는 스위치가 아니라 눈금이라는 감각.

슬라이더는 은유에 그치지 않는다. 그는 코드 편집기 커서(Cursor)가 탭 자동완성에서 블록·파일·저장소 단위 실행으로, 검색 도구 퍼플렉시티(Perplexity)가 즉답에서 리서치·딥리서치로 자율성 단계를 올려 가는 방식을 예로 들었다. 좋은 AI 제품이란 이 슬라이더를 사용자 손에 쥐여 주는 제품이다.

그래서 그가 권한 것은 화려한 자율 에이전트가 아니라 사람을 증강하는 제품이다. "당신이 만들 것은 아이언맨 로봇이 아니라 아이언맨 슈트에 가깝다. 화려한 자율 에이전트 데모가 아니라 부분 자율 제품"이라는 것이다. 그가 슈트를 아끼는 이유도 여기 있다 — 그것은 사람을 증강하면서 동시에 사람이 직접 몰 수도 있는, 슬라이더를 양쪽으로 열어 둔 물건이기 때문이다.

생성은 AI가, 검증은 사람이

협업의 기본 구조는 하나의 루프다. "보통 AI가 생성하고, 사람인 우리가 검증한다"고 그는 정리한다. 관건은 이 루프의 속도다. "이 루프를 최대한 빠르게 돌리는 것이 우리에게 이득이다." 검증이 빠를수록 사람은 더 많은 생성 결과를 감사(audit)하고 다음으로 넘어갈 수 있기 때문이다.

그는 여기에 단서를 단다. "휴먼인더루프가 필요하다. 신중하게 해야 한다. 이건 소프트웨어다. 진지해지자." 검증 속도를 높이는 실질적 방법도 제시한다 — 프롬프트를 더 구체적으로 쓰는 것이다. "더 구체적인 프롬프트에 시간을 조금 더 쓰는 편이 훨씬 합리적이다. 그래야 검증에 성공할 확률이 올라간다"는 것이다. 검증하기 쉬운 결과를 유도하는 지시가 곧 좋은 프롬프트다.

AI를 목줄에: 작은 증분으로

카파시의 가장 유명한 조언은 AI를 '목줄(leash)'에 매어 두라는 것이다. AI가 지나치게 앞서 나가 한 번에 거대한 변경을 쏟아내지 않도록, 출력을 작은 단위로 받아 그때그때 확인하라는 취지다. "나는 늘 너무 큰 diff(변경 덩어리)를 받는 게 두렵다. 언제나 작은 증분 단위로 간다"는 그의 작업 습관이 그대로 원칙이 된다. 요컨대 사람은 여전히 병목이고, 변경 덩어리에 버그가 섞이지 않았는지 확인하는 자리에 서 있어야 한다.

그가 만든 신조어 '바이브 코딩(vibe coding)'도 이 맥락에서 읽어야 한다. 2025년 2월 트윗에서 그는 코드의 존재조차 잊고 '느낌'에 몸을 맡기는 코딩을 그렇게 불렀고, 이 말은 빠르게 업계 용어가 됐다. 다만 그는 강연에서 선을 그었다 — 바이브 코딩은 존재하지 않던 무언가를 대충 만들어 보고 싶을 때나 훌륭하지, 진지한 프로덕션 코드의 방식은 아니라는 것이다. 검증의 무게를 덜어도 되는 건 그런 저위험 맥락까지다.

삐죽삐죽한 지능: 에이전트가 아직 못 하는 것

낙관만 있는 것은 아니다. 카파시는 오늘의 LLM이 '삐죽삐죽한 지능(jagged intelligence)'을 지녔다고 말한다. "그들은 삐죽삐죽한 지능을 보인다. 어떤 문제 영역에서는 초인적이면서, 사람이라면 하지 않을 실수를 저지른다." 대표적 예가 "9.11이 9.9보다 크다고, 혹은 strawberry에 R이 두 개 있다고 우긴다"는 것이다. 환각(hallucination)은 여전하고, 자기가 무엇을 모르는지에 대한 내적 모델도 빈약하다.

한계는 더 있다. 그는 LLM의 맥락 창(context window)을 영화 〈메멘토〉 속 인물의 작업기억에 빗댄다 — 맥락이 리셋되면 방금 배운 것을 유지하지 못하는 선행성 기억상실 상태에 가깝다는 것이다. 프롬프트 인젝션에 쉽게 속아 데이터를 흘릴 위험도 있다. 데모와 제품을 가르는 그의 문장은 그래서 뼈아프다. "데모는 works.any()이고, 제품은 works.all()이다." 한 번 되는 것과 언제나 되는 것 사이의 거리가, 자율 에이전트가 아직 넘지 못한 벽이다.

과열은 경계하되, 무용론은 아니다

중요한 것은, 이 모든 지적이 '에이전트 무용론'이 아니라는 점이다. 그해 가을 팟캐스트에서 카파시는 같은 논지를 더 밀어붙였다 — AGI(범용 인공지능)는 아직 10년쯤 남았고, 지금의 에이전트는 함께 일하는 직원이나 인턴처럼 믿고 맡기기엔 이르다는 것. 지속 학습이 없어 알려 줘도 기억하지 못하고, 멀티모달·컴퓨터 사용 능력도 아직 부족하다는 것이다. 신뢰성은 자율주행이 그랬듯 '나인의 행진'—신뢰도의 9가 한 자리 늘 때마다 같은 크기의 노력이 다시 드는 과정—을 거쳐 더디게 올라간다.

이것은 비관이 아니라 시간 척도에 관한 진술이다. 카파시는 완전 자율의 방향 자체를 부정하지 않는다. 다만 그 도착 시점을 한 해가 아니라 10년으로 잡고, 그때까지는 사람이 검증을 쥔 부분 자율이 현실적 정답이라고 말할 뿐이다.

실무자와 기획자에게

카파시의 관점은 곧바로 루프 설계로 번역된다. 루프 엔지니어링이 "목표와 종료조건만 주고 /goal 루프를 무인으로 돌리자"는 쪽으로 밀어붙인다면, 카파시의 자율성 슬라이더는 바로 그 물음—어디까지 무인으로 돌릴 것인가—에 대한 답이다. 슬라이더를 완전 수동과 완전 자율 사이 어디에 두느냐가, 곧 루프를 어디까지 사람 손에서 놓을지의 결정이다. 그 결정을 네 가지로 옮기면 이렇다. 첫째, 제품·기능 스펙에 '자율성 수준'을 명시적 설계 변수로 넣는다 — 어디까지 AI에 맡기고 어디서 사람이 승인하는가를 슬라이더처럼 정의하는 것이다. 둘째, 생성-검증 루프의 '검증 속도'를 최적화한다 — diff 뷰, 작은 증분, 구체적 프롬프트로 사람이 결과를 빠르게 감사하도록 설계한다. 셋째, 큰 자동 변경을 통째로 신뢰하지 말고 감사 가능한 단위로 받는다. 넷째, 삐죽삐죽한 지능을 전제로 실패를 설계한다 — 환각과 프롬프트 인젝션을 가정하고 검증·폴백 지점을 미리 둔다.

결국 카파시가 던지는 것은 에이전트를 포기하라는 말이 아니다. 그 자율성의 손잡이를 사람 손에 남겨 두라는 말이다. 화려한 완전 자율 데모에 올라타기 전에, 당신의 제품이 사람의 검증 루프를 얼마나 빠르고 촘촘하게 지원하는지부터 물어야 한다.