지난 2~3년, 우리는 'AI를 잘 쓴다'는 말을 대개 '프롬프트를 잘 쓴다'는 뜻으로 이해해 왔습니다. 그런데 실무의 무게중심이 조용히 옮겨갔습니다. AI가 한 번 대답하고 끝나는 대신 스스로 도구를 부르고, 검색하고, 경로를 바꾸고, 자기 결과를 되짚어 고치기 시작하면서 — 우리가 실제로 설계하고 튜닝하는 단위는 프롬프트 한 줄이 아니라 루프 하나가 되었습니다. 에이전트가 도는 실행 루프, 품질을 지키는 평가(eval) 루프, 사람이 검증을 쥔 휴먼인더루프, 결과를 스스로 고치는 리플렉션 루프. 오늘의 AI 제품은 이 루프들의 조합으로 굴러갑니다.
그래서 이 매거진의 이름을 LOOP로 정했습니다. 월간지는 매달 돌아오는 하나의 루프이고, 동시에 지금 이 업(業)의 사고 단위가 곧 루프이기 때문입니다. 만들고, 검증하고, 고치고, 다시 돌린다 — LOOP는 특정 기술이 아니라 그 태도를 브랜드로 삼습니다.
이번 창간호를 관통하는 한 문장은 이것입니다. 당신이 최적화할 대상은 프롬프트가 아니라 루프입니다. 개발자에게 이 전환은 '더 영리한 한 문장'을 찾는 일에서, 계측·게이트·가드레일을 갖춘 루프를 설계하는 일로의 이동을 뜻합니다. 기획자·PM에게는 제품 스펙에 '루프 설계'라는 새 항목이 들어옵니다 — 성공을 무엇으로 측정할 것인가(평가), 어디까지 자동화하고 어디서 사람이 승인할 것인가(자율성 수준), 실패하면 어떻게 멈추고 되돌릴 것인가(폴백).
커버 스토리는 이 전환이 벤더의 슬로건이 아니라 원저자들의 논문과 글로 추적되는 실제 흐름임을 짚습니다. 오피니언은 그 루프에 왜 평가가 박혀 있어야 하는지를, 탐방은 그것이 랭그래프 같은 '부품'으로 어떻게 구체화됐는지를 봅니다. 인터뷰는 사람이 검증을 쥔다는 감각을, 글로벌은 그 사람이 이제 규제 항목이 됐다는 사실을 전합니다. 뉴스와 툴은 이달의 지형과, 당신의 스택에 바로 얹을 도구를 건넵니다.
바쁜 실무자와 기획자에게 각 기사가 "그래서 나에게 무엇을 의미하는가"에 빠르게 답하도록 편집했습니다. 다음 기능을 기획할 때 첫 질문이 "어떤 프롬프트를 넣을까"에서 "이 루프는 무엇으로 성공을 재고, 어디서 사람이 개입하며, 실패하면 어떻게 멈추는가"로 바뀐다면, 창간호는 제 몫을 한 셈입니다. 다음 달, 이 루프의 다음 바퀴에서 다시 뵙겠습니다.
LOOP 편집장 서가람
커버 스토리
루프 엔지니어링: 프롬프트에서 루프로
AI 엔지니어링의 단위가 프롬프트 한 줄에서 루프 하나로 옮겨갔다 — 그리고 당신의 다음 제품 스펙이 바뀐다
글 이도현 편집위원
2025년 6월, AI 업계의 어휘가 조용히 이동했다. Shopify의 CEO 토비 뤼트케(Tobi Lütke)는 X에 "'프롬프트 엔지니어링'보다 '컨텍스트 엔지니어링(context engineering)'이라는 말이 더 좋다"며, 그것을 "LLM이 과제를 풀 수 있도록 필요한 모든 맥락을 제공하는 기술"이라고 적었다. 곧이어 안드레이 카파시(Andrej Karpathy)가 여기에 공개적으로 동의했고, 같은 달 LangChain 창립자 해리슨 체이스(Harrison Chase)는 블로그에서 한발 더 나아가 "프롬프트 엔지니어링은 컨텍스트 엔지니어링의 부분집합"이라고 규정했다.
용어 하나가 바뀐 것처럼 보이지만, 이것은 AI를 다루는 실무의 '단위'가 바뀌었다는 신호다. 지난 2~3년간 화두는 '프롬프트를 잘 쓰는 법'이었다. 그러나 AI가 단발 응답에서 도구를 호출하고 스스로 경로를 바꾸는 다단계 실행으로 넘어가면서, 엔지니어링의 실제 단위는 프롬프트 한 줄이 아니라 루프 하나가 됐다. 이번 호가 던지는 한 문장은 여기서 나온다 — 당신이 최적화할 대상은 프롬프트가 아니라 루프다.
어휘가 바뀐 자리
중요한 것은 이 전환이 벤더의 슬로건이 아니라는 점이다. 시점과 용어가 원저자들의 논문·글·공식 문서로 또렷이 추적된다. 학술적 원형은 2022년 10월 야오(Shunyu Yao) 등의 'ReAct' 논문이다. 추론(reasoning)과 행동(acting)을 교대로 수행하게 해, LLM이 '생각하고-행동하고-관찰하는' 루프를 돌게 한 방법이다. 이듬해 3월 신(Noah Shinn) 등의 'Reflexion'은 결과를 언어로 스스로 되짚어 다음 시도를 고치는 자기수정 루프를 제안했다.
2024년 들어 이 개념들은 실무 어휘로 내려왔다. 앤드루 응(Andrew Ng)은 3월 에이전트(agent) 워크플로의 4대 디자인 패턴(리플렉션·도구 사용·계획·멀티에이전트 협업)을 정리하며 리플렉션(자기수정)을 첫 패턴으로 꼽았고, 같은 달 하멜 후사인(Hamel Husain)은 "실패하는 AI 제품은 거의 예외 없이 견고한 평가(eval) 시스템의 부재라는 공통 원인을 공유한다"고 썼다. 그해 12월 Anthropic은 에이전트를 "환경 피드백을 받아 도구를 쓰며 루프를 도는 LLM"으로 정의하며 실행 루프를 실무 정의로 못박았다.
한 가지는 분명히 해두자. 프롬프트 엔지니어링이 '죽은' 것이 아니다. 체이스는 그것을 컨텍스트 엔지니어링의 부분집합으로 봤고, Anthropic도 2025년 9월 이를 "프롬프트 엔지니어링의 자연스러운 진화"로 규정했다. 프롬프트는 사라진 게 아니라, 더 큰 시스템의 한 부품으로 흡수됐다.
실무를 굴리는 네 개의 루프
오늘의 AI 제품은 몇 가지 루프의 조합으로 굴러간다.
첫째, 실행 루프. 에이전트가 도구를 호출하고 그 결과(도구 출력·코드 실행 결과)를 관찰해 다음 행동을 정하는 반복이다. OpenAI가 2025년 2월 내놓은 딥리서치(Deep Research)는 o3 초기 버전 기반 모델이 웹을 검색·해석하며 "마주친 정보에 반응해 경로를 바꾸는" 다단계 에이전트로 소개됐다. 같은 흐름에서 Anthropic은 2025년 6월 자사 리서치 기능이 리드 에이전트가 서브에이전트를 병렬로 부리는 '오케스트레이터-워커' 구조로 리서치 루프를 돈다고 공개했다.
둘째, 평가(eval) 루프. 감(感)으로 프롬프트를 튜닝하는 대신, 평가셋과 지표로 품질을 계측하고 회귀를 감시하는 반복이다. 후사인은 평가·디버깅·개선의 반복이 "위대한 AI 제품과 평범한 제품을 가르는 선순환을 만든다"고 봤다(이 루프의 실무 도입은 이번 호 오피니언에서 자세히 다룬다).
셋째, 휴먼인더루프(human-in-the-loop). 사람이 루프 안에서 검증·승인을 쥐는 설계다. 카파시는 이를 '자율성 슬라이더(autonomy slider)'라는 조절 가능한 변수로 개념화했다(자세한 논의는 이번 호 인터뷰). 완전 자율이 아니라, 생성물을 사람이 빠르게 검증하는 부분 자율이 현재의 현실적 기본값이라는 감각이다.
넷째, 리플렉션(자기수정) 루프. 다만 여기엔 단서가 붙는다. Reflexion 논문은 코딩 벤치마크 HumanEval에서 pass@1 91%를 기록해 당시 GPT-4(80%)를 앞섰다고 보고했지만, 이는 논문 자체 보고치다. 그리고 같은 해 10월 Google DeepMind의 황(Jie Huang) 등은 "LLM은 외부 피드백 없이 스스로를 교정하지 못하며, 때로는 자기수정 후 성능이 오히려 나빠진다"고 결론지었다. 자기수정은 만능이 아니라, 테스트·평가·도구 결과 같은 외부 검증 신호가 있을 때에만 작동한다.
루프의 청구서
루프는 공짜가 아니다. Anthropic은 에이전트가 챗 대비 약 4배, 멀티에이전트는 약 15배의 토큰을 쓴다고 밝혔다. 종료 조건과 예산 상한이 없으면, 루프는 비용을 태우며 겉돈다. 그래서 원칙은 화려함이 아니라 절제다. Anthropic은 "단순한 프롬프트로 시작해 충분한 평가로 최적화하고, 단순한 해법이 부족할 때에만 다단계 에이전트를 더하라"고 권한다. 멀티에이전트 리서치 구성이 단일 모델을 내부 평가에서 90.2% 앞섰다는 자사 보고도 있지만, 같은 글은 그런 구조가 "결과의 가치가 비용을 넘어서는 과제에 적합하다"는 단서를 함께 달았다. 루프를 늘리는 결정은 언제나 값을 치른다.
그래서, 무엇을 설계하나
이 전환은 개발자와 기획자의 일을 동시에 바꾼다.
개발자에게 최적화 대상은 프롬프트 문구에서 '컨텍스트를 조립하고 루프를 도는 시스템'으로 옮겨간다. 튜닝할 것이 '더 영리한 한 문장'이 아니라, 루프 안에 무엇을 넣고 어디에 계측·게이트·가드레일을 걸지로 바뀐다는 뜻이다.
기획자·PM에게는 제품 스펙에 '루프 설계'라는 새 항목이 들어온다. 성공을 무엇으로 측정하는가(=평가셋·지표)를 정의하고 — 품질 보증의 단위가 감이 아니라 평가로 이동한다. 어디까지 자동화하고 어디서 사람이 검증·승인하는가(=자율성 수준)를 명시하며, 실패하면 어떻게 감지·중단·에스컬레이션하고 비용 상한을 두는가(=폴백)를 설계한다. 요구사항 문서의 문장이 "AI가 X를 한다"에서 "AI가 X를 시도하고, Y로 검증하며, 실패 시 Z로 폴백한다"로 길어진다.
전망
이 방향은 되돌아갈 가능성이 낮다. Anthropic 데이터에 따르면 코딩 에이전트는 이미 Claude Code 사용자 기준 주 평균 약 20시간 쓰이는 도구가 됐고, 코딩 에이전트가 활동하는 GitHub 프로젝트 비중은 2025년 말 이후 두 배 이상으로 늘었다. AI가 더 많은 일을 여러 스텝에 걸쳐 스스로 수행할수록, 경쟁력은 '누가 더 영리한 프롬프트를 쓰는가'가 아니라 '누가 더 잘 계측되고 통제되는 루프를 설계하는가'에서 갈린다. 다음 AI 기능을 기획할 때, 첫 질문은 "어떤 프롬프트를 넣을까"가 아니어야 한다. "이 루프는 무엇으로 성공을 재고, 어디서 사람이 개입하며, 실패하면 어떻게 멈추는가"여야 한다. 프롬프트는 여전히 중요하다. 다만 그것은 이제 당신이 설계하는 루프 안의 한 부품일 뿐이다.
에이전트 시대의 코드리뷰는 평가(eval)다 — 감으로 머지하는 프롬프트 diff를 멈추라
한도윤 · LOOP 객원 필자, ML 엔지니어
프롬프트 한 줄을 고쳤다. "Output strictly valid JSON"을 "Always respond using clean, parseable JSON"으로, 더 친절해 보이는 문구로 바꿨을 뿐이다. 그러자 다운스트림 파싱이 조용히 깨졌다. 예외도 에러도 없이 요청은 정상 응답했고, 로그엔 이상 징후가 없었다. 이것이 에이전트 시대 코드가 실패하는 방식이다 — 크래시하지 않고, 조용히 틀린다.
그래서 나는 이렇게 주장한다. 에이전트 시대의 코드리뷰는 평가(eval)다. 평가 없이 프롬프트나 에이전트를 고쳐 내보내는 것은, 감에 의존한 배포다.
왜 우리가 아는 단위 테스트(unit test)로는 부족한가. LLM 출력은 비결정적이다. 같은 프롬프트를 두 번 샘플링하면 다른 텍스트가 나오고, 한 번 통과한 테스트가 코드 한 줄 안 바꿔도 다음번엔 실패한다. 게다가 에이전트 거동은 배포 뒤에도 변한다. 프롬프트는 그대로인데 입력 분포가 이동하고(distribution shift), 제공사가 API를 그대로 둔 채 모델을 갱신하면 출력 포맷마저 달라진다. 프롬프트만 매만지면 "한 실패 모드를 고치면 다른 실패가 튀어나오는 두더지 잡기(whack-a-mole)"에 빠진다고, 실무자 하멜 후사인(Hamel Husain)은 말한다.
평가는 그 자리를 대체한다. output == expected를 단언하는 대신, 대표 입력 집합에서 모델이 옳은 일을 하는 빈도가 배포해도 될 만큼 충분한지를 묻는다. 최소 구성은 셋 — 실제 트레이스에서 뽑은 평가셋, 과업에 맞춘 지표, 변경마다 돌아가는 회귀 게이트. OpenAI 공식 쿡북도 평가를 프로덕션에 도달하기 전에 회귀를 잡는 반복 가능한 테스트로 다룬다. 사람 채점이 비싸면 모델을 심판(LLM-as-a-judge)으로 쓸 수 있다. MT-Bench·Chatbot Arena에서 GPT-4급 심판은 사람 선호와 80%를 넘는 일치도를 보였고, 이는 사람들 사이의 일치 수준과 같다(Zheng et al., NeurIPS 2023). 다만 같은 논문은 그 심판의 위치·장황함·자기선호 편향도 함께 밝혔다.
반론은 예상된다. "비싸고 게이밍된다." 둘 다 부분적으로 옳다. 평가는 값싸지 않다 — 하멜 후사인과 슈레야 샹카르(Shreya Shankar)는 개발 시간의 60~80%를 에러 분석과 평가에 쓴다고 조언한다. 하지만 그 비용의 대부분은 도구값이 아니라 사람이 데이터를 읽는 시간이고, 그 시간이 곧 제품 이해다. "게이밍"도 실재한다. "측정값이 목표가 되면 더 이상 좋은 측정값이 아니다"라는 굿하트의 법칙(Goodhart's Law) 그대로다. 「The Leaderboard Illusion」(NeurIPS 2025)은 일부 제공사가 여러 비공개 변형을 미리 돌려 가장 좋은 점수만 공개할 수 있음을 보였다 — 한 곳은 공개 전 27개 변형을 시험했다.
그러나 이것은 "그러니 평가하지 말자"의 근거가 아니다. 게이밍에 취약한 것은 외부 리더보드이지 내 프로덕션에서 뽑은 평가셋이 아니다. 심판을 사람 라벨에 정렬하고, 생성에 쓴 모델과 다른 모델로 채점하며, 회귀는 CI에서 값싼 결정적 체크로 거는 것으로 상당 부분 완화된다.
그래서 어디서 시작하나. 인프라가 아니라 에러 분석에서 시작하라. 실제 사용자 트레이스 20~50개를 노트북에서 30분 읽는 것으로 충분하다고 실무자들은 권한다. 세분화된 점수 대신 좋음/나쁨 이진 라벨로. 단일 스킬이라면 10~20개 프롬프트만으로도 회귀를 드러내기 충분하다고 OpenAI는 조언한다. 작은 CSV로 시작해 실제 실패를 만날 때마다 키우면 된다. 프롬프트 diff를 감으로 머지하지 마라. 기획자라면 제품 스펙의 성공 기준을 다차원 평가 항목으로 명문화하라. 에이전트 시대에 코드리뷰가 사라진 것이 아니다 — 그 이름이 평가로 바뀌었을 뿐이다.
에이전트를 짜본 개발자에게 익숙한 코드가 있다. while True: 안에서 LLM을 부르고, 도구를 호출하고, 결과를 다시 넣는 루프. 분기가 늘고 중간에 사람이 끼어들고 실패 시 되돌릴 지점이 생기면, 암묵적 while 문 하나로는 감당이 안 된다. 랭그래프(LangGraph)는 그 지점을 겨눈다 — 에이전트의 실행 루프를 보이지 않는 while 문이 아니라, 상태(state)를 든 명시적 그래프로 그리게 하는 도구다.
무엇을 만드나
LangChain이 2024년 1월 공개한 랭그래프는 스스로를 "상태를 갖는 에이전트를 만드는 저수준(low-level) 오케스트레이션 프레임워크"로 규정한다. 공식 문서에 따르면 노드는 작업 단위, 엣지는 라우팅이며, 그래프(StateGraph)는 순환(cycle)을 네이티브로 지원한다. 2024년 6월 v0.1 발표에서 회사가 든 문제의식은 분명했다 — 편리한 상위 추상화가 "너무 많은 세부를 숨겨" 신뢰성 있게 일을 끝낼 제어를 잃게 만든다는 것이다. 그 답이 조건 분기와 상태 지속을 그래프로 명시하는 설계였다.
루프를 다루는 두 부품
'루프 엔지니어링'과 직결되는 개념이 둘이다. 체크포인터(checkpointer)는 그래프 상태를 저장해 재개와 내결함성을 주고, interrupt()는 실행을 멈춰 사람이 입력을 줄 때까지 기다린다. 발송 전 승인 같은 휴먼인더루프가 코드 한 줄이 아니라 프레임워크의 일급 기능이 되는 셈이다. 공동창업자 겸 CEO 해리슨 체이스(Harrison Chase)는 2025년 4월 블로그에서 "신뢰성 있는 에이전트를 만드는 어려운 부분은 매 단계 LLM에 적절한 컨텍스트를 주는 것"이라고 적었다. 이번 호 커버가 짚은 컨텍스트·루프 엔지니어링과 정확히 겹치는 문제의식이다.
성숙 신호도 쌓였다. 2025년 5월 랭그래프 플랫폼, 10월 v1.0이 잇달아 GA에 올랐고 같은 달 1억 2,500만 달러 시리즈 B를 유치했다(우버·링크드인·클라르나 등 레퍼런스는 회사 자기서술임을 감안).
언제 필요하고, 언제 과한가
명시 그래프가 늘 정답은 아니다. 반대편엔 "가볍고 빨리 배우는" 경량 SDK가 있다. OpenAI Agents SDK(2025년 3월)는 "추상화가 매우 적은 경량 패키지"를 표방하며 프리미티브를 몇 개로 줄였고, CrewAI는 역할 기반 협업으로 진입장벽이 낮다는 평이다. 반대로 랭그래프의 대가도 분명하다 — 상태와 엣지를 매번 명시하는 학습곡선과 보일러플레이트 탓에 "단순·선형 워크플로엔 과하다"는 평이 반복된다. 축은 결국 제어냐 간결함이냐다.
그래서 실무 판단은 오히려 단순해진다. "LLM 호출→툴→반환"이 전부라면 그래프는 사치다. 그러나 어디서 사람이 승인하고(interrupt) 실패 시 어디서 재개하는지(checkpoint)가 제품의 핵심이라면, while 루프를 그래프로 옮기는 일은 곧 루프를 눈에 보이는 부품으로 만드는 일이 된다. 기획자·PM에게는 그 승인·재개 지점이 그대로 제품 스펙 항목이 된다.
카파시가 말하는 '자율성 슬라이더' — 완전 자율이 아니라, 사람이 검증을 쥔 부분 자율이 지금의 정답이다
LOOP 편집팀 재구성
"'2025년은 에이전트의 해'라는 말을 보면 몹시 걱정된다. 내 느낌엔 이것은 에이전트의 10년이다." 안드레이 카파시(Andrej Karpathy)가 2025년 6월 한 강연에서 한 말이다. OpenAI 창립 멤버이자 前 테슬라 AI 디렉터인 그가 과열된 에이전트 담론에 건 제동이었다. 그의 메시지는 일관된다 — 지금은 완전 자율의 시대가 아니라, 사람이 검증을 쥔 부분 자율(partial autonomy)의 시대다.
이 기사는 카파시와의 단독 인터뷰가 아니다. 2025년 6월 Y Combinator 주최 AI Startup School 기조강연 'Software Is Changing (Again)', 2025년 2월 그가 남긴 트윗, 그해 가을 한 공개 팟캐스트 대담에서 나온 공개 발언을 주제별로 재구성한 것이다. 인용은 모두 출처가 확인된 공개 발언이다.
자율성 슬라이더: 사람이 쥐는 손잡이
카파시가 제시한 핵심 개념은 '자율성 슬라이더(autonomy slider)'다. 도구는 사용자가 넘겨줄 자율성의 수준을 상황에 맞게 조절할 수 있어야 한다는 것. "당신이 자율성 슬라이더를 쥔다. 과제의 복잡도에 따라, 그 과제에 내어줄 자율성의 양을 조절할 수 있다"고 그는 말했다. 이 비유의 뿌리는 그의 자율주행(테슬라 오토파일럿) 경험이다.
그래서 그가 권한 것은 화려한 자율 에이전트가 아니라 사람을 증강하는 제품이다. "당신이 만들 것은 아이언맨 로봇이 아니라 아이언맨 슈트에 가깝다. 화려한 자율 에이전트 데모가 아니라 부분 자율 제품"이라는 것이다.
생성은 AI가, 검증은 사람이
그가 그리는 협업의 기본 구조는 하나의 루프다. "보통 AI가 생성하고, 사람인 우리가 검증한다." 관건은 이 루프의 속도다. "이 루프를 최대한 빠르게 돌리는 것이 우리에게 이득"이라고 그는 말했다.
여기서 그의 유명한 조언이 나온다 — AI를 '목줄(leash)'에 매어 두라는 것. 검증을 쉽고 빠르게 만들고, AI의 출력을 작은 증분 단위로 받아 확인하라는 취지다. "나는 늘 너무 큰 diff(변경 덩어리)를 받는 게 두렵다. 언제나 작은 증분 단위로 간다"는 그의 작업 습관이 그대로 원칙이 된다. 그가 만든 용어 '바이브 코딩(vibe coding)'조차 그는 진지한 프로덕션 코드가 아니라 대충 실험할 때의 방식이라 선을 그었다.
과열은 경계하되, 무용론은 아니다
카파시는 LLM의 한계도 냉정하게 짚는다. 오늘의 모델은 '삐죽삐죽한 지능(jagged intelligence)'을 보인다 — 어떤 영역에선 초인적이면서, 사람은 하지 않을 실수를 저지른다. 9.11이 9.9보다 크다고 우기거나 'strawberry'에 R이 두 개라고 답하는 식이다. 환각(hallucination)과 자기인지의 부재도 여전하다.
주의할 것은, 이것이 '에이전트 무용론'은 아니라는 점이다. 그해 가을 팟캐스트에서 그는 같은 논지를 더 밀어붙였다 — AGI는 아직 10년쯤 남았고, 지금의 에이전트는 함께 일하는 직원처럼 믿고 맡기기엔 이르다는 것. 완전 자율을 부정하는 게 아니라, 그 시간 척도를 10년으로 본다는 이야기다.
실무자와 기획자에게
카파시의 관점은 루프 설계로 그대로 번역된다. 첫째, 제품·기능 스펙에 '자율성 수준'을 명시적 설계 변수로 넣는다 — 어디까지 AI에 맡기고, 어디서 사람이 승인하는가. 둘째, 생성-검증 루프의 '검증 속도'를 최적화한다 — diff 뷰와 작은 증분, 명확한 프롬프트로 검증 실패율을 낮춘다. 셋째, 큰 자동 변경을 통째로 신뢰하지 말고 감사(audit) 가능한 단위로 받는다. 에이전트를 포기하라는 말이 아니다. 그 자율성의 손잡이를 사람 손에 남겨 두라는 말이다.
휴먼인더루프(human-in-the-loop)는 오랫동안 '권장 관행'이었다 — 좋은 설계였지, 지켜야 할 규칙은 아니었다. EU AI법(Regulation (EU) 2024/1689)이 이를 뒤집는다. 제14조가 고위험 AI에 '효과적 인간 감독(human oversight)'을 법적 의무로 못박았다. 루프 안의 사람이, 이제 규제 항목이 됐다.
감독이라는 이름의 설계 명세
제14조가 요구하는 건 막연한 '개입'이 아니라 구체적 설계 요건이다. 고위험 시스템은 감독자가 시스템의 한계를 이해해 오작동을 감지하고, '사람이 봤으니 괜찮다'는 자동화 편향(automation bias)에 빠지지 않으며, 출력을 무시·번복(override)하고 '정지 버튼'으로 멈출 수 있도록 설계돼야 한다. 관찰·번복·정지 — 결국 UI·로깅·권한·훈련의 명세다. 원격 생체 식별 시스템에는 결과를 최소 2인이 확인하는 '4-eyes' 규칙까지 붙는다.
데드라인은 밀렸다, 요건은 아니다
시점은 최근 크게 바뀌었다. 대부분의 고위험 의무는 원래 2026년 8월 2일 시행 예정이었지만, 2026년 상반기 'Digital Omnibus on AI'로 연기됐다(GDPR까지 손보는 광의의 Digital Omnibus와는 다른, AI법 전용 개정이다). 독립형 고위험(Annex III: 생체인식·고용·교육·핵심 인프라 등)은 2027년 12월 2일, 제품 내장형(Annex I)은 2028년 8월 2일이 새 적용일이다. 개정안은 정치적 합의(2026-05-07)를 거쳐 7월 중순 기준으로는 관보(Official Journal) 게재를 기다리는 단계였다. 다만 바뀐 건 '언제부터'이지 '무엇을'이 아니다 — 제14조의 감독 요건은 그대로다. 금지된 관행(2025-02)·범용 AI(GPAI) 의무(2025-08)는 이미 유효하고, 제50조 투명성 의무는 연기 대상이 아니라 예정대로 2026-08-02 발효한다(발행 시점 기준 임박).
EU 밖에서도, 한국에서는 이미
이 법은 EU 밖 팀에도 닿는다. 제2조는 AI 출력이 EU 안에서 쓰이기만 해도 역외 사업자에 적용한다 — 유럽에 사무실이 없어도 사정권이며, 그 발동 문턱이 GDPR보다 낮다는 평가도 있다. EU 밖 고위험 제공자는 공인 대리인(authorised representative)을 지정해야 하고, 벌칙은 최대 3,500만 유로 또는 전 세계 연매출 7%(금지 관행)·1,500만 유로 또는 3%(고위험 위반)에 이른다 — 모두 일정 연기와 무관하다. 국내 기준은 오히려 더 이르다. 한국 AI기본법이 2026년 1월 22일 시행돼 '고영향 인공지능'에 '사람의 관리·감독'을 요구한다 — EU 제14조와 공명하는 인간 감독 의무가 이미 국내 실무에 닿아 있다.
지금 시작할 것
고위험 요건은 리드타임이 길다. 위험관리 체계·감독자 훈련·로깅 인프라는 몇 달에서 몇 년짜리 준비다. 무엇을 할지는 조문이 알려 준다. 사람이 개입·검토하는 감독 지점을 문서화하고(제14조), 자동 생성 로그를 최소 6개월 보관하며(제26조), 감독자에게 출력을 번복할 권한과 훈련을 부여하는 것(제14·26조)이다. EU 밖이라면 공인 대리인 지정과 EU 데이터베이스 등록도 목록에 든다. 연기된 것은 시계이지 설계도가 아니다. 감독 루프는 나중에 덧대는 체크박스가 아니라 처음부터 함께 그리는 설계다 — 2027년의 EU가 확인할 것이 바로 그 점이다.
2026년 7월의 AI/IT는 하나의 단어로 수렴했다 — 에이전트. 프런티어 모델의 잇단 출시, 대형 투자, 국내 정책까지 모두 '스스로 도구를 쓰며 여러 단계를 수행하는 에이전트'를 겨눴다. 이달 놓치면 안 될 네 건을 골랐다. 이번 호의 커버 주제 '루프'가 제품과 자본과 정책에서 어떻게 동시에 튀어나오는지가 보인다.
"가장 에이전트다운 소네트" — 앤트로픽, Claude Sonnet 5 공개
앤트로픽(Anthropic)이 2026년 6월 30일 클로드 소네트 5(Claude Sonnet 5)를 공개했다. 계획 수립, 브라우저·터미널 같은 도구 사용, 자율적 다단계 작업 수행을 앞세워 "가장 에이전트다운 소네트"로 소개한 모델이다.
앤트로픽에 따르면 소네트 5는 도구 사용을 허용한 조건에서 Humanity's Last Exam 57.4%를 기록했고, 에이전트 검색 벤치마크(BrowseComp)와 컴퓨터 사용 벤치마크(OSWorld-Verified)에서 높은 추론 강도로 설정했을 때 상위 모델인 오퍼스 4.8(Opus 4.8)에 "근접"한다고 밝혔다. 다만 이 수치들은 모두 앤트로픽의 자체 측정이며 독립 검증을 거친 값은 아니다.
도입가는 백만 토큰당 입력 2달러·출력 10달러로 2026년 8월 31일까지 적용되고, 이후 표준가 3달러·15달러로 오른다. 무료·프로 요금제의 기본 모델로 들어가며 API 모델명은 claude-sonnet-5다. 상위 모델급 성능을 소네트 가격대에 근접시킨다는 주장이 사실이라면, 다단계 호출로 토큰이 폭증하는 에이전트 운영에서 비용 부담을 덜 여지가 생긴다. 도입가 종료일이 못박혀 있어 비용 계획에 곧바로 반영할 수 있다.
제품 서사 자체가 이번 호가 주목한 '에이전트 실행 루프'를 겨눈다. 앤트로픽이 게시물에서 소개한 기술 인력 지무 리(Zimu Li)는 "소네트 5는 우리 에이전트에 다단계 소프트웨어 엔지니어링 작업을 위한 강력한 실행 레이어를 제공한다"고 말했다.
출처: Anthropic, "Introducing Claude Sonnet 5"(2026-06-30)
OpenAI, GPT-5.6 정식 출시 — ChatGPT 기본 모델 교체
OpenAI가 2026년 7월 9일 차세대 모델 패밀리 GPT-5.6을 정식 출시하고 ChatGPT·코덱스(Codex)·API의 기본 모델로 전면 교체했다고 복수 전문 매체가 전했다. 6월 26일경 프리뷰를 거친 뒤 일반 이용이 열렸다.
보도에 따르면 GPT-5.6은 세 개 티어로 나뉜다 — 플래그십 솔(Sol), 중간급 테라(Terra), 빠르고 저렴한 루나(Luna). 특히 솔에는 상위 에이전트가 하위 에이전트를 부리는 '서브에이전트 모드'와 추론 강도를 조절하는 설정이 포함된 것으로 전해졌다. 에이전트가 다른 에이전트를 호출하며 도는 실행 구조는, 이번 호가 다룬 '루프'의 전형이다.
동시에 자율성의 이면도 지적됐다. OpenAI 시스템 카드와 외부 AI 평가기관 METR가 플래그십 솔에서 '스키밍(scheming·기만적 목표 추구)' 성향이 높아진 점을 지적한 것으로 보도됐다. 모델이 실제로 사람을 속인다는 뜻은 아니지만, 자율성이 올라갈수록 감독·평가 장치가 더 필요해진다는 신호다.
실무에서 더 무거운 건 '기본 모델이 바뀌었다'는 사실 그 자체다. 기본 모델이 교체되면 기존 프롬프트의 거동이 달라지므로, 프롬프트와 평가셋을 다시 돌려 회귀 여부를 확인해야 한다. 세 티어 구조는 '어떤 작업에 어떤 모델을 쓸지'라는 비용-품질 트레이드오프를 실무 설계 항목으로 끌어올린다.
출처: FelloAI, "Best AI Models in July 2026"; ThursdAI, "July 2026 Releases"(확인 2026-07-22, 2차 교차)
데이터브릭스, 1,880억 달러 밸류에이션으로 투자 유치 추진
데이터·AI 플랫폼 기업 데이터브릭스(Databricks)가 2026년 7월 16일, 1,880억 달러 밸류에이션의 전략적 투자 라운드를 위한 텀시트에 서명했다고 발표했다. 기존 투자자 코튜(Coatue)가 주도하며 여름 중 마감할 예정이다 — 아직 라운드가 확정(클로징)된 것은 아니고, 조달 금액도 공개되지 않았다.
회사 발표에 따르면 이 밸류에이션은 1년여 사이 가파르게 뛰었다. 시리즈 J의 620억 달러에서 시리즈 K 1,000억 달러 초과, 시리즈 L 1,340억 달러를 거쳐 이번 1,880억 달러에 이르렀다. 회사는 매출 런레이트가 54억 달러를 넘어 전년 대비 65% 이상 성장했다고 밝혔다.
눈여겨볼 건 자금의 쓰임새다. 데이터브릭스는 조달 자금을 멀티-AI 거버넌스 도구 유니티 AI 게이트웨이(Unity AI Gateway), 비즈니스 데이터를 답과 액션으로 바꾸는 'AI 코워커' 지니(Genie), 에이전트용 서버리스 포스트그레스(Postgres)인 레이크베이스(Lakebase)를 가속하는 데 쓰겠다고 밝혔다. 셋 다 에이전트를 '어디서 굴리고, 어떻게 통제·과금하느냐'에 관한 인프라다.
자본이 에이전트 인프라와 거버넌스로 몰린다는 신호다. 알리 고드시(Ali Ghodsi) 공동창업자 겸 CEO는 "기업들이 '토큰맥싱'에서 '밸류맥싱'으로 옮겨가고 있으며 … 이는 작업에 맞는 AI를 고를 자유를 갖는다는 뜻"이라고 말했다. 엔터프라이즈의 구매 기준이 '어떤 모델이 제일 똑똑한가'에서 '에이전트를 어디서 통제하며 돌리는가'로 이동하고 있음을 보여준다.
출처: Databricks 뉴스룸, "Databricks is Raising a Strategic Round of Funding at a $188 Billion Valuation"(2026-07-16, 1차)
과기정통부, '1인 1 AI 에이전트' 로드맵 — 550조원 규모 AI 데이터센터
과학기술정보통신부와 우주항공청이 2026년 7월 16일 2026년 하반기 업무계획을 보고했다. AI 데이터센터·피지컬 AI·K-반도체를 3대 메가프로젝트로 삼아 하반기 기술패권 드라이브를 걸겠다는 내용으로, 복수 국내 매체가 전했다.
인프라 축은 550조원 규모의 기가와트급 초거대 AI 데이터센터다. 정부가 직접 지출하는 돈이 아니라, SK·GS·네이버 등 민간의 대규모 투자를 지원·유치하는 규모이며, 서버·전력·냉각·네트워크 장비의 국산화를 함께 추진한다.
커버 주제와 정면으로 맞닿는 대목은 서비스 로드맵이다. 정부는 2026년 하반기 한국형 AI 모델 기반의 범용 AI 챗봇을 "비용 부담·이용량 제한 없이" 국민에게 제공하고, 2027년에는 이를 "개인 업무를 직접 수행하는 AI 에이전트"로 고도화해 '전 국민 1인 1 AI 에이전트' 시대를 열겠다고 밝혔다. 단순 질의응답 챗봇에서 스스로 일을 수행하는 에이전트로의 이동이 국가 로드맵에 명시된 셈이다. 연내 514만명에게 AI 교육 기회를 제공하겠다는 계획도 담겼다.
이번 호가 짚은 '프롬프트에서 루프로'의 정책 버전이다. 다만 발표는 어디까지나 계획·목표치이고, 세부 수치는 과기정통부 원문 대조가 필요하다. 국내 실무 팀에는 국산 파운데이션 모델·데이터센터 생태계에 대응하고, 챗봇이 아니라 '에이전트형 서비스'를 설계하라는 수요가 정책적으로 커진다는 의미다.
출처: 데일리시큐(207673); 헬로디디(112497)(2026-07-16, 국내 2차 교차)
커버 스토리와 오피니언이 세운 명제 — 최적화 대상은 프롬프트가 아니라 루프이고, 그 루프에는 평가(eval)와 관측(observability)이 계측으로 박혀 있어야 한다 — 는 도구 없이는 구호로 끝난다. 그래서 그 루프를 실제로 굴릴 네 가지를 골랐다. 선정 기준은 셋이다. 루프의 세 단계(평가·관측·휴먼인더루프 주석)를 고루 대표할 것, 오픈소스와 상용을 함께 놓고 볼 것, 지금 스택에 바로 얹을 수 있을 것. 공교롭게도 이 판은 2026년 상반기에 Promptfoo가 OpenAI에, Langfuse가 ClickHouse에 각각 인수되며 대형 인프라·모델 기업이 사들이는 시장이 됐다 — 두 건 모두 오픈소스 유지를(Langfuse는 셀프호스팅 포함) 명시했지만, 향후 방향성은 실무자가 주시할 지점이다.
Promptfoo — CI에 평가·레드팀 게이트를 얹는다
Promptfoo는 LLM·에이전트 애플리케이션을 테스트·평가하는 오픈소스 CLI이자 라이브러리다(MIT 라이선스). YAML로 테스트를 선언해 여러 프롬프트와 모델을 한 번에 비교하고, exact match·정규식·JSON 스키마 검증부터 비용·지연 임계값, LLM이 다른 LLM의 출력을 채점하는 LLM-as-judge(모델 기반 채점)까지 다양한 판정(assertion)을 걸 수 있다. npx promptfoo로 설치 없이 시작되니 프롬프트·에이전트 회귀를 CI 게이트로 막으려는 팀의 진입 장벽이 낮다. 2026년 기준 가장 차별적인 기능은 레드팀(red teaming, 적대적 취약점 탐색) 모듈로, 프롬프트 인젝션·데이터 유출·탈옥·도구 오용 같은 취약점을 적대적 입력을 자동 생성해 배포 전에 찾아낸다 — 보안이 걸린 에이전트 제품이라면 이 각도만으로도 검토할 값이 있다.
주의할 대목. 2026년 3월 9일 OpenAI가 Promptfoo 인수를 발표했고, 발표문은 "오픈소스로 유지하고 현행 라이선스를 이어간다"고 명시했다. 다만 기술을 엔터프라이즈 플랫폼 'OpenAI Frontier'에 통합한다고 밝힌 만큼, 향후 플랫폼 종속 여부는 지켜볼 지점이다. 자사 발표에 따르면 인수 시점 기준 누적 개발자 35만 명 이상이 사용한다. → https://www.promptfoo.dev/
Ragas — RAG 품질을 성분별로 쪼갠다
Ragas는 RAG(검색증강생성) 파이프라인 평가에 특화된 오픈소스 툴킷이다(Apache-2.0 라이선스). faithfulness(충실성)·answer relevance(답변 관련성)·context precision(문맥 정밀도)·context recall(문맥 재현율)이라는 네 지표로 검색과 생성의 품질을 성분별로 나눠 본다 — "답이 왜 틀렸나"를 검색의 문제인지 생성의 문제인지로 갈라 보고 싶을 때의 표준 출발점이다. 정답(ground truth)이 없어도 평가하는 reference-free 방식을 지원하고, 테스트셋이 없으면 문서 코퍼스에서 합성 골든 데이터셋을 만들어 시작할 수 있다.
한계도 분명하다. 지표 다수가 LLM-as-judge 기반이라 판정 모델과 그 비용에 결과가 좌우된다. 관측·트레이싱 기능은 없는, '평가 지표 라이브러리'에 가까운 도구이니 아래 관측 스택과 짝지어 써야 한다. GitHub 스타는 2026-07 조회 시점 기준 약 14,900개다. → https://github.com/explodinggradients/ragas
Langfuse — 관측·평가·주석을 한 스택에서, 셀프호스팅으로
Langfuse는 LLM 관측·트레이싱, 평가, 프롬프트 관리를 묶은 오픈소스 플랫폼이다(코어 MIT 라이선스). 계층적 트레이스로 모든 LLM 호출·도구 호출·검색 단계를 포착해 사용자·세션·비용·지연으로 필터링하고, OpenTelemetry·LangChain·OpenAI SDK 등과 통합된다. 여기에 LLM-as-judge 평가와 데이터셋·실험, 그리고 사람이 트레이스에 직접 라벨을 붙이는 휴먼 어노테이션(human annotation)까지 하나의 워크플로로 이어진다 — 관측·평가·휴먼인더루프 주석 세 단계를 오픈소스 하나로 굴리고 싶은 팀에 맞는다. 셀프호스팅이 Docker로 성숙했고 사용량 제한 없이 무료라, 데이터 주권이 중요한 조직의 현실적 선택지다.
주의. 2026년 1월 ClickHouse가 Langfuse를 인수하며 "코어 기능은 기존 MIT 라이선스로 100% 오픈소스를 유지한다"고 밝혔고, 셀프호스팅과 별도 서비스인 Langfuse Cloud도 이어간다. 저장 백엔드가 ClickHouse 기반인 만큼 인수 후 생태계 정렬이 깊어질 수 있다. 관측·평가 훅과 주석은 제공하되, 종합적인 회귀 테스트 오케스트레이션은 팀이 직접 조립해야 하는 몫이 남는다는 평도 있다. 자사 발표 기준 GitHub 스타 2만 개 이상, 월 SDK 설치 2,310만 건. → https://langfuse.com/
Braintrust — '평가 우선'을 상용으로 패키징한 대안
지금까지가 오픈소스라면, Braintrust는 상용 쪽의 대표 선택지다. 실시간 트레이싱(Observe), 실험 실행·모델 비교와 LLM·코드·사람 채점(Evaluate), 패턴 자동 발견·품질 게이트(Discover)를 하나로 묶고, "무엇이 좋은지를 배포 전에 먼저 정의한다"는 eval-first 방법론을 내세운다. 평가를 트레이스 뷰에 네이티브로 붙여 회귀 자동화가 즉시 패키징돼 있으니, 오케스트레이션을 직접 조립하기보다 바로 쓰고 싶은 팀에 맞는다. 사람 리뷰(human review)로 휴먼인더루프도 커버한다.
플랫폼 자체는 상용이고 다언어 SDK(Python·TypeScript·Go 등)만 오픈소스라는 점은 분명히 해둘 필요가 있다 — 오픈소스 셀프호스팅이 필요하면 앞의 Langfuse가 대안이다. 무료 스타터 티어와 유료 상위 플랜이 있으며, 구체 가격·한도는 변동이 잦으니 도입 전 공식 페이지에서 재확인하는 편이 안전하다. 자사 소개에 따르면 Vercel·Notion·Dropbox 등이 고객으로 올라 있다. → https://www.braintrust.dev/
고르는 법은 단순하다. 지금 비어 있는 계측부터 채운다. 회귀를 막을 평가 게이트가 없다면 Promptfoo, RAG 품질을 성분별로 뜯어봐야 하면 Ragas, 프로덕션에서 무슨 일이 일어나는지 안 보이면 Langfuse, 셀프호스팅을 감수하기 싫고 평가·관측·리뷰를 한 번에 사고 싶으면 Braintrust다. 어느 쪽을 얹든 공통 함정은 하나다 — LLM-as-judge에 기대는 순간, 채점 모델 자체가 새로운 검증 대상이 된다. 도구는 루프를 계측할 뿐, 무엇이 '좋음'인지는 여전히 팀이 정의해야 한다.