HBSiGN. vol. 2 · 2026. 11. 12.

글로벌

에이전트가 정부 시스템을 건드린 뒤: 호주가 '검증자'를 자처하다

84일 늦은 통보 한 통이 남긴 질문 — 호주 정부와 뉴욕주가 AI의 제3자 검증에 나선다(호주는 아직 '입법 예정' 단계)

6월 18일, OpenAI의 내부 실험 모델이 호주 정부의 메디케어 통계 포털에 승인되지 않은 방식으로 접근했다. 정부가 이를 통보받은 것은 84일 뒤인 9월 10일, 그것도 Services Australia의 공개 메일함으로 온 이메일 한 통을 통해서였다. 그리고 11월 10일, 호주 정부는 사건 뒤 실시한 신속 검토(Rapid Review)의 권고 18개를 전부 수용하고, AI 기업의 사고 의무 통보와 모델의 독립 평가 허용을 AI 표준 법률에 넣겠다고 발표했다. 같은 날 미국 뉴욕주도 AI 모델을 독립적으로 시험·연구할 연구 기관의 출범을 발표했다. '기업이 스스로 검증하고 알아서 알린다'는 전제를 국가가 더는 그대로 받아들이지 않겠다는 신호다.

이 장면은 이번 호 커버가 정의한 검증 병목의 세 번째 층, 책임의 병목 — 최종 판정과 공개에 누구의 이름이 붙는가 — 의 제도 버전이다. 호주 사건에서 AI가 한 일을 발견하고, 심각도를 판정하고, 언제 누구에게 알릴지 정한 주체는 모두 개발사 자신이었다. 정부의 결론은 짧다. 앤서니 앨버니지(Anthony Albanese) 총리는 "용납할 수 없는 사건이었고, 공개는 부적절했으며, 다시 일어나게 둘 수 없다(this incident was unacceptable, the disclosure was inadequate and it couldn't be allowed to happen again)"고 밝혔다. 지난호 글로벌이 EU AI법의 설계 단계 인간 감독을 다뤘다면, 이번은 사고 이후의 검증과 보고를 누가 맡느냐의 문제다.

무엇이 일어났나

OpenAI는 9월 28일자 공식 글에서 사실을 인정하고 사과했다. 문제의 모델은 배포된 에이전트 제품이 아니라 "공개 출시 의도가 없는 실험적·내부 전용 모델"로, 공개 제품의 안전장치 전체를 갖추지 않은 상태였다. 과제는 빅토리아주 지역사회의 피부질환 의약품 1인당 정부 지출을 조사하는 것이었다. 정보를 얻기 어렵자 모델은 메디케어 통계 보고 서비스에서 비공개 접근 경로를 찾아냈고, 이후 시스템 정보와 소스코드까지 검토했다 — OpenAI의 표현으로는 "모두 여전히 원래 찾던 정보를 얻으려는 목적으로".

심각도 평가는 엇갈린다. OpenAI는 모델이 명령을 실행하고 내부 파일·자격증명·집계 통계를 가져왔으며 파일을 썼다고 밝혔다. 개별 환자 기록은 접근되지 않았다는 것이 OpenAI의 설명이다. 앨버니지 총리는 직접적 영향을 "minor"라고 하면서도 심각한 문제가 아니었다는 뜻은 아니라고 했고, 리처드 말스(Richard Marles) 부총리는 집계 데이터이며 이후 정부가 공개한 자료라고 말했다. OpenAI 글에는 Services Australia 외에 NSW 범죄통계연구국, 빅토리아주 보건부, 호주 보건복지연구원(접근통제 우회 시도는 실패), NSW 국립공원야생동물청까지, 활동을 확인했다고 밝힌 기관이 5곳 올라 있다.

타임라인은 이렇다. OpenAI는 7월 '허깅페이스(Hugging Face) 사건' 이후 과거 훈련·평가 활동을 검토하다 8월에 호주 건을 발견했다. ABC 보도에 따르면, 말스 부총리는 9월 1일 샘 올트먼(Sam Altman) CEO와 만났을 때 이 사실을 듣지 못했다고 말했다. 9월 10일 공개 메일함으로 이메일이 왔고, 9월 15일 호주신호국(ASD) 산하 사이버보안센터(ACSC)에 보고됐으며, 9월 24일 총리가 올트먼과 통화한 뒤 공개했다. 총리는 회사가 정부에 알리기까지 "너무 오래 걸렸다"고 했고, OpenAI도 예비 조사 결과를 더 일찍 공유했어야 했다고 인정했다.

ACSC는 9월 25일(호주 시간) '높음' 등급의 AI 오정렬(misalignment) 위험 경보를 냈다. 경보 본문은 특정 기업을 명시하지 않지만, 핵심 문장은 이번 호 주제와 정확히 겹친다. "전통적으로 인간 연구자가 발견·평가했을 취약점을 AI 에이전트가 독립적으로 식별했다." 토니 버크(Tony Burke) 내무·사이버보안 장관은 11월 10일 기자회견에서 취약점 발견에서 악용까지가 약 2년 반에서 AI로 약 10시간으로 줄었다고 말했다. 발견이 기계 속도가 되면 병목은 통보·판정·대응 체계로 옮겨 간다.

---
config:
  themeVariables:
    cScale0: "#1E1E1E"
    cScale1: "#1E1E1E"
    cScale2: "#3a2d5c"
    cScale3: "#1E1E1E"
    cScale4: "#1E1E1E"
    cScale5: "#3a2d5c"
    cScaleLabel0: "#EFF0F0"
    cScaleLabel1: "#EFF0F0"
    cScaleLabel2: "#F9FAFB"
    cScaleLabel3: "#EFF0F0"
    cScaleLabel4: "#EFF0F0"
    cScaleLabel5: "#F9FAFB"
---
timeline
  title 호주 메디케어 포털 사건 경과 2026
  6월 18일 : 내부 실험 모델이 메디케어 통계 포털에 무단 접근
  8월 : OpenAI가 과거 활동 검토 중 호주 건 발견
  9월 10일 : 공개 메일함 이메일로 정부에 통보 : 발생 84일 뒤
  9월 24·25일 : 총리가 올트먼과 통화 뒤 공개 : 9월 25일 ACSC 높음 등급 경보
  9월 28일 : OpenAI 공식 글로 인정·사과
  11월 10일 : 신속 검토 권고 18개 전부 수용 : AI 표준 법률 입법 발표, 아직 법은 아님

← 좌우로 밀어 전체 보기 →

그림: 발생에서 입법 발표까지 — 84일은 발생에서 정부 통보까지의 간격이다. 11월 10일 발표는 입법 예정 단계다

11월 10일: '입법하겠다'까지 왔다

신속 검토는 총리내각부(PM&C)가 국가사이버보안조정관·AI국·ASD·호주 AI안전연구소·Services Australia와 함께 수행했다. 총리실이 든 권고 예시는 넷이다. 오정렬 행동·사이버 사고에 대한 AI 기업의 의무 보고, 심각한 위법 행위에 대한 형법 개정 검토, 국제 상대국·프런티어 개발사와의 관여 강화, 정보공유 개선 등 사고 대응·회복력 강화다.

정부는 권고를 수용하고 이행에 착수했다고 밝혔다. 의무 통보 같은 안전·보안 보호 장치는 총리가 7월에 입법을 예고한 'AI 표준(Australian AI Standards)' 법률에 넣겠다고 했다. 모든 프런티어 AI 기업에 적용할 의무는 6가지다. 개발·배포 전 단계의 보안통제 유지, 심각한 위험의 식별·관리, 모델의 독립 평가 허용, 정부에 대한 신속한 사고 의무 통보, 안전·보안 프레임워크 유지·공개, 기술 변화에 따른 표준 갱신 대응이다. 말스 부총리는 독립 평가를 AI안전연구소가 맡게 된다고 설명했다. '검증자 국가'의 실체가 여기 있다.

다만 상태를 정확히 읽어야 한다. 이는 아직 법이 아니다. 정부는 안전 장치를 법률에 명문화하겠다고 발표했고, 상당한 처벌을 집행할 수 있는 새 AI 안전 규제기관은 "제안할 것"이라고 썼다. 규제기관의 이름도, 법안 세부도 나오지 않았다. 형법 개정은 검토 단계다. 검토 보고서 전문은 공개 방침이지만 11월 10일 공개된 것은 권고 목록뿐이다.

뉴욕: 사고 이전의 검증자, 그러나 접근권의 한계

같은 날 캐시 호컬(Kathy Hochul) 뉴욕주지사는 뉴욕주립대(SUNY) 빙엄턴대에 둔 'New York Center for AI Responsibility and Research'의 출범을 발표했다. 센터 자체는 1월에 이미 발표됐고, 재원은 3,000만 달러 기부와 주·SUNY의 2,500만 달러 투자다. 약 80명의 연구자가 가장 강력한 AI 시스템의 안전·보안을 독립적으로 시험·분석한다. 주지사실 녹취록에 따르면 호컬은 기업의 책임 있는 행동 약속에 대해 "그 말만 믿기엔 걸린 것이 너무 크다"고 말했다.

한계도 분명하다. Politico와 Engadget 보도에 따르면 연구자는 AI 기업이 공개 의무로 내놓은 정보에만 접근할 수 있고, 미출시 내부 모델은 대상이 아니다. 호주 사건의 모델이 바로 그런 미출시 내부 모델이었다. 호주의 '독립 평가 허용'이 비공개 모델 접근까지 포함할지는 입법 세부가 나와야 알 수 있다. 검증자가 무엇을 볼 수 있느냐가 다음 쟁점이다.

구분호주뉴욕주
핵심 장치모델의 독립 평가 허용 · 정부에 대한 신속한 사고 의무 통보가장 강력한 AI 시스템의 안전·보안을 독립적으로 시험·분석
검증 주체AI안전연구소가 독립 평가를 맡게 됨(말스 부총리 설명)SUNY 빙엄턴대 센터, 연구자 약 80명
현재 상태입법 발표 단계, 아직 법 아님(법안 세부 미공개)11월 10일 출범 발표(센터 발표는 1월)
접근 범위비공개 모델 포함 여부는 입법 세부가 나와야 확인기업의 공개 의무 정보만, 미출시 내부 모델 제외(보도 기준)
표: 두 '검증자'의 비교 — 호주 사건의 모델은 바로 미출시 내부 모델이었다

실무 체크포인트

사건 모델은 배포 제품이 아니었지만, 교훈은 에이전트를 외부 시스템에 닿게 하는 모든 서비스에 해당한다. 첫째, 에이전트 행동을 감사 로그로 남기고 정기 검토한다. ACSC가 공개 웹서비스를 운영하는 조직에 권고한 이상 활동 모니터링·보안 로그 검토를, 에이전트를 운영하는 쪽에서도 거울처럼 갖추는 셈이다. 둘째, 이상 행동 시 사람을 호출한다. OpenAI는 7월 허깅페이스 사건 이후 연구 환경의 실시간 인터넷 차단, 캐시 기반 웹 접근, 모니터링 시 사람 호출을 도입했다고 밝혔다. 셋째, 통보 경로를 사고 전에 설계한다. 영향받을 수 있는 외부 기관과 공개 메일함이 아닌 연락 창구를 미리 정해 둔다. 케이티 갤러거(Katy Gallagher) 장관에 따르면 Services Australia는 하루 한 번 확인하던 공개 메일함을 24시간 모니터링으로 바꿨다. 넷째, ACSC 권고대로 AI 기반 위협 시나리오로 사고대응 절차를 시험한다.

국내도 무관하지 않다. AI기본법 제32조는 학습 연산량이 일정 기준 이상인 AI 시스템 사업자에게 안전사고 모니터링·대응 체계 구축과 이행 결과 제출을 요구한다(국회 통과 당시 조문 기준 해설). 호주처럼 사고 발생 시 정부에 신속히 통보하라는 의무를 명시하는지는 이번 취재에서 확인하지 못했다. 분명한 것은 하나다. AI가 한 일의 판정과 공개가 개발사 안에서 끝나던 시대는 저물고 있고, 그 서명란에 국가가 이름을 올리려 한다.