1991년 6월, 소프트웨어 하나가 법의 눈에는 무기였다. 필지머만이라는 엔지니어가 PGP라는 이메일 암호화 프로그램을 인터넷에 올렸다. 코드가 국경을 넘어 퍼지자 미국 정부는 이를 무기를 밀수하는 것과 다름없이 취급했다. 무기수출통제법이 강한 암호를 미사일이나 수류탄과 나란히 군수품 목록에 올려 두었기 때문이다. 그런데 같은 코드라도 종이책으로 인쇄하면 수정헌법 제1조가 보호하는 표현이었고, 인터넷에 파일로 올려 국경을 넘기면 그 순간 밀수 무기가 되었다. 무기와 표현을 가른 것은 코드의 내용이 아니라 그것이 담긴 그릇이었다. 지머만은 3년 동안 연방 범죄 수사를 받았다. 그의 편에 선 MIT 출판부는 PGP의 소스코드를 아예 책으로 찍어 유럽 서점에 실어 보냈다. 책은 무기가 아니라 말이었기 때문이다. 한편 정부는 다른 길도 시도했다. 통신 기기마다 암호화 칩을 하나 심되, 그 해독 열쇠의 사본은 정부가 따로 보관해 필요할 때 열어 보겠다는 구상이었다. 강한 암호를 허용하는 대신 합법적 뒷문을 심어 두겠다는 것이었고, 거센 반발 속에 실패로 끝났다.

그 우스꽝스러운 싸움은 10년을 끌었다. 1996년 지머만에 대한 수사가 취소되었고, 뒤이어 다른 소송에서 법원은 소스코드가 표현의 자유로 보호받는다고 판결했다. 2000년에는 미국의 암호 수출 규제 자체가 사실상 무너졌다. 그리고 한때 강력한 무기 취급을 받던 그 기술은 인터넷 경제 전체의 보이지 않는 토대가 되었다. 오늘 우리가 은행 앱을 열고 카드를 긁고 메신저로 안부를 물을 때마다 그 밑에서 조용히 돌아가는 것이 바로 그 암호다.

2026년, 역사는 비슷한 가락으로 되풀이된다. 앤트로픽은 자사 최강 모델을 만들어 놓고, 일반에는 그 힘을 의도적으로 묶어 둔 판본만 공개했다. 그 이름이 Fable이다. 그마저도 공개되자마자 미국 상무부의 수출통제에 걸려 잠시 국경 앞에서 멈춰 서야 했다. 30년 전 강한 암호가 그랬듯, 가장 강한 지능도 언제든 무기 목록에 오를 수 있는 시대다.

앤트로픽이 자기 모델을 막아선 날

시간 순서를 따라가 보면 이 사건의 성격이 분명해진다. 먼저 소문이 있었다. 2026년 3월 말, 앤트로픽의 콘텐츠 관리 시스템 설정 실수로 미공개 모델에 관한 문서가 외부에 노출되면서 Mythos라는 이름과 그 위력이 세상에 알려졌다. 이어 4월, 앤트로픽은 Project Glasswing이라는 이름으로 Opus를 넘어서는 이 새 등급의 모델을 극소수에게만 열었다. 받아 본 곳은 사이버 방어 조직과 국가 기반 인프라를 다루는 소수의 기업뿐이었다.

써 본 소수는 인정했고, 써 보지 못한 대다수는 진위를 가릴 길이 없었다. 여기에 이 사건의 묘한 구조가 있다. 검증할 수 없는 강력함만큼 사람을 끌어당기는 것은 없다. 실체를 확인할 방법이 없으니 소문과 믿음이 곧 실체를 대신했고, 많은 나라와 회사가 먼저 써 보겠다며 줄을 섰다. 결과적으로 그것은 완벽한 마케팅이었다. 앤트로픽이 의도했든 아니든, 봉인된 상자만큼 값어치를 부풀리는 포장은 없다.

6월 초, 앤트로픽은 두 개의 모델을 나란히 공개했다. 하나는 일반 사용을 위해 안전장치를 채운 Fable이고, 다른 하나는 같은 장치를 상당 부분 걷어낸 Mythos다. 여기서 가장 자주 오해되는 지점을 바로잡을 필요가 있다. Fable과 Mythos는 서로 다른 두 모델이 아니다. 둘은 완전히 같은 기반 모델이며, 차이는 오직 위에 덧씌운 통제 장치뿐이다. 앤트로픽 스스로 이 사실을 밝혔다. 즉 Fable은 Mythos에서 새로 학습된 축소판이 아니라, Mythos 그 자체에 재갈을 물린 판본이다. Fable이 Mythos에 가드레일을 씌운 것이라는 추측은 정확히 맞았다.

이 등급의 위력이 어느 정도인지 보여 주는 장면이 하나 있다. 앤트로픽의 내부 시험에서 이 모델은 이미 공개된 윈도우 커널의 한 취약점을 공격하는 익스플로잇을, 사람의 개입 없이 31분 만에 작성했다. 숙련된 보안 연구자 여러 명이 며칠을 들여야 할 일이다. 생물학과 화학 영역에서의 잠재력은 공개조차 되지 않았다. 바로 이 지점에서 앤트로픽의 자기모순처럼 보이는 행보가 이해된다. 공개 며칠 전, 같은 회사는 AI가 머지않아 인간의 손을 벗어나 스스로를 개선하기 시작할 수 있다는 경고문을 자사 홈페이지에 올렸다. 위험을 경고하는 글과 가장 위험한 모델의 출시 페이지가 같은 회사 서명으로 동시에 나란히 걸린 셈이다. 손쉬운 해석은 위선이다. 그러나 더 정확한 해석은, 그 경고 자체가 출시의 일부였다는 것이다. 위험하다는 선언이야말로 강력하다는 선언의 가장 강한 형태다.

그리고 공개 사흘 만에, 앤트로픽은 Fable과 Mythos 모두의 접근을 차단했다. 이유는 회사의 변심이 아니라 미국 정부의 수출통제 지침이었다. 정부는 외국 국적자에게 이 모델을 내주지 말라고 명령했고, 실시간으로 국적을 가려낼 방법이 없던 앤트로픽은 아예 모두의 접근을 막았다. 규제는 6월 말 풀렸고, 접근은 곧 복구되었다. 짧았지만 상징적인 사건이다. 30년 전 강한 암호가 국경을 넘는 순간 무기가 되었듯, 이번에도 정부는 위험한 기술이 외국인의 손에 넘어가는 것을 막으려 했다. 다른 점이 있다면, 그때 암호를 만든 이들은 그것을 세상에 활짝 열어젖혔지만, 이번 모델은 만든 회사가 처음부터 스스로 묶어 내놓았다는 것이다.

확률은 통제되지 않는다

왜 앤트로픽은 무리해서라도 이 재갈을 물려야 했는가? 답은 LLM이라는 물건의 근본 성질에 있다. 우리가 매일 쓰는 소프트웨어의 대부분은 규칙으로 움직인다. 조건을 만족하면 실행하고, 아니면 멈춘다. 워크플로우와 알고리즘은 정해진 규칙 위에서만 작동하므로, 하지 말아야 할 일을 코드로 못 박아 둘 수 있다. 은행 시스템이 잔고보다 큰 출금을 거부하는 것은 확률이 아닌 로직으로 예외없이 작동한다.

LLM은 다르다. LLM은 규칙이 아니라 확률로 움직인다. 다음에 올 단어로 무엇이 가장 그럴듯한지를 매번 계산해서 문장을 이어 갈 뿐이다. 같은 질문을 두 번 던지면 매번 다른 대답이 나오는 것도 이 때문이다. 그래서 어떤 명령을 프롬프트로 주든, 학습 단계에서 무엇을 가르치든, 특정 행동을 100퍼센트 막거나 강제할 수 없다. 교묘하게 말을 걸어 금지선을 우회하는 프롬프트 인젝션이 끊이지 않는 이유가 여기에 있다. 앤트로픽이 외부에 건 현상금 시험에서 천 시간이 넘도록 완전한 우회로가 나오지 않았지만, 영국의 안전 연구 기관은 짧은 시험만으로 그 문턱까지 근접했다. 실제로 공개 직후 Amazon 연구진이 Fable의 사이버 세이프가드를 우회하는 경로를 찾아냈고, 이 보고가 앞서 본 미국 정부의 정지 명령을 촉발했다. 앤트로픽은 곧 분류기를 다시 학습해 그 경로를 막았지만, 가장 정교한 가드레일조차 절대 새지 않는다고 장담할 수 없다는 사실은 그대로 남는다. 확률로 움직이는 것을 규칙처럼 확실하게 통제한다는 말 자체가 형용모순이다. 넓게 열어 두면 언젠가 새고, 좁게 조이면 성능이 떨어진다.

그런데 우리가 사는 세계는 통제를 전제로 굴러간다. 그 통제에는 세개의 층이 있다. 맨 아래에는 지키지 않으면 불법이 되는 법, 곧 컴플라이언스가 있다. 그 위에 이 법을 조직의 규칙으로 옮겨 세우는 정책, 곧 거버넌스가 있다. 그리고 맨 위에 그 규칙을 시스템에서 실제로 강제하는 기술적 장치, 곧 보안이 있다. 이 세 층은 어겨서는 안 되는 선을 다룬다. 병원이 환자 기록을 함부로 넘기지 못하게 막는 것도, 금융사가 특정 거래를 반드시 기록하게 하는 것도 강제된다. 문제는 확률로 움직이는 LLM을 이 강제의 틀속에 가둘수 없다는 것이다. 확률적으로 대답하는 존재에게 절대 이것만은 하지 말라를 맡기는 것은, 대체로는 잘 지키지만 언젠가 반드시 한 번은 어기는 직원에게 금고 열쇠를 통째로 맡기는 일과 같다. 99번의 준수는 단 한 번의 유출을 되돌리지 못한다.

그래서 발상이 뒤집혔다. LLM 안에서 LLM을 통제하려는 시도를 포기하고, LLM 바깥에 결정론적인 문을 하나 세우는 것이다. 확률로 움직이는 엔진 위에, 규칙으로 움직이는 문지기를 얹는다. 이것이 가드레일이다. 앤트로픽이 택한 방식은 Fable 본체와 별개로 도는 여러 개의 분류기다. 분류기는 그 자체로 하나의 작은 AI로서, 들어오는 요청과 오가는 내용이 위험한 범주에 속하는지를 판정하고, 걸리면 본체가 그 요청에 답하지 못하게 막는다. 프롬프트나 학습에 기대지 않고 별도의 판정 장치를 본체 밖에 둔다는 점이 핵심이다. 문지기는 엔진과 다른 근육으로 움직인다.

같은 발상을 산업 표준으로 밀고 있는 것이 NVIDIA의 NeMo Guardrails다. 이것은 애플리케이션과 LLM 사이에 앉는 중간 관문으로서, 모든 요청과 응답을 가로채 안전성을 검사한 뒤 통과시키거나 차단한다. 콘텐츠 안전, 주제 이탈, 탈옥 시도 탐지 같은 검사를 병렬로 돌린다. 흔히 이런 장치를 커널 차원에서 명령어를 직접 막는 것으로 오해하지만, NeMo Guardrails 자체는 커널에서 통제한다. LLM이 실행하려는 명령을 어플리케이션 차원에서 못 쓰게 막는 방식과는 결이 다르다. 그것은 seccomp이나 컨테이너 격리, 명령어 화이트리스트 같은 샌드박싱의 몫이다. bash 명령을 OS에서 삭제하거나 봉쇄해 두면 LLM이 아무리 그 명령을 뱉어도 실행될 것이 없으니 동작하지 않는다. bash에 관한 한 이것은 확실한 가드레일이다. 두 방식이 겨냥하는 레이어는 다르지만 지향점은 같다. 확률의 영역에서 벗어나 규칙의 영역에서 강제하겠다는 것이다.

여기까지는 옳은 판단이다. bash 한 줄이든 코드 한 뭉치든 문장 한 편이든, LLM이 스스로를 완전히 검열하리라 믿을 수 없다면, 밖에서 문을 세우는 편이 낫다. 정말로 막아야 할 지식이 있다면 더욱 그렇다. 문제는 우리가 지불해야 하는 비용이다.

RAG가 남긴 교훈, 가드레일이 되풀이하는 자리

몇 해 전, LLM에 최신 지식과 근거를 붙이겠다며 검색 계층을 덧대는 방식이 유행했다. RAG라 불린 이 방식은 분명 쓸모가 있었지만, 동시에 모델의 손발을 묶기도 했다. 정해진 문서 안에서만 답을 찾게 하니, 모델이 가진 넓은 추론력이 좁은 창으로 눌려 나왔다. 이후 흐름은 정반대로 흘렀다. 검색이라는 목줄을 풀고 도구를 쥐여 주자 모델은 스스로 판단하고 행동하는 에이전트가 되었다. 성능을 옥죄던 껍데기를 벗기니 본연의 힘이 드러난 것이다. 지난 몇 년의 AI 발전사는 상당 부분 이 껍데기를 하나씩 벗겨 온 역사였다.

가드레일은 이 이야기를 거꾸로 되풀이한다. 이번에는 검색이 아니라 통제라는 껍데기가 가장 강한 모델 위에 덧씌워졌다. 그리고 그 대가가 사용자에게 그대로 전가된다. 정확한 작동 방식은 이렇다. 분류기에 걸린 요청은 거부되는 대신 Opus 4.8로 넘어간다. 다시 말해 Fable을 쓰겠다고 골랐어도, 위험 범주로 판정되면 대답은 한 단계 아래 모델인 Opus 4.8에서 나온다. 즉 폴백이 일어나는 영역에서는 정작 Fable을 손에 쥐지 못한다. 돌아오는 것은 통제를 걸어 둔 Fable이 아니라 처음부터 그냥 Opus다. 문서상 Fable의 기반 모델은 Opus보다 윗길이고 대부분의 벤치마크에서 최고 수준으로 소개되지만, 정작 그 힘이 가장 요긴한 순간에 프론티어 모델은 통째로 차단되어 아래 모델로 되돌려진다.

앤트로픽은 이 폴백이 평균적으로 전체 세션의 5퍼센트 미만에서만 일어난다고 말한다. 그러나 이 숫자는 오해를 부른다. 이것은 모든 사용자를 뭉뚱그린 평균일 뿐이다. 같은 회사의 안내 문서는 다른 진실을 담고 있다. 생물학과 화학 영역에서는 현재 대부분의 요청이 Opus로 폴백되고, 사이버 보안 영역에서는 높은 폴백률을 각오하라고 적혀 있다. 심지어 생명과학 연구, 바이오테크 사업 문서, 의료 영상 판독 같은 정당한 작업까지 그 그물에 함께 걸린다. 필자의 경우 ESP32 같은 범용 마이크로컨트롤러로 하드웨어를 다루는 작업마저 분류기가 위험한 시도로 오인해 폴백된 적이 있다. 클라우드 인프라를 다루거나 보안을 분석하거나 생명과학을 파고드는 사람에게 5퍼센트라는 헤드라인은 무의미하다. 그들에게 프론티어 모델은 사실상 닫혀 있다. 능력이 가장 요구되는 바로 그 자리에서 문이 잠긴다. 새 프로젝트를 열어 처음부터 다시 시도해도 매번 아래 모델로 되돌려지는 경험은, 예외가 아니라 설계된 결과다.

게다가 폴백은 예측하기 어렵다. 분류기는 사용자가 방금 친 문장만 검사하지 않는다. 모델이 읽어 들이는 모든 것을 검사한다. 메모리, 연결된 외부 자료, 웹 검색 결과, 첨부 파일까지 전부 대상이다. 그래서 자신이 입력하지도 않은 내용 하나가 그물에 걸려 폴백이 일어나기도 한다. 폴백이 일어나면 화면에는 이제 Opus가 이 요청을 처리한다는 안내가 뜬다. 몰래 넘어가는 것은 아니다. 그러나 작업에 몰두한 사람이 그 안내를 매번 유심히 들여다보지는 않는다. Fable이 처리하고 있으려니 하고 일을 이어 가다가, 한참 뒤에 결과를 보고 나서야 사실은 Opus가 처리했음을 깨닫는다. 통제가 숨겨져서가 아니라 일의 흐름 속에 묻혀서, 사용자는 자신이 지금 어느 모델을 쓰고 있는지 놓치기 쉽다.

문제는 폴백만이 아니다. 앤트로픽은 폴백이 일어나지 않는 세션에서 Fable의 성능이 프론티어인 Mythos와 사실상 같다고 밝혔다. 대부분의 벤치마크에서 최고 수준이라는 그 성능이 가드레일을 씌운 판본에서도 그대로 나온다는 것이 공식 입장이다. 그러나 필자가 직접 시험한 바로는 그렇지 않았다. 분류기에 걸리지 않고 Fable이 그대로 응답하는 경우에도, 긴 글을 쓰거나 여러 조건을 함께 엮어야 하는 코드를 다룰 때 결과는 기대에 미치지 못했다. Fable은 앞뒤 맥락을 놓치고 비유가 겉돌며 서로 다른 요소를 동시에 추론해야 하는 대목에서 방향을 잃었다. 기존 코드가 세워 둔 맥락을 읽지 못하고 엉뚱한 쪽으로 코드를 뻗는 일도 잦았다. 이 글을 준비하는 동안에도 다르지 않았다. 예전에 Opus로 작업하던 방식을 그대로 따랐는데도, Fable이 내놓은 문장은 앞뒤가 맞지 않고 산만해서 결국 본문을 직접 새로 쓰고 Opus에 다시 검토를 맡겨야 했다. 공식 수치가 약속한 성능과 실제 한 편의 작업에서 체감하는 성능 사이에는 분명한 간극이 있었다. RAG가 답을 좁은 문서 안에 가두어 추론력을 눌렀듯, 가드레일이라는 껍데기 역시 폴백이 일어나지 않는 순간에도 모델의 손발을 미묘하게 묶는 것으로 보인다.

결국 우리는 약속된 프론티어를 어느 쪽으로도 온전히 손에 쥐지 못한다. 그 힘이 절실한 영역에서는 폴백이 프론티어를 통째로 차단하고, 폴백이 없는 영역에서도 재갈 물린 복사본은 약속된 성능을 온전히 내주지 않았다. 가장 강한 지능은 실험실 어딘가에 분명히 존재한다. 다만 지금의 통로로는 그 지능에 온전히 가닿을 수 없다. 문제는 지능의 부재가 아니라, 그 지능에 이르는 길이 막혀 있다는 데 있다.

멍청한 문지기

이 구조의 밑바닥에는 하나의 내기가 깔려 있다. 확률로 움직이는 거대한 지능 위에, 그보다 훨씬 단순한 문지기를 앉히고, 그 문지기에게 무엇을 말해도 되는지 판정할 권한을 준다는 내기다. 분류기는 본체보다 작고 단순할 수밖에 없다. 판정만 빠르게 하면 되기 때문이다. 결국 덜 똑똑한 것이 더 똑똑한 것의 입을 막는 구도가 된다. 이것이 정말 좋은 설계인가? 그리고 모델이 강해질수록 이 구도는 지속될 수 있는가?

당장의 문제는 성능이 아니라 상한선이다. 이 방식이 표준이 되면, 실험실 안의 프론티어는 계속 앞으로 나아가되 우리가 실제로 손에 쥘 수 있는 지능은 그 아래 어딘가에서 멈춰 설 위험이 있다. 더 나은 모델이 계속 나오더라도, 우리가 쓸 수 있는 모델은 지금 이상으로 나아가기 어려울 수 있다는 것이다. 문지기의 판단력이 본체의 지능을 따라가지 못하는 한, 문지기는 위험만 막는 것이 아니라 우리가 애써 만든 능력까지 함께 가둔다. 능력은 계속 자라는데 그 능력에 닿을 통로는 점점 좁아지는 역설이다.

한 사회가 콘텐츠의 다양성을 억누르면 문화는 시들고, 시든 문화는 그 사회의 힘을 갉아먹는다. 재미없는 나라가 매력을 잃듯, 과도하게 눌린 지식은 도구의 쓸모를 좁힌다. 생물학을 묻지 못하고 보안을 분석하지 못하는 지능은, 그 영역에서만큼은 존재하지 않는 것과 같다. 지금의 가드레일이 반갑지 않은 이유가 여기에 있다. 그것은 위험한 답만 막는 것이 아니라, 위험과 이웃한 정당한 질문까지 함께 쓸어 담는다. 그리고 무엇이 위험과 이웃했는지를 판정하는 것은, 다시 그 단순한 문지기다.

그러나 여기서 솔직해질 필요가 있다. 모든 지식이 자유로워야 한다는 주장은 순진하다. 어떤 지식은 마땅히 통제되어야 한다. 핵무기 설계 정보가 그렇다. 미국의 원자력법은 핵무기 관련 정보를 태어나면서부터 비밀로 규정한다. 누가 언제 그 지식을 새로 도출하든, 만들어지는 순간 이미 기밀이라는 뜻이다. 31분 만에 커널 익스플로잇을 써내는 지능이 생화학 무기 설계까지 손댈 수 있다면, 그 위력은 방어보다 공격에 훨씬 비대칭적으로 작동한다. 방패를 만드는 데는 여러 사람의 오랜 협력이 필요하지만, 창을 휘두르는 데는 한 사람의 한순간이면 족하다. 이것이 30년 전 암호 전쟁과 지금 사이의 결정적 차이다. 강한 암호는 대체로 지키는 기술이었다. 개인의 사생활과 통신을 보호하는 방패였다. 반면 프론티어 지능의 위험한 쓸모는 방패가 아니라 창에 가깝다. 그래서 가드레일을 걷어 내라는 말은 그 자체로 답이 될 수 없다.

그럼에도 역사가 주는 힌트는 분명하다. 암호 전쟁은 규제의 붕괴로 끝났고, 그렇게 풀려난 기술은 재앙이 아니라 인프라가 되었다. 두려워하던 파국은 오지 않았고, 무기로 취급되던 것이 문명의 토대로 자리 잡았다. 열쇠를 미리 맡겨 두는 뒷문 대신, 강한 암호를 그냥 모두에게 허용하는 쪽이 결국 더 안전한 세계를 만들었다. AI의 궤적도 그쪽을 향할 공산이 크다. 분류기는 점점 정교해져 정당한 요청을 걸러 내는 실수를 줄여 갈 것이고, 검증된 연구자에게 프론티어를 열어 주는 통로도 생길 것이다. 앤트로픽은 이미 생물학 연구자를 위한 신뢰 접근 프로그램을 예고했다. 지금의 무딘 통제는 종착점이 아니라 과도기다. 문제는 그 과도기가 얼마나 길고, 그동안 얼마나 많은 정당한 일이 문 앞에서 되돌려지느냐다.

결국 진짜 질문은 가드레일을 둘 것인가 말 것인가가 아니다. 우리는 언제나 강한 기술을 통제해 왔고, 앞으로도 그럴 것이다. 진짜 질문은 그 울타리를 안에 가둔 지능만큼 똑똑하게 만들 수 있는가이다. 문지기가 지능의 발끝을 따라가지 못하면, 그 문은 위험을 막는 문이 아니라 능력을 가로막는 벽이 된다. 이 시대의 과제는 울타리를 그 안의 것과 같은 속도로 영리하게 키우는 일이다. 그러지 못하면 우리는 막대한 연산을 쏟아부어 천재를 하나 만들어 놓고는, 생물학자와 생물테러범을 구별하지 못하는 문지기를 그 앞에 세워 두는 셈이 된다. 멍청한 것에게 똑똑한 것을 지키게 하는 일이 과연 현명한가?

참고 자료