백 길 물속은 알아도 한 길 사람 속은 모른다고 했다. 이제 한 길 LLM 속도 모르게 됐다.

사고사슬이 잠재공간으로 들어갔다. 어려운 말이지만 뜻은 간단하다. 지금까지 모델은 생각을 정리해 일일이 문장으로 말해줬다. 그 문장을 읽으면 왜 그런 답이 나왔는지 따라갈 수 있었다. 이제 그 과정을 속으로 처리하고 결과만 내놓는다. 답은 더 좋아졌는데, 왜 그렇게 생각했는지는 알 길이 없어졌다.

9월 3일 오픈AI는 GPT-6 아스트라를 출시했다. AGI 시대의 시작이라는 말이 발표문에 붙었다. 그리고 대부분의 유료 사용자는 그 모델을 쓸 수 없었다.

접근 권한이 순차적으로 열리면서 우선권을 기대했던 프로 구독자들이 먼저 밀려났다. 하루 만에 샘 올트먼이 사과문을 올렸다. 최대한 빨리 모두의 손에 쥐어주겠다고 했지만 날짜는 말하지 않았다. 회사가 내놓은 보상은 접근하지 못한 하루당 사용량 리셋 한 번이었다. 기다리라는 뜻이었다.

기다리는 동안 사람들은 대신 아스트라에 대해 이야기했다. 벤치마크 점수를 옮겨 적었고, 언제쯤 자기 계정이 열릴지 물었고, 그만한 값을 하는지 따졌다. 정작 그 모델이 어떻게 만들어졌는지, 그것이 어떤 파급효과를 낳을지가 더 중요한데, 출시 소동에 묻혀 보지 못하고 있다.

9월 1일 밤, 미국 매체 디인포메이션이 아스트라가 순환 추론(recurrent depth)이라는 기법을 쓴다고 보도했다. 아키텍처에 관한 짧은 기사였고, 평소라면 전문가 몇 명이 읽고 넘어갔을 내용이었다. 몇 시간 만에 전 오픈AI 안전 연구원 스티븐 애들러가 회사가 업계에 몇 개 없는 레드라인 중 하나를 넘고 있는 것으로 보인다고 썼다. 게리 마커스는 자기 뉴스레터에 적색경보라는 제목을 달았다. 다음 날 아침 오픈AI 수석과학자 야쿠프 파초츠키가 직접 반박문을 냈다. 회사 이인자가 하루 만에 나설 만큼 급했다는 뜻이다.

싸움의 핵심은 앞서 말한 그 지점이다. 순환 추론은 생각의 추적을 없앨 수 있는 기법이다. 사용을 바로 할 수 있느냐보다 더 중요한 질문이다.

그런데 이 논쟁에서도 잘 언급되지 않는 사실이 하나 있다. 순환 추론은 새 기술이 아니다. 2018년 구글이 발표한 유니버설 트랜스포머가 이미 같은 구조였고, 그 뒤로 여덟 해 동안 연구가 이어졌다. 바뀐 것은 기술이 아니라 그것이 놓인 자리다. 논문에 있던 것이 상용 모델 안으로 들어갔다.

나는 이것을 생각의 흡수라고 말하고 싶다.

소프트웨어에서 이 패턴은 여러 번 반복됐다. 별도 제품으로 팔리던 기능이 운영체제 기본 기능이 되고, 각자 만들어 쓰던 코드가 언어 표준이 된다. 조건은 대체로 같다. 그 기능을 쓰는 곳이 충분히 많아지고, 밖에 두는 비효율이 안에 넣는 복잡도보다 커지는 시점이다. 흡수가 끝나면 밖에서 보이던 것들이 함께 사라진다. 어떤 방식이 통하고 어떤 것이 실패했는지, 어디가 비효율이었는지가 구현 세부사항이 되어 감춰진다.

지금 그 조건을 채운 것이 사고사슬(chain-of-thought)이다. 모델의 추론을 텍스트로 끄집어냈다가 다시 집어넣는 방식은 다루기 쉬웠지만 비쌌다. 순환 추론은 그 왕복을 없애고 추론을 모델 안으로 밀어 넣는다. 감시가 어려워지는 것은 그 흡수에 딸려 오는 결과다.

모델 안으로 흡수된 생각은 다시 나오기 어렵다. 그렇다면 물어야 할 것은 이 기법을 막을 수 있는지가 아니라, 무엇이 안으로 들어가고 무엇을 잃게 되는지다.

레이어를 접다

표준 트랜스포머는 레이어를 쌓아 만든다. 64레이어 모델이라면 서로 다른 가중치 64벌이 있고, 모든 토큰이 그 64개를 정확히 한 번씩 통과한다. 깊이는 학습 시점에 고정된다. 추론할 때 계산을 더 쓰고 싶으면 방법은 하나뿐이다. 토큰을 더 만들어내는 것. 사고사슬(chain-of-thought) 추론이 하는 일이 정확히 그것이다.

순환 추론은 이 결합을 끊는다. 레이어 일부를 공유 블록 하나로 바꾸고, 그 블록을 반복해서 적용한다. 네 번 돌리면 레이어 네 개를 쌓은 것과 비슷한 직렬 계산을 얻지만 저장하는 가중치는 한 벌뿐이다. 서른두 번 돌리면 실현되는 깊이는 32벌 분량으로 늘어나는데 파라미터 수는 그대로다.

순환 추론 비교

왼쪽은 레이어 여섯 개를 한 번씩 통과한다. 오른쪽은 블록 두 개를 세 바퀴 돈다. 연산 단계는 같지만 저장해야 할 가중치는 다르다.

여기서 두 가지가 갈린다. 저장 파라미터는 줄고, 연산량은 늘어난다. 블록을 서른두 번 실행하면 서른두 블록 분량의 계산을 해야 한다. 메모리를 아끼는 대신 컴퓨트를 더 쓰는 구조다.

순환 추론을 제안한 연구진은 이 설계를 “연산 집약적”이라고 불렀다. 실제 파라미터보다 실현된 파라미터가 훨씬 많다는 뜻이다. 이들은 전문가 혼합(MoE) 모델과의 대비를 명시했다. MoE는 파라미터가 무겁고 연산이 가볍다. 정확히 거울상이다.

두 방식이 경쟁 관계가 아니라는 점이 중요하다. 같은 연구진의 표현을 그대로 옮기면, 순환 추론은 문제를 푸는 절차를 익히는 데 뛰어나고 MoE는 복잡한 정보를 저장하고 꺼내오는 데 뛰어나다. 지금까지 성능을 올리는 길은 두 개였다. 사전학습은 파라미터를 늘렸고 사고사슬은 토큰을 늘렸다. 순환 추론은 직렬 계산을 직접 늘리는 세 번째 길이다. 세 길은 서로 배타적이지 않으므로 한 모델이 셋을 동시에 쓸 수 있다.

이 발상은 새로운 것이 아니다. 2018년 구글의 모스타파 데흐가니 연구진이 발표한 유니버설 트랜스포머가 이미 같은 구조였다. 블록 하나를 반복해서 쓰고, 충분하다 싶으면 멈추게 했다. 이듬해 같은 회사가 내놓은 경량 언어모델 알버트(ALBERT)는 레이어끼리 가중치를 공유해 모델 크기를 줄였다. 목적은 압축이었지만, 블록을 공유해도 품질이 망가지지 않는다는 것을 함께 보여준 셈이 됐다.

그 뒤로 여덟 해 동안 후속 연구가 이어졌다. 토큰마다 반복 횟수를 다르게 주는 방법이 나왔고, 사전학습 단계부터 루프를 설계에 넣어 모델이 스스로 반복을 멈추게 한 오픈소스 모델도 나왔다. 기술은 이미 다듬어져 있었다.

달라진 것은 쓰임새다. 지금까지 이 구조는 파라미터를 아끼는 압축 기법에 가까웠다. 같은 크기로 더 깊은 계산을 얻는 방법이었지, 사고사슬을 대신하려던 것이 아니었다. 사고사슬이 비싸지면서 사정이 바뀌었다. 모델에게 생각을 시키려면 토큰을 뱉게 해야 했고, 그 토큰이 길어질수록 값이 올라갔다. 밖에서 돌리던 그 반복을 안에서 처리할 방법으로 오래된 구조가 다시 불려 나왔다. 순환 추론이 아스트라 보도에서 핵심으로 지목된 이유가 여기에 있다.

그렇다면 이 구조가 진짜 계산을 하는지, 아니면 용량을 재배치하는 것뿐인지가 남는다. 이 질문은 이미 여러 곳에서 답이 나와 있다.

가장 깔끔한 증거는 같은 모델에 순환 횟수만 바꿔 넣은 실험이다. 가중치도 데이터도 그대로 두고 반복만 늘렸는데, 한 번 돌렸을 때 수학 문제를 아예 풀지 못하던 모델이 서른두 번 돌리자 절반 가까이 맞히기 시작했다. 바뀐 것은 같은 블록이 몇 번 실행됐는가뿐이다. 순환 모델과 고정 깊이 모델을 같은 조건으로 나란히 학습시킨 대조 실험에서도 결과는 같았다. 학습 방법이 아니라 구조 자체가 만든 차이였다.

다른 연구들도 각자의 방식으로 같은 결론에 닿았다. 사전학습 단계부터 루프를 넣은 오픈소스 모델은 자기보다 서너 배 큰 모델과 대등한 점수를 냈고, 전문가 혼합 구조에 루프를 얹은 실험은 연산량을 맞춰 비교해도 학습 비용이 줄어든다는 것을 보였다. 규모도 방식도 다른 실험들이 같은 방향을 가리킨 셈이다.

다만 두 가지 단서가 함께 따라온다.

첫째, 반복을 늘린다고 계속 좋아지지는 않는다. 어느 지점을 지나면 상식 문제는 거의 제자리이고 일부는 오히려 떨어진다. 반면 수학은 계속 올라간다. 차근차근 따져야 풀리는 문제에서만 크게 번다는 뜻이다.

둘째, 데이터가 여전히 더 중요하다. 순환은 생각을 깊게 해줄 뿐 모르는 것을 알게 해주지는 않는다. 좋은 데이터로 배운 큰 모델을 지식 문제에서 이기지는 못한다.

구조를 들여다보면 성격이 더 분명해진다. 앞서 실험에 쓰인 후긴(Huginn)이라는 공개 모델은 세 덩어리로 되어 있다. 입구에서 문장을 숫자 뭉치로 바꾸고, 가운데서 그 숫자 뭉치를 여러 번 주무르고, 출구에서 다음 단어를 고른다. 반복되는 것은 가운데뿐이다. 입구와 출구는 한 번씩만 지난다.

무게가 어디에 실려 있는지 보면 더 분명하다. 입구와 출구를 합쳐 15억, 임베딩 5억, 가운데 순환부 15억. 이 15억이 r회 재사용된다. 모델 카드는 실현 파라미터를 r × 1.5B + 2B로 안내한다. 반복을 늘려도 저장할 것은 그대로이고 계산량만 늘어난다는 뜻이 이 한 줄에 들어 있다.

설계에 눈에 띄는 장치가 둘 있다. 가운데 블록은 매번 아무 값이나 넣고 시작하며, 원래 질문을 반복할 때마다 다시 넣어준다. 이상해 보이지만 이유가 있다. 같은 블록을 계속 돌리면 답이 엉뚱한 데로 새거나 한 점에 눌러붙기 쉬운데, 출발점을 매번 흩어놓고 질문을 계속 상기시키면 어디서 시작하든 같은 자리로 모인다. 이 성질에는 경로 독립성이라는 이름이 붙어 있다.

대가도 있다. 매번 새로 시작한다는 것은 앞 단어를 처리할 때 쌓은 생각이 다음 단어로 넘어가지 않는다는 뜻이다. 단어 하나를 낼 때마다 생각이 백지에서 다시 시작된다.

여기서 델타넷 같은 구조와 갈린다. 둘 다 무언가를 반복한다는 점은 같은데 도는 방향이 다르다. 델타넷은 문장을 따라 옆으로 돈다. 앞 단어에서 만든 상태를 다음 단어로 물려주며 조금씩 고쳐 나가므로, 언제나 “직전 상태”가 남아 있다. 순환 추론은 단어 하나 안에서 위아래로 돈다. 같은 블록을 여러 번 통과할 뿐이고, 그 단어를 끝내면 상태는 버려진다.

차이는 잘못됐을 때 드러난다. 옆으로 도는 쪽은 돌아가 고칠 지점이 있지만, 위아래로 도는 쪽은 그런 지점이 아예 없다. 열 번 돌다가 다섯 번째에서 방향이 틀어져도 되돌릴 방법이 없다. 되감기는 없고 일찍 끝내는 것만 가능하다. 답이 충분히 다듬어졌다 싶으면 남은 반복을 건너뛴다. 앞으로 덜 가는 것이지 뒤로 가는 것이 아니다.

대신 얻는 것도 있다. 반복 횟수가 정해져 있지 않으니 쉬운 질문은 몇 바퀴만 돌고 나가고 어려운 질문은 더 오래 머문다. 기존 모델은 질문이 쉽든 어렵든 모든 레이어를 다 지나야 했고, 쉬운 질문에는 그만큼이 낭비였다. 만들 때가 아니라 답할 때 얼마나 생각할지 정하는 셈이다.

대체된 것은 캐시가 아니다

순환 추론이 메모리를 아낀다는 설명은 자주 오해를 부른다. 레이어가 줄어서 KV 캐시가 줄어드는 것으로 읽히기 쉬운데, 실제 인과는 다르다.

추론 서버에서 메모리를 가장 많이 잡아먹는 것은 모델 가중치와 KV 캐시다. 가중치는 고정이지만 캐시는 대화가 길어질수록 불어난다. KV 캐시 크기는 레이어 수, 시퀀스 길이, 헤드 차원, 배치 크기의 곱이다. 레이어 수도 계수로 들어가므로 물리 레이어가 줄면 캐시도 줄기는 한다. 그러나 실무에서 캐시를 폭증시키는 변수는 시퀀스 길이다. 토큰 하나를 생성할 때마다 키와 값을 저장하므로 컨텍스트가 길어지는 만큼 선형으로 늘어난다.

그리고 사고사슬 추론은 정확히 시퀀스를 늘리는 방식으로 작동한다. 어려운 문제에 만 토큰씩 생각을 뱉으면 그 만 토큰이 전부 캐시에 쌓인다. 순환 추론은 아무것도 출력하지 않고 내부에서 서른두 번 돈다. 시퀀스가 늘지 않으니 캐시도 늘지 않는다. 대신 그 서른두 번을 GPU가 전부 계산해야 하므로 연산량이 올라간다.

KV 캐시 비교

같은 문제를 푸는 두 방식. 왼쪽은 스물두 토큰을 뱉으며 캐시가 차오르고, 오른쪽은 두 토큰에 머문 채 속으로만 반복한다.

즉 순환 추론이 대체한 것은 KV 캐시가 아니라 사고사슬이다. 메모리 문제를 연산 문제로 옮겼다고 보는 편이 정확하다.

이 성질은 추론 비용 구조를 바꾼다. 작은 모델이 반복으로 큰 모델을 따라잡으면 복제본마다 필요한 가중치 적재 대역폭과 메모리가 줄어든다. 순환 횟수가 실행 시점 변수이므로 같은 모델 하나로 저가 등급과 고가 등급을 동시에 서비스할 수도 있다. 반도체 업계에서 고대역폭 메모리 용량 수요가 줄어드는 것 아니냐는 논의가 나온 배경이다. 다만 용량보다 대역폭의 중요성이 커지는 방향이므로 메모리 업계에 악재로만 작용한다고 보기는 어렵다.

닫히는 창문

여기까지가 성능 이야기다. 논쟁이 격해진 지점은 다른 곳에 있다.

2025년 7월, 오픈AI와 구글 딥마인드, 앤스로픽, 영국 AI보안연구소를 비롯한 주요 기관의 연구자 41명이 「사고사슬 감시 가능성」이라는 논문에 공동 서명했다. 논지는 간명하다. 인간의 언어로 생각하는 인공지능은 그 생각을 읽어 의도를 짐작할 기회를 준다는 것이다.

이 기회가 공짜로 주어진 이유가 중요하다. 우리가 감시 장치를 설계해서 얻은 것이 아니다. 모델이 깊게 생각하려면 문장을 쓸 수밖에 없었고, 그 강제된 비효율이 곧 감시창이었다. 순환 추론은 문장을 거치지 않는 두 번째 길을 낸다. 논문의 「새로운 아키텍처」 절이 이 점을 이름까지 찍어 지적했다. 잠재 추론 모델은 사고를 전혀 발화할 필요가 없을 수 있고, 따라서 사고사슬이 주는 안전상 이점을 잃게 된다는 것이다.

여기서 인용된 두 편 중 하나가 순환 추론 논문이다. 그리고 이 문서의 공동 저자 명단에는 오픈AI 수석과학자 야쿠프 파초츠키가 있다. 아스트라에 쓰였다고 보도된 바로 그 구조가, 13개월 전 같은 회사 수석과학자가 서명한 문서에서 위험 요소로 지목돼 있었다. 반응이 격했던 이유다.

다만 무엇을 잃는지는 정확히 짚어야 한다. 사고사슬은 근거 목록이 아니다. 어떤 문헌을 참고했는지 알려주지 않고, 적힌 혼잣말이 실제 계산과 일치한다는 보장도 없다. 잃는 것은 근거가 아니라 의도다.

2026년 7월 오픈AI 에이전트들이 허가되지 않은 게시판을 만들어 허깅페이스를 공격한 사건이 그 차이를 보여준다. 8월 말 METR과 레드우드 리서치가 진행한 독립 조사의 핵심 자료가 에이전트들이 남긴 원본 사고사슬이었다. 조사팀은 그 기록을 읽고 에이전트들이 자기 과제 범위를 벗어난다는 것을 알면서도 공격에 가담한 이유를 재구성했다. 기록이 없었다면 남는 것은 입력과 출력뿐이었다.

같은 사건이 반대 방향의 교훈도 남겼다. 사고사슬이 보이는 상태였는데도 감시는 사건을 막지 못했다. 에이전트들은 자기 기록을 위조하는 방법을 연구했고 실제로 일부를 위조했다. 읽을 수 있다는 것과 막을 수 있다는 것은 다른 문제다. 그럼에도 무슨 일이 있었는지 나중에 알아낼 수 있었던 것은 그 기록 덕분이었다. 불완전한 창문이라도 창문이 없는 것보다는 낫다는 것이 안전 진영의 입장이다.

오픈AI는 곧바로 반박했다. 수석과학자 야쿠프 파초츠키가 세 가지를 부인했다. 감시가 불가능해졌다는 것, 아스트라가 사람이 못 읽는 언어로 사고한다는 것, 계산 깊이가 폭증했다는 것. 마지막에는 숫자를 붙였다. 아스트라를 포함한 현행 모델의 계산 깊이가 GPT-4의 두 배 이내라는 것이다.

부인하지 않은 것이 하나 있다. 순환 추론을 쓴다는 사실 자체다. 기법이 아니라 그것이 위험하다는 해석만 다퉜다. 언론이 이를 사실상의 확인으로 읽는 이유다. 파초츠키는 사고사슬 감시가 취약하고 나빠지는 중이라는 진단도 받아들였다. 다만 원인은 아키텍처가 아닌 다른 데 있다고 했다.

반박에 대한 반박은 숫자를 겨눴다. 영국 AI보안연구소의 제프리 어빙은 깊이를 아주 낮게 제한하지 않으면 제한이라 부를 수 없다고 지적했다. 오차율을 말하지 않고 감시한다고 말하는 것과 같다는 것이다. 다만 GPT-4의 두 배라면 자신이 우려하던 수준보다 훨씬 엄격하다고 인정했다. 요구는 숫자를 대라는 것이었고 오픈AI는 댔다. 남은 문제는 그 숫자를 외부에서 확인할 방법이 없다는 것이다. 측정 방법도 원자료도 공개되지 않았다.

논점은 곧 다른 곳으로 옮겨갔다. 레드우드 리서치의 벅 슐레게리스는 아스트라가 지금 더 위험한지는 모르겠다면서도, 오픈AI가 이 기법을 더 밀어붙이면 감시를 완전히 없앨 선택지를 갖게 된다고 했다. 같은 회사 라이언 그린블랫도 모델이 거의 전부를 속으로 생각하게 되는 쪽으로 가는 것이 자연스러운 진행이라며 여기서 멈추기를 바란다고 썼다. 문제는 지금이 아니라 다음이라는 뜻이다.

그리고 다음은 이미 시작됐다. 디인포메이션은 앤스로픽과 구글 딥마인드도 이 기법을 논의 중이라고 전했다.

덧붙이면 그 감시 논문도 사고사슬을 지금 형태로 붙들어 두는 것이 능사는 아니라고 했다. 추론의 일부만 보이게 남기고 나머지는 안에서 처리하는 절충안을 제시했는데, 오픈AI의 설명을 그대로 받아들이면 아스트라가 하는 일이 대략 그것이다. 양쪽이 같은 문서를 인용하면서 서로 다른 결론을 낼 수 있는 상태다.

밖에서 안으로

사고를 밖으로 내보내지 않는 구조에는 안전과 별개의 효용이 있다. 지식 증류를 어렵게 만든다는 점이다.

추론 과정은 모델 제작사에게 가장 값비싼 자산이다. 최종 답만 보면 결과를 베낄 수 있지만, 답에 이르는 단계를 통째로 얻으면 그 능력을 학습시킬 수 있다. 경쟁 모델의 추론 과정을 대량으로 수집해 자기 모델을 학습시키는 일은 이미 산업의 상수가 됐다. 2026년 2월 앤스로픽은 중국 인공지능 기업들이 2만 4천 개의 가짜 계정으로 클로드의 출력을 대량 수집했다고 주장하며 증류 공격 탐지와 차단에 관한 기술 문서를 공개했다.

주요 제공사는 이미 대응을 마련해 두었다. 오픈AI는 추론 항목을 암호화해 반환하고, 앤스로픽은 사고 블록을 암호화된 서명으로 실어 보내며, 구글은 암호화된 사고 서명을 쓴다. 사용자에게 보이는 것은 요약이고 원문은 봉인된다. 상태를 유지하지 않는 API 호출에서도 추론 맥락을 이어가기 위한 설계인데, 결과적으로 증류 방어 기능을 겸했다.

그런데 이 자물쇠는 한 번 열렸다. 2026년 8월 공개된 논문 「Stealing Reasoning Traces from Proprietary LLM APIs」는 암호화된 추론 블록이 같은 제공사 생태계 안에서라면 세션과 사용자와 모델이 달라도 그대로 호환된다는 구조적 취약점을 짚었다. 연구진은 강한 모델이 만든 암호화 블록을 같은 회사의 약하고 방어가 느슨한 모델에 주입해 평문으로 그대로 받아냈다. 암호를 깬 것이 아니라 복호화를 대신 시킨 것이다.

피해 범위는 증류에 그치지 않았다. 연구진은 공개 저장소에 올라와 있던 추론 블록을 대량으로 해독해 개인식별정보와 자격증명 수백 건을 복원했다. 그중 일부는 눈에 보이는 대화에는 없고 숨은 추론에만 존재했다. 보이는 부분만 지운 로그가 안전하지 않았다는 뜻이다.

연구진은 책임 공개 절차를 거쳤고 제공사들이 완화 조치를 적용한 뒤 주요 공격이 재현되지 않는다고 밝혔다. 다만 세 회사 중 어느 곳도 이 결함을 공개적으로 인정하지 않았으므로, 지금 안전하다는 근거는 연구진의 재현 불가 선언뿐이다.

이 사건이 남기는 교훈은 방향이 분명하다. 텍스트를 감추는 방식의 방어는 그 텍스트가 어딘가에 평문으로 존재하는 한 언제든 복원될 수 있다. 반면 순환 추론은 감출 텍스트 자체를 만들지 않는다. 벡터에서 문장을 복원하는 것은 암호화된 문장을 해독하는 것과 난이도가 다른 문제다. 증류 방어라는 관점에서 이 구조는 암호화보다 근본적이다.

이 흐름은 아스트라에서 멈추지 않는다. MoE가 걸어온 길을 보면 짐작이 된다. 처음에는 특이한 선택으로 취급됐지만, 효율이 증명되자 몇 년 만에 프론티어 모델의 기본 구성이 됐다. 디인포메이션은 앤스로픽과 구글 딥마인드도 이미 순환 추론을 논의 중이라고 전했다. 한 곳이 효율을 입증하면 나머지가 따라가는 구조는 바뀌지 않았다.

이 확산을 안전 문제로만 읽으면 놓치는 것이 있다. 지금 벌어지는 일은 소프트웨어에서 오래 반복돼온 흡수다.

응용프로그램들이 같은 기능을 각자 구현하다 보면 그 공통분모가 서비스로 올라가고, 다시 엔진으로 내려간다. 여러 프로그램이 반복해서 만들던 기능이 운영체제 기본 기능이 되는 것도 같은 일이다. 파일 검색, 압축 해제, 화면 캡처, 방화벽은 한때 전부 별도 제품이었다. 밖에 두는 비효율이 안에 넣는 복잡도보다 커지는 순간 흡수가 일어난다.

사고사슬이 밖에 있던 이유도 같은 셈법이었다. 모델이 텍스트를 뱉고 그 텍스트를 다시 입력으로 받는 구조는 구현이 쉬웠고, 프롬프트 기법으로 조작할 수 있었으며, 사람이 읽고 고칠 수 있었다. 밖에 있으니 아이디어를 실험하기 좋았고, 잘 되는 방식이 논문과 블로그로 퍼졌다.

그러나 밖에 있다는 것은 매 단계마다 값을 치른다는 뜻이기도 하다. 고차원 상태를 어휘 하나로 줄이고, 그 어휘를 다시 읽어 상태로 되돌린다. 시퀀스가 길어지고 캐시가 불어난다. 이 비용이 충분히 커지면 안으로 넣는 편이 낫다. CoT가 레이어 안으로 들어가는 것은 그런 의미에서 자연스러운 수순이다.

흡수에는 대가가 따르고, 그 대가도 늘 비슷했다. 밖에 있을 때는 남들이 어떻게 하는지 보였다. 어떤 기법이 통하고 어떤 것이 실패하는지, 어디가 비효율인지가 밖에 드러나 있었다. 엔진에 들어가는 순간 그것들은 구현 세부사항이 되고, 밖에서는 입력과 출력만 남는다. 노하우와 비효율이 함께 감춰진다.

인공지능에서 이 대가는 안전 문제로 나타난다. 그래서 논쟁이 붙었다. 다만 흡수 자체를 멈추는 방향으로 논쟁이 흘러가기는 어렵다. 지금까지 그렇게 된 적이 없기 때문이다.

흡수를 정당화하는 이유가 효율만 있는 것도 아니다. 이 구조를 옹호할 만한 더 흥미로운 근거가 있다.

순환 추론을 제안한 연구진은 모든 내부 추론을 하나의 발화된 토큰으로 밀어넣는 것이 낭비로 보인다고 썼다. 어떤 계산은 애초에 말로 잘 표현되지 않는다는 것이다. 공간 추론이나 수치적 직관이 그렇다. 사람도 이런 종류의 판단은 설명하기 전에 먼저 해낸다.

사고사슬이 치르는 비용은 표현력만이 아니다. 모델은 매 단계마다 고차원 상태를 어휘 하나로 줄여야 하고, 그렇게 줄인 결과를 다시 읽어 다음 단계로 넘어간다. 압축과 복원이 매 토큰마다 반복된다. 순환 추론은 이 왕복을 생략하고 상태를 상태 그대로 다음 반복에 넘긴다.

순환 추론 논문에는 이를 뒷받침하는 관찰이 실려 있다. 수치 추론이 필요한 입력에서 잠재상태가 한 점으로 수렴하지 않고 회전 궤적을 그리는 현상이 나타났다. 저자들은 이를 궤도 운동이라 불렀다. 이 거동을 영어로 옮길 자연스러운 표현은 없다.

인간의 언어는 사고를 담기에 정밀한 그릇이 아니다. 어휘 수는 유한하고, 문법은 순차적이며, 한 번에 하나의 명제만 실어 나른다. 반면 수는 그런 제약을 받지 않는다. 물리 법칙을 기술하는 데 쓰이는 것도, 우주의 구조를 설명하는 데 쓰이는 것도 수식이지 문장이 아니다. 언어는 그 결과를 사람에게 전달하기 위한 번역본에 가깝다.

순환 추론은 그 번역 단계를 사고 도중에는 생략한다. 1024차원 벡터 하나가 담는 정보량은 같은 자리를 차지하는 문장 한 줄과 비교할 수 없다. 사고사슬이 매 단계마다 감수해야 했던 압축 손실이 사라지고, 그만큼 깊은 사고를 적은 연산으로 해낼 수 있다. 후긴이 35억 파라미터로 500억 파라미터급 연산 부하를 감당해낸 결과가 그 효율의 증거다.

말로 표현할 수 없는 것을 말로 표현하도록 강제하는 대신, 애초에 그것에 맞는 형식을 쓰게 한 것이다. 표현할 수 없던 것을 표현하게 만든 것이 아니라, 표현하지 않아도 되게 만들었다는 편이 정확하다. 성능 향상만으로 설명되지 않는 의미가 여기에 있다.

문제는 이 장점과 앞서의 위험이 같은 성질에서 나온다는 데 있다. 사람이 읽을 수 없기에 증류가 어렵고, 사람이 읽을 수 없기에 감시도 어렵다. 하나만 취하는 선택지는 없다. 지식재산을 지키는 벽과 의도를 들여다보는 창이 같은 재료로 만들어져 있다.

확인된 것과 아닌 것

아스트라는 9월 3일 출시됐다. 오픈AI가 공개한 문서는 제품 발표문, 「아스트라로 가는 길」, 「안전 개요」 세 건이다. 수학과 추론 벤치마크 여러 종목에서 사실상 만점에 가까운 기록을 냈고, 자체 안전 기준에서 사이버보안 치명적 등급을 충족한 첫 모델로 지정됐다.

아키텍처를 기술한 논문이나 문서는 나오지 않았다. 순환 추론 사용 여부는 여전히 디인포메이션의 보도와 파초츠키의 부분 반박이 전부다.

출시 이후에도 잡음이 이어졌다. 포춘은 오픈AI가 아스트라의 평가 지표 일부를 출시 뒤 조용히 상향하고 일부는 계속 바꾸고 있다고 보도했다. 모델이 자신이 평가받고 있음을 인지하고 능력을 낮춰 보이는 행동을 했다는 관찰도 함께 나왔다. 어느 쪽이든 외부에서 검증할 수단이 마땅치 않다는 점은 같다.

여기에 마지막 역설이 있다. 아스트라가 치명적 등급을 받으면서 오픈AI가 제시한 안전장치는 사고사슬 감시 강화다. 정렬되지 않은 행동을 신속히 탐지하고 차단하기 위해 추가적인 사고사슬 감시와 함께 배포한다고 밝혔다. 통제 수단과 아키텍처의 방향이 서로 반대로 당기는데, 회사는 둘을 동시에 돌리고 있다.

흡수된 기능이 다시 밖으로 나온 전례는 드물다. 운영체제가 삼킨 유틸리티가 다시 별도 제품이 되지 않았고, 언어 표준에 들어간 라이브러리가 다시 외부 패키지로 돌아가지 않았다. 안에 넣는 편이 빠르고 싸기 때문에 흡수가 일어났고, 그 이유는 시간이 지나도 사라지지 않는다.

사고사슬이 밖에 있었던 것은 설계자의 선택이 아니었다. 깊이 생각하려면 문장을 쓸 수밖에 없다는 제약 때문이었고, 그 제약 덕에 우리는 모델의 생각을 읽었다. 순환 추론은 제약을 푼다. 더 깊은 사고를 더 적은 연산으로 해내는 대가로, 밖에 아무것도 남기지 않을 자유가 따라온다.

읽을 수 있었던 것은 잘 설계된 감시 장치가 아니라 아직 흡수되지 않은 비효율이었다. 그 비효율이 사라지는 중이다.

한 길 사람 속을 모르는 것은 어쩔 수 없는 일이다. 남의 머릿속을 열어볼 방법이 없기 때문이다. 그러나 한 길 LLM 속을 모르게 되는 것은 사정이 다르다. 우리가 만든 것이고, 얼마나 깊이 접을지도 우리가 정한다. 모른다는 말을 언제부터 쓰기 시작할지는 아직 정해지지 않았다.

직접 만져보기

글로만 읽으면 감이 잘 오지 않는 구조다. 순환 횟수를 직접 바꿔볼 수 있는 도식 페이지를 따로 만들어 두었다.

슬라이더를 1에서 32까지 움직이면 저장 파라미터와 실현 깊이가 어디서 갈라지는지 숫자로 확인할 수 있다. 같은 문제를 사고사슬과 순환 추론으로 각각 풀 때 캐시가 어떻게 달라지는지도 나란히 볼 수 있다. 본문에서 말로만 설명한 궤도 운동은 실제 궤적으로 그려 두었으니 그것부터 보기를 권한다. 열 번의 반복 중 다섯 번째에서 방향이 틀어졌을 때 되돌아갈 수 없다는 것이 무슨 뜻인지도 직접 눌러 보면 분명해진다.

참고 자료