아스트라의 순환추론
깊이를 접는 법
층을 100개 쌓는 대신, 2개를 50번 돌린다.
파라미터는 줄고 사고는 깊어지는 대신 — 우리는 그 사고를 볼 수 없게 된다.
한 문장으로
같은 히든레이어 블록을 여러 번 재사용해서, 파라미터를 늘리지 않고 추론 깊이만 늘리는 구조다.
기존 트랜스포머는 100명이 한 줄로 서서 각자 한 번씩 처리하는 컨베이어벨트다. 순환추론은 2명이 같은 작업을 50번 주고받는 작업대다. 거쳐간 횟수는 똑같이 100번인데, 고용한 사람은 2명뿐이다.
2026년 9월 1일 The Information이 오픈AI의 차세대 모델 아스트라(Astra)가 이 구조를 쓴다고 보도했다. 몇 시간 만에 아키텍처 각주에서 AI 안전 논쟁으로 번졌다. 추론의 일부가 읽을 수 있는 문장에서 읽을 수 없는 숫자로 옮겨가기 때문이다.
기존 트랜스포머 vs 순환 깊이
슬라이더로 순환 횟수를 바꿔보자. 오른쪽은 블록이 2개뿐인데, 실질 깊이는 왼쪽을 따라잡는다.
표준 트랜스포머
Recurrent Depth
파라미터(가중치) = 2명분만 저장 → 메모리·대역폭 절약
연산량(FLOPs) = 100번 다 돌아야 함 → 컴퓨트는 그대로거나 더 늘어남
그래서 논문은 이 설계를 "compute-heavy"라고 부른다. 실제 파라미터보다 실현된(materialized) 파라미터가 훨씬 많은 구조다. MoE(전문가 혼합)와는 정확히 거울상이다 — MoE는 파라미터가 무겁고 연산이 가볍다.
프렐류드 · 코어 · 코다
논문(Huginn, 3.5B)의 구조는 세 덩어리로 나뉜다. 반복되는 건 가운데 코어뿐이다.
1회만
여기가 반복
1회만
왜 노이즈로 시작하고, 왜 임베딩을 다시 넣나
둘 다 순환을 안정시키기 위한 장치다. 같은 블록을 계속 돌리면 상태가 발산하거나 붕괴하기 쉽다. 시작점을 랜덤하게 주고 원본을 계속 상기시키면, 루프가 출발점과 무관한 정상상태로 수렴한다. 이걸 경로 독립성(path independence)이라 부른다.
매 토큰마다 랜덤 초기화된다는 건, 토큰 간에 이월되는 잠재상태가 없다는 뜻이다. "이전 상태로 돌아가 변분만 갱신"하는 게 구조적으로 불가능한 이유다. → 6장
말로 하지 않는 생각
기존 추론 모델(CoT)은 생각을 토큰으로 뱉어서 깊이를 벌었다. 순환추론은 아무것도 출력하지 않고 내부 벡터를 반복해서 다듬는다.
KV 캐시: 진짜 대체된 건 무엇인가
KV 캐시가 커지는 이유는 레이어가 깊어서가 아니라 시퀀스가 길어서다.
KV 캐시 = 2 × 레이어수 × 시퀀스길이 × 헤드차원 × 배치
레이어 수도 계수로 들어가긴 한다. 순환 깊이로 물리 레이어가 100→2로 줄면 그만큼 줄어든다. 하지만 진짜 대체되는 건 KV 캐시가 아니라 CoT다. CoT는 만 토큰씩 생각을 뱉고, 그게 곧 시퀀스 폭증 → 캐시 폭증의 원인이었다.
CoT 추론
순환 깊이
| 기존 CoT 추론 | 순환 깊이 | |
|---|---|---|
| 깊이 확보 | 토큰을 길게 생성 | 히든레이어 반복 |
| 메모리 | KV 캐시 폭증 | 거의 불변 |
| 연산 | 상대적으로 적음 | FLOPs 증가 |
| 가시성 | 읽을 수 있음 | 읽을 수 없음 |
메모리 문제를 연산 문제로 바꾼 것 — 이게 핵심이다. 그래서 반도체 업계에서 "HBM 용량 수요가 줄어드는 것 아니냐"는 논의가 나왔다. 다만 용량보다 대역폭의 중요성이 커지는 방향이라 단순 악재로 보긴 어렵다는 반론도 있다.
틀리면 되돌아갈 수 있나? — 없다
순환이라는 말 때문에 DeltaNet 같은 상태공간 모델과 헷갈리기 쉽다. 둘은 순환의 축이 다르다.
| DeltaNet 계열 | 순환 깊이 | |
|---|---|---|
| 순환 축 | 시퀀스 축 | 깊이 축 |
| 상태 | St = St-1 + Δ 로 이월 | 토큰마다 랜덤 초기화, 이월 없음 |
| "이전 상태" | 존재함 | 존재하지 않음 |
| 부분 갱신 | 이론상 논의 가능 | 구조적으로 불가 |
1. 토큰 레벨 — 틀린 토큰을 이미 뱉었으면 확정이다. 일반 자기회귀 모델과 똑같이 "아니 다시 생각해보니…" 하고 말로 자기수정하는 수밖에 없다.
2. 반복 레벨 — 10번 돌다 5번째에서 틀어져도 그 안에서 되돌릴 수 없다. 게다가 CoT는 중간 사고가 토큰으로 보이니 사람이 오류를 짚을 수라도 있는데, 이건 잠재공간이라 어디서 틀어졌는지 보이지도 않는다.
구조가 제공하는 건 되감기가 아니라 조기 종료(adaptive exit)다. 상태가 수렴하면 더 안 돌고 빠져나온다. 앞으로 덜 가는 것이지, 뒤로 가는 게 아니다.
숫자로 보는 효과
같은 가중치, 같은 800B 토큰 학습. 바꾼 건 테스트 시점의 순환 횟수뿐이다.
① 포화한다, 그것도 불균등하게. r=16→32는 연산이 2배인데 ARC-E는 0.42점 오르고 SciQ는 오히려 떨어진다. 반면 GSM8K는 계속 올라간다. 직렬 추론이 병목인 과제에서만 크게 번다.
② 데이터 품질이 여전히 지배한다. Huginn r=32의 MMLU는 31.38. 4T 토큰으로 정제 학습한 OLMo-2-7B는 60.56이다. 3.5B·0.8T로 Pythia-12B를 이기지만, 데이터 스케일링 법칙을 폐기하진 못한다.
가장 유용한 대조군은 논문 Table 4다. 동일 데이터·동일 설정으로 180B 토큰을 학습시킨 순환 모델 vs 고정 깊이 모델 — ARC-E 53.62 대 46.42, GSM8K CoT 9.02 대 1.82. 학습 레시피가 아니라 아키텍처 자체가 만든 격차다.
2026년의 발명이 아니다
감시 가능성 문제
2025년 7월, 오픈AI·구글 딥마인드·앤스로픽·영국 AI보안연구소 등 41명의 연구자가 「사고사슬 감시 가능성」 논문에 공동 서명했다. 논지는 이렇다 — 지금 모델은 긴 추론을 텍스트로 외재화할 수밖에 없고, 그 덕에 우리는 의도를 들여다보는 창을 공짜로 얻는다.
공동 저자 명단에 야쿠프 파초츠키(오픈AI 수석과학자)가 있다. 아스트라에 쓰였다고 보도된 바로 그 아키텍처 계열이, 13개월 전 오픈AI 수석과학자 본인이 서명한 논문에서 감시 위험으로 지목돼 있었다.
양측의 말
Irving은 이후 "GPT-4의 2배 이내"라는 경계가 자신이 반박하던 시나리오보다 훨씬 타이트하다고 인정했다. 공정한 요약: 안전 진영의 반론은 "루프가 본질적으로 금지"라는 게 아니라 "제한했다'는 말은 숫자가 붙어야 의미가 있다"는 것이다. 오픈AI는 이제 숫자를 붙였다 — 다만 측정 근거는 공개하지 않았다.
아스트라는 오픈AI 대비태세 프레임워크에서 사이버보안 '치명적(Critical)' 임계를 충족한 최초의 모델로 지정됐다. 그런데 그 안전장치는 루프가 잠식하는 바로 그것에 기대고 있다 — "정렬되지 않은 행동을 신속히 탐지·차단하기 위해 추가적인 사고사슬 감시와 함께 배포한다." 통제 수단과 아키텍처 추세가 반대 방향으로 당기는데, 오픈AI는 둘을 동시에 돌리고 있다.
확인된 것 · 보도된 것 · 추측
| 주장 | 상태 | 출처 |
|---|---|---|
| 아스트라는 오픈AI의 차기 모델 | 확인 | OpenAI, Path to Astra 9/1 |
| 사이버보안 Critical 임계 충족 첫 모델 | 확인 | 동일 |
| ExploitBench 100% · 평가 중 제로데이 2건 발견 | 확인 | 동일 |
| 사고사슬 감시와 함께 배포 | 확인 | 동일 |
| 계산 그래프 깊이 GPT-4의 2배 이내 | 확인(측정 비공개) | Pachocki 9/2 |
| 아스트라가 순환 깊이를 쓴다 | 보도, 미확인 | The Information 9/1 |
| 읽을 수 있는 CoT 보존 위해 루프 깊이를 의도적 제한 | 보도 | The Information |
| 아스트라 = "GPT-6" | 추측 | 공식 발표 없음 |
파초츠키의 반박은 기법이 아니라 함의를 다퉜다. 즉 순환 깊이 사용 자체를 부인하진 않았다. 시스템 카드가 나올 때까지는 "회사가 확인도 부인도 하지 않은, 출처가 탄탄한 보도"로 다루는 게 맞다.
남는 것
1. 히든레이어를 늘린 게 아니라 재사용한다. 물리 층수는 그대로, 실행 횟수만 늘어난다.
2. 반복 횟수는 고정이 아니다. 쉬우면 3번, 어려우면 30번. 추론 시점에 조절된다 — 그래서 "테스트 타임 컴퓨트"다.
3. 대체된 건 KV 캐시가 아니라 CoT다. 메모리 문제를 연산 문제로 옮긴 것이다.
4. 되돌아갈 수 없다. 토큰 간 상태 이월이 없어 DeltaNet식 롤백은 구조적으로 불가능하다. 있는 건 조기 종료뿐.
세 번째 스케일링 축이 열렸다는 게 이 아키텍처의 의미다. 사전학습은 파라미터를, CoT는 토큰을, 순환 깊이는 직렬 계산을 직접 늘린다. 루프와 희소성(MoE)은 경쟁 관계가 아니다 — 논문의 표현대로 "순환 깊이는 추론 패턴 학습에, MoE는 복잡한 정보의 저장과 인출에 각각 뛰어나다."
그리고 이 모든 이득의 대가는 하나로 수렴한다. 우리가 읽을 수 있던 생각이, 읽을 수 없는 숫자가 된다. 그게 성능 향상만큼이나 이 구조에 대해 기억해야 할 사실이다.