사람의 뇌는 약 860억 개의 뉴런과, 그 뉴런들을 잇는 100조 개가 넘는 시냅스로 이루어져 있습니다. 무언가를 배울 때 바뀌는 것은 주로 시냅스입니다. 어떤 연결은 강해지고 어떤 연결은 약해지면서 기억과 기술이 쌓입니다. 하지만 시냅스가 아무리 정교하게 바뀌어도 뉴런 자체를 새로 설계하지는 못합니다. 신호를 받아 전하는 세포의 구조는 이미 주어진 것이고, 뇌는 그 위에서만 배웁니다.

AI 모델도 같은 구조로 볼 수 있습니다. 시냅스는 모델의 가중치입니다. 모델이 배운 것은 모두 이 수많은 숫자에 저장되고, 학습은 이 숫자들을 조금씩 바꾸는 일입니다. 뉴런은 그 가중치를 받아 실제로 계산하는 연산자, 곧 하드웨어입니다. 칩과, 그 칩 위에서 연산을 돌리는 커널이 여기에 해당합니다. 지금까지 이 연산자는 사람이 설계했습니다. 모델은 사람이 만들어 준 뉴런 위에서 시냅스만 바꿔 온 셈입니다.

이 구조가 바뀌기 시작했습니다. 최근 나온 두 소식이 그 변화를 보여 줍니다. 하나는 AI가 자기를 돌리는 칩의 커널, 곧 자기 연산자를 직접 쓰기 시작했다는 소식입니다. 시냅스가 뉴런을 디자인하기 시작한 것입니다. 다른 하나는 AI가 다른 AI의 가중치를 직접 읽고 고치기 시작했다는 소식입니다. 시냅스가 다른 시냅스를 고치기 시작한 것입니다. 두 소식이 가리키는 방향은 같습니다. 모델을 돌리는 데 드는 비용과 모델을 고치는 데 드는 비용이 동시에 내려가고 있습니다.

엔비디아를 지켜 온 것은 커널이었다

AI 칩마다 고유한 소프트웨어 틀이 있습니다. 엔비디아에는 CUDA가 있고, AMD에는 ROCm이 있습니다. 이 틀 위에서 행렬 곱셈 같은 AI 연산을 실제로 돌리는 작은 프로그램을 커널이라고 부릅니다. 모델이 아무리 좋아도, 그 모델을 돌리는 칩에 맞는 커널이 잘 만들어져 있지 않으면 칩은 제 성능을 내지 못합니다.

커널이 하는 일은 수식을 그대로 코드로 옮기는 것이 아닙니다. 행렬 곱셈이라는 연산 자체는 몇 줄로 적을 수 있습니다. 문제는 그 연산을 칩의 사정에 맞춰 다시 짜는 일입니다. 칩 안에는 느리지만 큰 메모리와 빠르지만 작은 메모리가 층을 이루고 있고, 계산 장치는 그 작은 메모리에 올라온 데이터만 빠르게 처리합니다. 그래서 커널을 쓰는 사람은 큰 행렬을 몇 개로 쪼개서 작은 메모리에 올릴지, 어느 연산을 하나로 묶어 중간 결과를 메모리에 내보내지 않을지, 수천 개의 계산 장치에 일을 어떻게 나눌지를 모두 손으로 정합니다. 이 선택이 틀리면 같은 칩에서 성능이 몇 배씩 차이 납니다.

더 까다로운 것은 이 선택이 칩마다 달라진다는 점입니다. 메모리 크기와 대역폭, 계산 장치의 개수와 특성, 데이터를 주고받는 경로가 칩마다 다릅니다. 한 칩에서 가장 빠른 커널이 다른 칩에서는 평범한 커널이 됩니다. 그래서 칩을 바꾸면 모델을 옮기는 것이 아니라 커널을 다시 쓰는 일이 됩니다. 이 일을 할 수 있는 사람은 오랫동안 많지 않았습니다.

특히 손이 많이 가는 것은 주의 집중 연산입니다. 트랜스포머 모델이 문장 안의 단어들을 서로 견주어 보는 이 연산은 중간 결과가 입력 길이의 제곱으로 커집니다. 그래서 그 결과를 메모리에 한 번에 내보내지 않고 조각으로 나눠 처리하면서 바로 합치도록 커널을 특별히 짜야 합니다. 엔비디아 칩에서는 이런 커널이 몇 해에 걸쳐 다듬어져 지금은 거의 모든 모델이 쓰고 있지만, 다른 칩에서 같은 수준에 이르려면 그만큼의 시간을 다시 들여야 했습니다. 모델 하나를 다른 칩으로 옮기는 일이 몇 달짜리 프로젝트가 된 이유가 여기에 있습니다.

엔비디아는 이 일을 오래 해 왔습니다. CUDA는 2006년 11월에 발표되고 2007년 6월에 정식 배포됐습니다. 20년에 가까운 시간입니다. 그 사이 쌓인 커널과 라이브러리는 누구도 따라잡기 어려운 자산이 됐습니다. 딥러닝 연산을 모아 둔 cuDNN과 선형대수를 모아 둔 cuBLAS는 지금도 소스가 공개되어 있지 않고, PyTorch 같은 주요 프레임워크의 GPU 가속은 사실상 이 비공개 라이브러리에 얹혀 있습니다.

이 벽을 낮추려는 시도가 없었던 것은 아닙니다. 커널을 칩마다 손으로 짜는 대신, 사람은 연산의 뜻만 적고 칩에 맞는 세부는 컴파일러가 채우게 하는 방식이 여러 해 전부터 나왔습니다. Triton이 대표적입니다. 이 방식은 사람이 적어야 하는 양을 크게 줄였지만, 그래도 가장 빠른 커널은 여전히 손으로 짠 쪽이었습니다. 서비스를 돌리는 회사에게는 몇십 퍼센트의 성능 차이가 그대로 비용 차이여서, 결국 중요한 연산은 사람이 다시 짰습니다. 컴파일러는 벽을 낮췄지만 허물지는 못했습니다.

다른 회사의 GPU나 NPU가 하드웨어로는 견줄 만해도, 그 위에서 돌릴 커널을 처음부터 다시 만들려면 사람과 시간이 너무 많이 들었습니다. 그래서 대부분의 회사가 CUDA를 떠나지 못했습니다. 이것이 엔비디아의 가장 강한 경쟁력으로 꼽혀 온 CUDA 락인입니다. 고객을 묶어 둔 것은 하드웨어 자체보다 그 위에 얹힌 소프트웨어였고, 그 소프트웨어를 다시 쓰는 비용이 곧 진입 장벽이었습니다.

사흘 만에 옮겨진 Claude

앤트로픽은 11월 10일 IPO 투자자 설명회에서 이 벽을 AI로 넘었다고 밝혔습니다. 발표자는 최고컴퓨트책임자 톰 브라운이었습니다. 올해 처음 AMD의 MI355X GPU를 도입하면서, 자사 모델 Mythos에게 Claude를 AMD로 옮기는 일을 맡겼다는 것입니다. 사람의 개입은 거의 없었고, 사흘 만에 Claude가 AMD 위에서 돌아갔습니다. 커널은 거의 전부 모델이 직접 옮기거나 새로 썼습니다. 칩을 옮기는 일이 큰 프로젝트에서 며칠짜리 작업으로 바뀐 것입니다.

다만 이 사흘이 무엇을 뜻하는지는 정확히 볼 필요가 있습니다. 슬라이드에 달린 각주는 범위를 좁혀 둡니다. 사흘은 모델 하나의 프롬프트 처리를 MI355X에서 쓸 만한 성능으로 띄우기까지 걸린 시간입니다. 언어 모델이 답을 만드는 과정은 받은 글을 한꺼번에 읽어 들이는 단계와 답을 한 글자씩 뽑아내는 단계로 나뉘는데, 사흘이 가리키는 것은 앞 단계입니다. Claude 서비스 전체를 AMD로 옮겼다는 뜻은 아닙니다. 기존 방식이었다면 엔지니어 수십 명이 6개월에서 1년을 들였을 일이라는 비교도 일부 매체의 보도에만 나오고, 앤트로픽의 각주와 연결되어 있지 않습니다.

두 단계는 칩에 걸리는 부담이 다릅니다. 글을 읽어 들이는 단계는 많은 토큰을 한꺼번에 처리하니 계산 장치를 꽉 채워 쓸 수 있고, 커널을 짜는 쪽에서도 어디를 손대야 하는지가 비교적 분명합니다. 답을 한 글자씩 뽑아내는 단계는 다릅니다. 한 번에 토큰 하나만 만드는데 그때마다 모델 전체의 가중치와 그때까지의 대화 기록을 메모리에서 읽어 와야 하니, 계산 능력보다 메모리 대역폭이 발목을 잡습니다. 여러 사용자의 요청을 묶어 처리하는 일, 길어지는 대화 기록을 메모리에 어떻게 쌓아 둘지 정하는 일까지 얽혀 있어서 이쪽 커널이 더 까다롭습니다. 서비스 비용의 대부분도 이쪽에서 나옵니다. 사흘이라는 숫자의 범위가 좁다는 말은 이런 뜻입니다.

톰 브라운이 엔비디아나 CUDA를 한 번도 거명하지 않았다는 점도 짚어 둘 만합니다. CUDA 락인이 무너지고 있다는 해석은 이 발표를 전한 매체들이 붙인 것입니다. 엔비디아는 여전히 앤트로픽의 공급사이고, 같은 IPO 사모 배정에서 앤트로픽 주식 약 100억 달러를 사들였습니다. 발표한 회사도, 그 발표를 받아 쓴 쪽도 각자의 사정이 있습니다.

그래도 남는 사실이 있습니다. 앤트로픽은 이제 AWS의 Trainium, 구글의 TPU, 엔비디아 GPU, AMD GPU 네 가지 칩에서 Claude를 학습하고 서비스합니다. 회사는 이 네 가지를 서로 바꿔 쓸 수 있는 하나의 자원 묶음으로 운용한다고 밝혔습니다. 그때그때 가격 대비 성능이 가장 좋은 칩에 일을 나눠 준다는 뜻입니다. 칩 한 종류에 묶여 있는 회사는 그 칩의 가격과 공급량을 그대로 받아들여야 하지만, 네 가지 칩을 자유롭게 쓰는 회사는 협상력이 완전히 다릅니다.

이 수치들은 투자자 자료에 실린 것이라 아직 독립적으로 검증되지 않았습니다. 상장을 앞둔 회사가 자기 기술력을 보여 주려고 내놓은 숫자라는 점은 감안해야 합니다. 그래도 방향은 분명합니다. 사흘이 아니라 3주였다고 해도, 수개월 걸리던 일과는 비교가 되지 않습니다.

커널을 AI가 쓴다는 증거는 따로 있다

투자자 설명회 자료만으로 판단할 일은 아닙니다. 다행히 같은 질문을 공개된 기준으로 측정한 연구가 올해 여러 편 나왔습니다. 이쪽을 보면 AI가 커널을 쓸 수 있느냐는 질문의 답이 어디까지 와 있는지 가늠할 수 있습니다.

측정의 기준이 되는 것은 KernelBench라는 평가셋입니다. 인기 있는 GitHub 저장소와 공식 PyTorch 연산자에서 추린 과제 250개로 되어 있고, PyTorch 코드를 받아 같은 결과를 내는 CUDA 커널을 만들게 합니다. 채점은 두 가지를 봅니다. 결과가 맞는지, 그리고 원래 PyTorch 구현보다 빠른지입니다. 결과만 맞고 느린 커널은 쓸모가 없으니, 둘을 함께 보는 것이 맞습니다.

성적은 아직 고르지 않습니다. 커널 생성에 맞춰 따로 학습시킨 모델 KernelCoder는 CUDA 커널에서 이 기준을 17% 통과했습니다. 반면 Kernel-Smith라는 사후학습 방식은 Triton 커널에서 가장 쉬운 단계의 과제를 70% 통과했습니다. Triton은 칩에 가까운 세부를 컴파일러에 맡기고 사람은 더 높은 수준에서 커널을 적게 해 주는 도구입니다. 다시 말해, 모델이 칩의 세부까지 직접 다루는 쪽은 아직 어렵고, 세부를 컴파일러가 받아 주면 꽤 잘합니다.

AMD 쪽을 겨냥한 측정도 생겼습니다. GEAK는 ROCm 커널 30개를 전문가가 검증해 평가셋으로 묶었습니다. 수가 적습니다. CUDA와 Triton에 비하면 ROCm 쪽 공개 측정값은 아직 얇고, 앤트로픽이 실제로 어느 수준의 ROCm 커널을 받았는지 바깥에서 확인할 방법은 없습니다.

같은 일이 엔비디아와 AMD 사이에서만 벌어지는 것도 아닙니다. 인텔 GPU를 겨냥한 Xe-Forge, 화웨이 NPU를 겨냥한 CANN Bench 같은 연구가 올해 함께 나왔습니다. 칩을 만드는 쪽마다 자기 칩용 커널을 AI에게 쓰게 하는 방법을 찾고 있다는 뜻입니다. 커널을 사람이 쓴다는 전제가 깨지면 가장 크게 득을 보는 쪽은 커널이 부족한 모든 칩입니다. 그래서 이 흐름은 어느 한 회사가 밀어붙이는 것이 아니라, 엔비디아를 뺀 모두가 각자의 이유로 밀고 있습니다.

더 조심해야 할 지적도 나왔습니다. 올해 발표된 「The Correctness Illusion in LLM-Generated GPU Kernels」는 이 평가셋들의 채점 방식 자체를 문제 삼았습니다. KernelBench, TritonBench, GEAK 모두 정해진 크기의 입력 몇 개를 넣어 결과가 원본과 비슷한지 비교하는 방식으로 정확성을 봅니다. 연구진이 AI가 만든 Triton 커널에 일부러 버그를 심어 보니, 상당수가 이 검사를 그대로 통과했습니다. 커널은 입력 크기가 바뀌거나 경계값이 들어올 때 틀리기 쉬운데, 그런 경우를 검사가 보지 않는다는 것입니다. AI가 커널을 빠르게 만들어 낸다는 말과 그 커널을 믿고 서비스에 올릴 수 있다는 말 사이에는 아직 거리가 있습니다.

커널은 AI가 먼저 잘하게 될 일이었다

AI가 여러 일 가운데 커널부터 잘하게 된 것은 우연이 아닙니다. 커널은 AI에게 유리한 조건을 거의 다 갖춘 일입니다.

첫째, 정답이 이미 있습니다. 커널이 해야 할 계산은 PyTorch 같은 프레임워크에 느리지만 확실한 구현으로 들어 있습니다. 새로 만든 커널에 같은 입력을 넣어 같은 숫자가 나오는지 맞춰 보면 맞았는지 바로 압니다. 사람이 읽고 판단할 필요가 없습니다.

둘째, 좋고 나쁨이 숫자로 나옵니다. 돌려 보고 시간을 재면 됩니다. 두 커널 가운데 어느 쪽이 나은지를 두고 의견이 갈릴 일이 없습니다.

셋째, 한 번 시도하는 데 드는 시간이 짧습니다. 커널을 고쳐 컴파일하고 돌려서 시간을 재는 데 몇 초에서 몇 분이 걸립니다. 모델은 이 과정을 수백 번 되풀이하면서 더 빠른 쪽으로 옮겨 갈 수 있습니다. 사람이 할 때 가장 비쌌던 것이 바로 이 되풀이였습니다. 전문가 한 사람이 하루에 시도할 수 있는 횟수에는 한계가 있고, 그 한계가 칩을 옮기는 데 걸리는 개월 수를 정했습니다.

이 세 조건이 모두 갖춰진 일은 많지 않습니다. 정답이 있고, 채점이 자동이고, 시도가 싼 일입니다. 수학 문제 풀이와 경쟁 프로그래밍에서 모델이 먼저 좋아진 것도 같은 이유였습니다. 커널은 그 조건을 갖춘 일 가운데 산업적으로 가장 값비싼 쪽이었고, 그래서 먼저 무너졌습니다.

그런데 바로 이 지점이 앞에서 본 약점과 맞물립니다. 자동으로 채점할 수 있다는 것이 AI를 빠르게 만들었지만, 채점이 허술하면 AI는 허술한 채점을 통과하는 쪽으로 똑같이 빠르게 갑니다. 버그를 심은 커널이 검사를 그대로 통과했다는 연구 결과가 그 이야기입니다. 그래서 AI가 커널을 쓰는 동안 사람이 할 일은 커널을 쓰는 것이 아니라, 그 커널이 맞는지 보는 기준을 짜는 쪽으로 옮겨 갑니다. 어떤 입력 크기까지 시험할지, 어떤 경계값을 넣어 볼지, 어느 정도 오차까지 같다고 볼지를 정하는 일입니다. 이 기준이 성능의 상한을 정합니다.

CUDA 락인은 유지되기 어렵다

이런 한계를 감안해도 방향은 바뀌지 않습니다. AI 에이전트가 칩별 커널을 며칠 만에 만들 수 있게 되면, 칩을 바꾸는 비용이 크게 줄어듭니다. 회사들은 가장 싸거나 가장 구하기 쉬운 칩을 고를 수 있게 되고, 필요하면 여러 칩을 섞어 쓸 수도 있습니다. 앤트로픽이 지금 하는 일을, 앞으로는 훨씬 작은 회사들도 하게 될 것입니다.

CUDA와 관련된 특허가 하나씩 만료되기 시작한다는 이야기도 나옵니다. 다만 이쪽은 근거가 뚜렷하지 않습니다. 엔비디아가 공시한 보유 특허의 만료일은 2030년대까지 걸쳐 있고, 회사는 개별 특허나 특허군의 만료가 영업에 중대한 영향을 줄 것으로 보지 않는다고 밝혀 왔습니다. 특허 하나가 풀린다고 CUDA를 그대로 만들 수 있는 것도 아닙니다.

사실 특허는 애초에 이 해자의 본체가 아니었습니다. CUDA를 지킨 것은 특허가 아니라 20년 가까이 쌓인 커널과, 그 커널을 쓸 수 있는 사람들과, 그 위에 올라간 프레임워크였습니다. 특허는 기한이 있지만 쌓인 코드는 기한이 없습니다. 그래서 더 중요한 변화는 특허 쪽이 아니라 커널 쪽에서 오고 있습니다. 소프트웨어로 쌓은 해자는 그 소프트웨어를 다시 쓰는 비용이 무너지면 함께 무너집니다. 앞으로 CUDA 락인은 유지되기 어려울 것입니다.

다만 칩을 옮기는 일이 커널만으로 끝나지는 않습니다. 수천 장의 칩을 묶어 학습을 돌리려면 칩끼리 데이터를 주고받는 통신 라이브러리가 필요하고, 그 라이브러리가 느리거나 불안정하면 커널이 아무리 좋아도 학습이 멈춥니다. 어디가 느린지 들여다보는 도구, 문제가 생겼을 때 원인을 찾는 도구도 칩마다 따로 있습니다. 앤트로픽이 사흘 만에 띄운 것도 서비스의 한 단계였습니다. 커널은 벽 가운데 가장 두꺼운 부분이었지만 벽 전체는 아닙니다. 커널이 뚫렸다는 말과 벽이 사라졌다는 말을 같게 읽으면 전환 비용을 너무 낮게 보게 됩니다.

이 변화를 가장 분명하게 보여 주는 것은 AMD가 돈을 쓰는 방식입니다. AMD는 앤트로픽과 다년간 공동 엔지니어링 계약을 맺으면서, Claude를 써서 AMD 자신의 소프트웨어 개발을 빠르게 하겠다고 밝혔습니다. 소프트웨어 격차를 사람을 더 뽑아서 메우는 것이 아니라 AI로 메우겠다는 선택입니다. 격차를 쫓아가는 쪽이 이 방법을 쓰기 시작하면, 격차를 벌려 온 쪽의 시간은 줄어듭니다.

그래도 엔비디아의 하드웨어는 강하다

그렇다고 엔비디아의 경쟁력이 사라지는 것은 아닙니다. 엔비디아의 강점은 CUDA만이 아닙니다. CUDA를 걷어 내도 하드웨어 자체가 매우 잘 만든 물건입니다.

비싸다고 알려진 B300이 좋은 예입니다. GPU 한 장에 메모리 288기가바이트, 메모리 대역폭 초당 8테라바이트, 낮은 정밀도 연산으로 초당 1경 5천조 번의 계산 능력을 담고 있습니다. 가격표만 보면 비싸지만, 실제로 큰 모델을 서비스해 보면 가성비가 좋은 장비입니다.

다만 B300을 고르는 이유를 메모리 용량에서 찾으면 틀립니다. AMD의 MI355X도 같은 288기가바이트를 담고 있습니다. 1조 파라미터가 넘는 모델은 정밀도를 낮게 적어도 수백 기가바이트를 차지하니, 어느 쪽이든 칩 한 장에는 올라가지 않습니다. 실제 차이는 여러 장을 한 대처럼 묶는 방식에 있습니다. 엔비디아의 GB300 NVL72는 GPU 72장과 CPU 36개를 한 랙에 넣고 초당 130테라바이트로 연결해서, GPU 메모리 20테라바이트를 하나의 메모리처럼 쓰게 합니다. 모델을 여러 칩에 쪼개 올려도 칩과 칩 사이에서 성능이 깎이지 않는다는 뜻입니다.

칩을 여러 장 쓰면 모델도 여러 장에 나눠 올라갑니다. 그러면 토큰 하나를 만들 때마다 계산이 칩 경계를 몇 번씩 넘어갑니다. 넘어갈 때마다 기다리는 시간이 생기고, 그 시간은 계산이 아니라 연결 속도가 정합니다. 칩을 몇 장 쓰느냐보다 그 칩들이 서로 얼마나 빨리 이야기하느냐가 서비스 속도를 정하는 것입니다. 랙 하나를 한 대처럼 묶는다는 말은 이 기다리는 시간을 랙 안에서는 거의 없는 것으로 만든다는 뜻입니다.

이것이 큰 모델을 서비스할 때 B300이 유리한 진짜 이유입니다. 모델마다 다르지만 1조 파라미터를 넘는 모델에서는 사실상 대안이 없고, 6천억 파라미터급에서도 이쪽을 쓰는 편이 구축하기 쉽고 값도 쌉니다. 같은 서비스를 여러 대의 NPU로 구성하면, 칩 한 장의 값은 싸더라도 더 많은 장비와 더 복잡한 구성이 필요해서 전체 도입 비용은 오히려 비싸질 가능성이 높습니다. 칩 한 장의 성능표만 비교해서는 이 차이가 보이지 않습니다.

랙 단위로 파는 방식에는 다른 효과도 있습니다. B300 한 장이 쓰는 전력은 1.4킬로와트 수준입니다. 72장을 한 랙에 넣으면 랙 하나가 쓰는 전력이 100킬로와트를 넘고, 공기로는 식힐 수 없어 물로 식혀야 합니다. 전력과 배관과 바닥 하중까지 맞춰야 하니, 고객은 칩을 사는 것이 아니라 랙과 그 랙이 들어갈 조건을 함께 사게 됩니다. 칩만 잘 만들어서는 이 거래에 들어가지 못합니다. 칩을 설계하는 회사가 늘어도 랙을 통째로 내놓을 수 있는 회사는 많지 않은 이유입니다.

그래서 CUDA 락인이 약해져도, 큰 모델을 서비스하는 데는 당분간 엔비디아 B300이 가장 현실적인 선택으로 남을 것입니다. 바뀌는 것은 엔비디아를 고르는 이유입니다. 지금까지는 떠날 수 없어서 엔비디아를 썼다면, 앞으로는 그것이 가장 나아서 쓰게 됩니다. 고객을 붙잡던 끈은 풀리고, 남는 것은 제품의 실력입니다.

이 차이는 숫자로도 드러납니다. 앤트로픽의 증권신고서를 분석한 자료를 보면, 엔비디아 GPU와 연결된 명시 계약이 2,540억 달러에 이르고 그중 1,554억 달러는 2027년 초까지 짧은 통보로 해지할 수 있습니다. 계약은 크지만 묶여 있지는 않습니다. 사겠다는 약속과 떠날 수 없다는 사정은 다른 것입니다.

가장 큰 수혜자는 AMD

이 변화로 가장 크게 득을 볼 회사는 AMD일 가능성이 높습니다. AMD는 그동안 하드웨어로는 엔비디아에 크게 밀리지 않으면서도 소프트웨어, 곧 ROCm 위의 커널이 부족해서 손해를 봐 왔습니다. 그 커널을 AI가 며칠 만에 만들어 준다면, 이제 승부는 하드웨어 자체에서 납니다.

하드웨어만 놓고 보면 AMD는 이미 따라붙었습니다. 지금 출하되는 MI355X는 B300과 같은 288기가바이트를 담고 있습니다. 내년에 들어갈 MI455X는 한 장에 메모리 432기가바이트, 대역폭 초당 19.6테라바이트로 올라갑니다. 이 칩 72장을 넣은 Helios 랙은 엔비디아 NVL72와 같은 72장 구성을 쓰면서 메모리 31테라바이트를 담습니다. 20테라바이트인 NVL72보다 많습니다. 앞 절에서 엔비디아의 강점으로 꼽은 랙 단위 구성을 AMD도 같은 방식으로 내놓은 것입니다. 다만 이 수치들은 AMD가 자사 기준으로 계산해 발표한 것이고, Helios는 아직 널리 출하되지 않았습니다. 실제 성능은 물건이 돌아간 뒤에 봐야 합니다.

또 하나, AMD에는 다른 NPU 업체들에게 없는 것이 있습니다. 자금력입니다. 칩을 잘 설계하는 것과 그 칩을 대량으로 찍어 내는 것은 다른 문제입니다. 신생 NPU 업체들은 좋은 칩을 만들어도 생산 능력을 늘릴 돈이 부족한 경우가 많지만, AMD는 지금보다 생산을 크게 늘릴 수 있습니다. 실제로 앤트로픽은 2027년 상반기부터 AMD의 MI450 계열 GPU를 최대 2기가와트 규모로 들일 계획이고, AMD는 그 대가로 앤트로픽에 최대 50억 달러를 투자하기로 했습니다. 사흘 만의 이식이 일회성 실험이 아니라 대규모 구매로 이어지고 있다는 뜻입니다.

눈여겨볼 것은 돈이 흐르는 방향입니다. 앤트로픽의 공모 배정에서 엔비디아와 구글이 각각 약 100억 달러, AMD가 약 25억 달러어치 주식을 사들입니다. AMD의 25억 달러는 앞서 약속한 50억 달러 투자에 포함되는 금액입니다. 칩을 파는 회사가 칩을 사는 회사의 주주가 되는 구조입니다. 칩 회사에게 이 돈은 매출을 만들어 주는 투자이고, 모델 회사에게는 칩을 확보하는 수단입니다. 어느 칩을 쓸지가 기술만으로 정해지지 않는다는 뜻도 됩니다. 커널을 AI가 쓰게 되어 기술적 전환 비용이 내려가면, 남는 변수는 이렇게 얽힌 돈과 공급 약속입니다.

그렇다고 판세가 이미 뒤집힌 것은 아닙니다. 애널리스트들이 추정한 앤트로픽의 계약 컴퓨트 분포를 보면, 전체 11기가와트 가운데 엔비디아가 약 4.7기가와트, 구글 TPU가 약 4.5기가와트, Trainium이 약 1.2기가와트이고 AMD는 약 0.8기가와트입니다. 공식 수치는 아니지만 대략의 비중은 보여 줍니다. AMD가 받은 것은 아직 작은 몫이고, 2기가와트 계획도 확정 주문이 아니라 살 수 있다는 약속에 가깝습니다. 지금 달라진 것은 점유율이 아니라, 점유율이 바뀔 수 있는 조건입니다.

AI가 AI의 가중치를 고친다

같은 시기에 나온 또 하나의 연구는 비용의 다른 쪽을 건드립니다. 지금까지 모델을 더 좋게 만드는 방법은 사실상 하나였습니다. 데이터를 모으고, GPU를 빌리고, 다시 학습시키는 것입니다. 이 과정은 오래 걸리고 비쌉니다.

MIT CSAIL 연구진이 11월 2일 공개한 Weight-Space Programming은 다른 길을 보여 줍니다. 리키야 다케히, 제이든 테오, 알렉스 장, 오마르 카탑 네 사람이 쓴 글입니다. 연구진은 큰 AI 모델에게 다른 신경망의 가중치를 직접 읽게 했습니다. 그리고 그 숫자들이 무엇을 뜻하는지 해석하고, 고칠 곳을 찾아 직접 고치게 했습니다. 다시 학습시키는 과정은 쓰지 않았습니다.

결과는 놀라웠습니다. 큰 모델은 가중치 1만 7천여 개만 보고, 그 신경망이 어떤 게임을 학습했는지 맞혔습니다. 벽돌깨기라고 답했고 확신도는 99%였습니다. 작동하지 않던 제어용 신경망은 가중치의 3.5%를 한 번에 고쳐 성공률을 0%에서 100%로 끌어올렸습니다.

가장 눈에 띄는 것은 작은 언어모델 실험입니다. 큰 모델이 Qwen3.5-0.8B라는 작은 모델의 가중치 13만 1,072개를 고쳤습니다. 전체의 0.016%입니다. 그러자 수학 시험 점수가 7.9%에서 48.1%로 뛰었습니다. 초등 수준 문장형 수학 문제에서는 13.8%에서 67.1%로, 지시를 그대로 따르는지 보는 시험에서는 21.0%에서 62.3%로 올랐습니다. 연구진에 따르면 큰 모델은 이 작은 모델이 추론하면서 같은 자리를 맴도는 문제의 원인을 가중치에서 찾아 고쳤고, 그 결과 수학 점수만이 아니라 지시를 따르는 능력까지 함께 좋아졌습니다.

이 방식이 왜 중요한지는 비용을 견줘 보면 드러납니다. 작은 모델의 수학 실력을 올리려면 보통은 수학 풀이 데이터를 모아서 다시 학습시킵니다. 데이터를 만들고 GPU를 돌리고 결과를 확인하는 과정이 들어가고, 고객이 열 곳이면 그 과정을 열 번 되풀이해야 합니다. 가중치를 직접 고치는 방식이 성립한다면 같은 일이 큰 모델 한 번의 작업으로 끝납니다. 고객마다 다른 모델을 만들어 주는 값이 학습 비용에서 추론 비용으로 내려가는 것입니다. 연구진이 보여 준 것은 그 가능성이고, 아직 가능성에 그칩니다.

아직은 불꽃 단계다

물론 아직 초기 연구입니다. 연구진도 글 제목에 불꽃이라는 말을 붙였습니다. 심사를 거친 논문이 아니라 연구진이 공개한 블로그 글이고, 지금까지 확인된 것은 작은 신경망, 그리고 결함이 한 군데에 몰려 있는 경우입니다. 수천억 개의 가중치를 가진 큰 모델에서도 같은 일이 될지는 아무도 모릅니다.

반박도 나왔습니다. 자연어 처리 라이브러리 spaCy를 만든 매슈 호니벌은 발표 다음 날, 이 글이 서로 다른 방법을 한 이름으로 묶었다고 지적했습니다. 도구 없이 가중치만 읽어서 고친 것은 가중치가 1만 7천 개에서 17만 개 규모인 작은 신경망 실험들이고, 가장 화제가 된 Qwen 실험은 그 방식이 아니라는 것입니다. 그쪽에서는 큰 모델이 파이썬으로 가중치를 분석하고, 작은 모델을 여러 번 돌려 보면서 결과를 확인한 끝에 고칠 곳을 찾았습니다. 가중치를 직접 읽고 쓴다는 표현은 과장일 수 있다는 지적입니다.

점수를 읽는 방식에도 문제가 있었습니다. 원본 Qwen 모델은 수학 문제를 풀 때 답변의 93.0%가 토큰 한도에 걸려서 끝을 맺지 못했습니다. 계산을 못 한 것이 아니라 답을 내놓기 전에 말이 끊긴 것입니다. 가중치를 고친 뒤에는 이 비율이 33.1%로 내려갔습니다. 7.9%라는 낮은 출발점은 실력이 아니라 이 끊김에서 나온 숫자였습니다. 같은 모델에서 길게 생각하는 기능만 끄고 다시 재면 49.45%가 나오는데, 가중치를 고친 모델의 48.1%보다 오히려 높습니다. 허깅페이스의 한 연구자가 체크포인트를 다시 만들어 재현했을 때는 51.0%가 나왔습니다. 여섯 배로 늘었다는 수치는 고친 쪽의 실력이 아니라 고치기 전의 측정 방식에서 상당 부분 온 것입니다.

적용 범위도 좁았습니다. 구글의 Gemma 3 270M에는 같은 방법이 수학에서 듣지 않았습니다. 연구진도 가중치 편집이 이미 있는 능력을 드러낼 수는 있어도 없는 능력을 만들지는 못한다고 적었습니다. 이것은 작은 유보가 아닙니다. 학습을 대신한다는 말과, 학습으로 들어가 있던 능력을 꺼내 준다는 말은 할 수 있는 일의 크기가 다릅니다.

그러면 무엇이 확인되면 이 길이 열렸다고 말할 수 있을까요? 세 가지가 필요합니다. 먼저 가중치가 수백억 개를 넘는 모델에서도 같은 방식이 되어야 합니다. 1만 개와 13만 개는 큰 모델에게 한 번에 보여 줄 수 있는 양이지만, 수백억 개는 그렇지 않습니다. 다음으로 결함이 한 군데에 몰려 있지 않은 경우, 곧 여러 곳을 동시에 고쳐야 하는 경우에도 되어야 합니다. 마지막으로 연구진이 아닌 다른 사람이 같은 절차로 같은 결과를 내야 합니다. 지금은 세 가지 모두 비어 있습니다.

그래도 남는 것이 있습니다. 호니벌 자신도 이 연구를 일축하지는 않았습니다. 1~2년 전의 모델은 이런 기계학습 작업을 혼자 해내지 못했다고 인정했습니다. 사람이 하던 분석과 실험을 AI가 스스로 짜고 돌려서, 학습 없이 모델을 고쳤다는 사실은 그대로입니다. 커널 이야기와 마찬가지로, 중요한 것은 AI가 어떤 방법을 썼느냐보다 그 일에 드는 비용이 얼마나 줄었느냐입니다. 사람이 며칠 붙어서 할 분석을 모델이 알아서 하면, 모델 하나를 손보는 값이 내려갑니다.

두 소식이 가리키는 곳

두 소식을 나란히 놓으면 흐름이 보입니다. 첫 번째 소식은 모델을 돌리는 칩을 바꾸는 비용이 무너지고 있다는 것입니다. 두 번째 소식은 모델 자체를 고치는 비용도 무너지기 시작했다는 것입니다. 지금까지 AI 경쟁의 중심에는 누가 더 큰 모델을 만들고, 누가 더 좋은 구조를 설계하느냐가 있었습니다. 그 일에는 막대한 돈과 GPU가 필요했고, 그래서 소수의 회사만 할 수 있었습니다.

그런데 칩을 옮기는 일과 모델을 고치는 일이 싸지면, 경쟁의 무게가 다른 곳으로 옮겨 갑니다. 이미 있는 좋은 모델을 가져와서, 각 고객과 각 서비스에 맞게 얼마나 잘 다듬느냐입니다. 지난 컬럼 『모델 양자화 — 전구 하나로 생각하는 법』에서 다룬 양자화도 그 다듬는 일 가운데 하나입니다. 어떤 고객은 정확도가 가장 중요하고, 어떤 고객은 속도가, 어떤 고객은 자기 서버 한 대에 올라가는 것이 가장 중요합니다. 같은 모델이라도 고객마다 다르게 줄이고, 다르게 고치고, 그 고객이 가진 칩에 맞게 돌려야 합니다.

그 컬럼에서 확인한 것 가운데 하나는 줄인 모델이 모든 일에서 똑같이 나빠지지는 않는다는 점이었습니다. 답이 하나로 정해진 수학이나 코드는 숫자를 거칠게 적어도 오래 버텼고, 자연스러운 글이나 정확한 형식이 필요한 일은 먼저 흔들렸습니다. 언어에 따라서도 달랐습니다. 캐나다 AI 기업 코히어의 켈리 마르키시오 연구팀이 23개 언어를 조사했을 때 라틴 문자를 쓰지 않는 언어가 더 크게 손상됐고, 일본어의 경우 자동 채점으로는 2%도 떨어지지 않았는데 사람이 실제로 질문을 던지고 답을 읽어 평가하자 16% 떨어졌습니다. 한국어도 라틴 문자를 쓰지 않습니다. 영어 점수표를 보고 고른 모델이 한국어 업무에서도 같은 품질을 낸다고 기대하기는 어렵습니다.

이것이 맞춤이라는 말의 실제 내용입니다. 무엇을 버려도 되는지 정하려면 그 고객이 모델에게 맡길 일이 어떤 일인지 알아야 하고, 그 판단은 점수표가 해 주지 않습니다.

이 일은 모델을 새로 만드는 일과 성격이 다릅니다. 모델을 만드는 일은 큰 자본과 많은 GPU가 있는 쪽이 이깁니다. 모델을 고객에 맞추는 일은 그 고객의 업무를 아는 쪽이 이깁니다. 어떤 답이 틀린 답인지, 어느 속도까지 느려도 괜찮은지, 어떤 데이터가 밖으로 나가면 안 되는지를 아는 것은 현장에 있는 사람입니다. 커널을 AI가 쓰고 가중치를 AI가 고치는 만큼, 무엇을 고칠지 정하는 자리가 더 중요해집니다.

이 변화는 한국 기업에게 나쁘지 않은 조건입니다. 가장 큰 모델을 처음부터 만드는 경쟁에서는 자본의 크기가 결과를 거의 정합니다. 반면 고객의 업무를 알아내고 그에 맞는 모델을 맞춰 주는 일은 고객 옆에 있는 쪽이 유리합니다. 공장과 병원과 관공서의 일을 아는 사람, 한국어로 들어오는 질문이 어떻게 생겼는지 아는 사람이 유리한 자리에 섭니다. 지금까지 이 자리의 약점은 모델을 손보는 데 드는 비용이 너무 커서 작은 조직이 감당하기 어려웠다는 점이었습니다. 그 비용이 내려가면 약점이 줄어듭니다.

다만 조건이 하나 붙습니다. 모델을 고객에 맞추는 일에서 어려운 쪽은 손을 대는 기술이 아니라 잘됐는지 판별하는 기준입니다. 커널에서 채점이 성능의 상한을 정했던 것과 같습니다. 고객의 일을 제대로 채점할 수 있는 기준을 만들어 두는 쪽이 모델을 고치는 쪽을 이깁니다. 모델을 고치는 일은 점점 싸지고, 무엇이 좋은 결과인지 정하는 일은 싸지지 않습니다.

두 소식의 확인 수준이 다르다는 점은 분명히 해 둘 필요가 있습니다. 커널 쪽은 투자자 자료의 사흘이라는 숫자는 검증되지 않았지만, 공개된 평가셋에서 모델이 쓸 만한 커널을 만든다는 것은 여러 연구가 따로 측정했습니다. 가중치 쪽은 아직 글 한 편과 그에 대한 반박이 전부입니다. 앞쪽은 속도가 쟁점이고, 뒤쪽은 성립 여부가 쟁점입니다.

앞으로 몇 분기 동안 지켜볼 것은 세 가지입니다. 첫째, ROCm 커널의 공개된 성적이 CUDA 쪽에 얼마나 가까워지는지입니다. 지금은 비교할 자료 자체가 얇습니다. 둘째, 2027년 상반기부터 들어가기로 한 AMD 1기가와트가 실제로 가동되는지입니다. 계약은 발표됐지만 확정 주문은 아닙니다. 셋째, 가중치를 직접 고치는 방식이 작은 신경망 밖으로 나오는지입니다. 세 가지가 모두 확인되면 흐름은 빨라지고, 하나라도 멈추면 그만큼 늦어집니다.

뇌의 시냅스는 뉴런을 다시 설계하지 못합니다. AI는 이제 그 일을 하기 시작했습니다. 가중치로 이루어진 모델이 자기를 돌리는 연산자를 직접 디자인하고, 다른 모델의 가중치를 직접 고칩니다. 모델을 처음부터 만드는 일보다 이미 있는 모델을 고쳐 쓰는 일이 훨씬 싸지는 것입니다. 이제는 모델을 얼마나 잘 만들고 아키텍처를 얼마나 잘 고치느냐보다, 각 고객이나 서비스에 맞춘 모델을 맞춤 양자화하고 튜닝하는 쪽으로 흐름이 바뀌고 있습니다.

참고 자료