CUDA 독점 시대의 황혼

CUDA 독점의 본질

엔비디아가 가장 잘한 일은 CUDA를 만든 것이다. 그저 그래픽 카드로 사용 중이던 것을 연산으로 사용하기 쉽게 개발 라이브러리로 제공해주기 시작한 게 CUDA다. 엔비디아가 아키텍처도 잘 만들고 성능도 높이는 기술도 상당한 것은 맞지만, CUDA라는 개발 생태계의 벽으로 보호되고 있어 더 훌륭한 하드웨어가 나온다 하더라도 이 벽 때문에 경쟁을 할 수 없다.

많은 딥러닝 모델을 학습하고 추론하는 프로그램이 CUDA로 되어있고 아무리 좋은 하드웨어가 나온다 하더라도 이 방대한 소스들, 특히 오픈소스를 다 바꿀 것은 불가능하기에 많은 어려움이 있다. 하지만 이러한 CUDA의 벽이 허물어지고 있다. 그들이 만들어놓은 CUDA를 그 벽의 유통기한이 넘어가면서 허물어지기 시작하고 있다.

과거와 지금도 CUDA의 생태계에 저항하여 어느 정도의 성취를 이룬 것은 구글의 TPU밖에 없었다. NPU라는 명목으로 딥러닝에 특화된 프로세서 유닛으로 하드웨어의 성능으로 이를 커버했다기보다는 개발자 생태계의 땅을 구글은 어느 정도 자기 것으로 만들어가고 있다. 그 전략은 파이썬으로 가장 많이 사용하는 PyTorch를 개발자 생태계에 확대시키는 것이었으며, PyTorch로 만들기만 하면 TPU로 전환하는 방법을 제공해주었기에 구글은 딥러닝의 땅 어느 정도 뺏어왔었다. 하지만 이 정도의 규모로는 엔비디아의 규모에 비해 턱없이 작은 수치다.

특허라는 방패막의 균열

구글도 이럴진대 다른 회사들은 어떻게 해볼 도리가 없었던 것도 사실이다. 그러니 아무리 엔비디아가 많은 GPU를 생산해내더라도 전 세계의 수요를 다 충족시키기에는 매우 역부족이었다. 엔비디아야말로 갑 위에 있는 슈퍼 갑인 셈이다.

다른 회사는 기술이 없어서 CUDA를 못 만드는 게 아니다. CUDA를 만들고 배포할 수 있는 것은 엔비디아만 가능해서다. 첫 CUDA 특허가 나온 것은 2006년이며 CUDA의 주요 특허들이 2012년 정도까지 주류를 이루었다고 나는 보고 있다. 이후의 특허들은 최적화 및 확장성에 대한 것들이 많았다.

즉, 2026년부터 특허가 풀리기 시작할 것이고 특히 2028년부터 2032년까지 풀리는 CUDA 특허들이 매우 중요한 기술들이어서 이후에는 엔비디아의 독주가 불가능해질 것으로 생각된다. 이는 CUDA 소프트웨어의 가장 기본적인 개념들이 곧 공개 도메인으로 전환됨을 의미한다.

CUDA가 공개 도메인으로 전환이 되면 80년대 IBM 아키텍처 오픈으로 PC 시장을 열었듯이 많은 하드웨어 회사들이 CUDA 호환된 아키텍처를 세상에 내놓을 것이다. 당장의 성능이야 엔비디아가 높을 수 있지만 가성비 좋게 만드는 것은 다른 회사가 될 가능성이 높아질 것이다.

소프트웨어 호환 레이어가 가져올 혁명

여기서 가장 중요한 변화는 하드웨어가 아닌 소프트웨어에서 일어날 것이다. CUDA 특허가 만료되면 CUDA 라이브러리를 다른 GPU에서도 호환 가능하게 만들어서 붙일 수 있게 된다. CUDA의 핵심은 결국 연산자다. 이 연산자를 동일하게 구현해주면 기존 소프트웨어에서 코드 수정 없이 사용 가능하다.

이미 이를 가능하게 할 기술적 토대는 마련되어 있다. LLVM은 다양한 하드웨어 아키텍처에 대한 중간 표현(Intermediate Representation)을 제공하여 크로스 플랫폼 컴파일을 가능하게 하고 있으며, Wine과 Proton은 Windows 애플리케이션을 Mac이나 Linux에서 실행 가능하게 만드는 호환 레이어의 성공 사례로서 API 레벨에서의 완벽한 호환성을 구현하여 소스 코드 수정 없이 다른 플랫폼에서 실행을 가능하게 했다.

CUDA도 마찬가지다. 특허가 풀리면 CUDA Runtime API, Driver API, cuBLAS, cuDNN 같은 핵심 라이브러리들을 합법적으로 재구현할 수 있다. AMD의 HIP가 이미 시도하고 있지만 특허 문제로 완전한 호환성을 제공하지 못했던 부분들이 해결된다. 많은 제조사의 컴파일러가 CUDA 코드를 직접 컴파일할 수 있게 될 것이다.

가장 중요한 것은 이러한 호환 레이어가 오픈소스로 개발될 가능성이다. 리눅스 커뮤니티가 Wine을 발전시켰듯이, GPU 컴퓨팅 커뮤니티가 오픈소스 CUDA 호환 레이어를 만들어낼 것이다. 이미 ZLUDA 같은 프로젝트가 시도되고 있지만, 특허 문제로 제한적이었던 것이 완전히 열리게 된다.

기존 코드베이스의 해방

현재 GitHub에는 수십만 개의 CUDA 기반 프로젝트가 있다. PyTorch, TensorFlow의 백엔드, 수많은 과학 컴퓨팅 라이브러리, AI 모델들이 모두 CUDA로 작성되어 있다. 이들을 다른 플랫폼으로 포팅하는 것은 사실상 불가능했다. 코드를 다시 작성하는 비용도 비용이지만, 검증된 코드를 바꾸는 위험을 감수할 이유가 없었다.

하지만 CUDA 호환 레이어가 생기면 이야기가 달라진다. 기존의 모든 CUDA 코드가 그대로 AMD GPU에서, Intel GPU에서, 심지어 중국산 GPU에서도 실행될 수 있다. 소스 코드 한 줄 바꾸지 않고도 하드웨어를 교체할 수 있게 되는 것이다.

이는 단순히 새로운 프로젝트뿐만 아니라 레거시 시스템에도 적용된다. 수년간 축적된 CUDA 기반 인프라를 유지하면서도 하드웨어 선택의 자유를 갖게 된다. 기업들은 더 이상 엔비디아에 종속되지 않고도 기존 투자를 보호할 수 있다.

이러한 호환성을 실현할 핵심 기술인 LLVM 기반의 컴파일러 인프라는 이미 성숙했다. LLVM은 서로 다른 하드웨어 간의 코드 변환을 자동으로 처리해주는 기술로, CUDA를 LLVM IR로 변환하고, 이를 각 벤더의 백엔드로 컴파일하는 툴체인이 완성될 것이다. 마치 Java가 JVM을 통해 “Write Once, Run Anywhere”를 실현했듯이, CUDA 코드도 “Write Once, Run on Any GPU”가 가능해질 것으로 보인다.

뿐만 아니라 LLVM을 거치지 않고 직접적인 CUDA 라이브러리 구현도 가능해진다. 각 GPU 제조사가 자사 하드웨어에 최적화된 네이티브 CUDA Runtime과 Driver API를 직접 구현할 수 있게 되는 것이다. 이는 변환 과정 없이 CUDA 바이너리를 직접 실행할 수 있어 성능 손실을 최소화할 수 있는 장점이 있다.

IDC 시장의 지각변동

나는 최근에 많은 회사들이 더더욱 IDC에 관심을 가지고 IDC에 들어가는 하드웨어의 직접 개발에 더 많은 시선이 몰리는 것이 전 세계의 니즈를 받기 위한 것에 있기도 하지만 위에서 언급한 CUDA의 특허 만료와도 연관성이 깊다고 생각한다.

분명한 것은 우리가 사용해야 될 연산량은 지금보다 수십 배 수백 배 이상을 필요로 할 것인데 지금도 허덕이는 엔비디아가 그것을 다 충족시킬 수 없다고 생각하며 절묘하게 설계된 특허 만료 기간을 뚫고서 이런 니즈를 밸류로 산출시키려는 회사들이 상당히 많아질 것이 다분하다.

클라우드 서비스 제공자들은 이미 준비하고 있다. AWS의 Inferentia, Google의 TPU, Microsoft와 AMD의 협력 등 모두가 CUDA 이후를 대비하고 있다. 특허가 만료되면 이들은 즉시 CUDA 호환 레이어를 자체 하드웨어에 통합할 것이다. 고객들은 코드 변경 없이 더 저렴한 인스턴스로 마이그레이션할 수 있게 된다.

데이터센터 운영자 입장에서 이는 게임 체인저다. 전력 효율이 좋은 하드웨어, 가격이 저렴한 하드웨어를 선택할 수 있으면서도 기존 소프트웨어 스택을 그대로 유지할 수 있다. TCO가 극적으로 개선될 것이다.

가격 파괴와 시장 재편

CUDA 호환 레이어가 보편화되면 GPU 시장은 순수한 하드웨어 성능과 가격 경쟁으로 돌입한다. 소프트웨어 종속성이라는 해자가 사라지면, 엔비디아는 순수한 하드웨어 경쟁력으로만 승부해야 한다.

현재 H100이 4만 달러 이상에 거래되는 이유는 성능 때문만이 아니다. CUDA 생태계에 대한 독점 프리미엄이 포함되어 있다. AMD MI300X가 1만-1만5천 달러에 판매되면서도 시장 점유율이 미미한 이유는 CUDA 호환성 부재 때문이다. 하지만 완벽한 CUDA 호환 레이어가 있다면 가격 차이만큼의 수요 이동이 즉시 일어날 것이다.

중국 기업들도 기회를 잡을 것이다. 무어스레드, 비렌 테크놀로지 같은 회사들이 CUDA 호환 GPU를 절반 가격에 제공한다면, 엔비디아가 독점하고 있던 학습 시장에서도 가격 경쟁력을 가질 수 있다. 특히 중국 내수 시장에서는 국산화 정책과 맞물려 폭발적인 성장이 가능하다.

가격 경쟁은 혁신을 가속화할 것이다. 엔비디아도 가격을 낮추거나 성능을 획기적으로 높여야 하고, 경쟁사들은 특화된 아키텍처로 틈새시장을 공략할 것이며, 소비자는 다양한 선택지와 낮은 가격의 혜택을 누리게 된다.

오픈소스 생태계의 폭발

CUDA 호환 레이어의 오픈소스화는 또 다른 혁신을 촉발할 것이다. Linux가 Unix를 대체했듯이, 오픈소스 CUDA 구현체가 독점 CUDA를 위협할 수 있다.

이미 Mesa 3D가 OpenGL과 Vulkan의 오픈소스 구현으로 성공한 선례가 있다. CUDA도 비슷한 경로를 따를 것이다. 초기에는 성능이 떨어지겠지만, 커뮤니티의 기여로 빠르게 개선될 것이다. 특히 특정 워크로드에 최적화된 구현체들이 나타날 것이다.

개발자들은 CUDA의 제약에서 벗어나 새로운 기능을 추가할 수 있다. 디버깅 도구, 프로파일링 도구, 최적화 도구들이 오픈소스로 개발될 것이며, CUDA가 제공하지 않는 기능들도 커뮤니티가 만들어낼 것이다.

학계와 연구소들도 적극 참여할 것이다. 그동안 CUDA의 블랙박스였던 부분들을 연구하고 개선할 수 있게 된다. 새로운 병렬 처리 패러다임, 더 효율적인 메모리 관리 기법들이 나올 것이다.

포스트 CUDA 시대

특허 만료 이후의 시나리오를 이렇게 본다. 2026-2028년 초기 단계에는 초기 특허들이 만료되면서 첫 번째 CUDA 호환 레이어들이 등장한다. 아직 불완전하지만 특정 워크로드에서는 작동한다. 얼리어답터들이 비용 절감을 위해 시도한다. 2028-2030년 성숙 단계에는 핵심 특허들이 대거 만료되면서 완성도 높은 호환 레이어가 나온다. 주요 클라우드 서비스 제공자들이 자체 하드웨어에 통합한다. 가격 경쟁이 본격화되고 엔비디아의 마진이 압박받는다. 2030-2032년 표준화 단계에는 CUDA 호환이 업계 표준이 된다. 모든 GPU가 CUDA를 지원하게 되고, 선택 기준은 순수한 성능과 가격이 된다. 엔비디아는 여전히 기술 리더지만, 시장 점유율은 50-60%로 하락한다. 2032년 이후에는 CUDA를 넘어서는 새로운 병렬 처리 표준들이 등장한다. 하지만 CUDA 호환성은 레거시 지원을 위해 계속 유지된다.

이러한 변화의 물결 속에서 지금도 어딘가에서 묵묵히 개발하고 있는 개발자들이 있을 것이고 이를 팔기 위한 비즈니스맨들이 있을 것이다. 지금은 매우 작고 보잘것없는 회사가 지금의 어떤 빅테크 기업보다도 훨씬 크고 멋진 회사로 나올 수 있는 기회가 다시 한번 열리고 있다.

스타트업들에게는 절호의 기회다. CUDA 호환 레이어를 전문으로 하는 회사, 특정 워크로드에 최적화된 GPU를 만드는 회사, 하이브리드 클라우드 솔루션을 제공하는 회사들이 등장할 것이다. 엔비디아가 모든 시장을 커버할 수 없기에 틈새시장은 무궁무진하다. 특히 엣지 컴퓨팅, 모바일 AI, 자동차용 AI 칩 시장에서 새로운 플레이어들이 등장할 것이다. CUDA 호환성을 제공하면서도 전력 효율이나 폼팩터에서 차별화된 제품들이 나올 것이다. 소프트웨어 도구 시장도 열린다. CUDA 코드를 분석하고 최적화하는 도구, 다중 GPU 벤더를 지원하는 관리 도구, 성능 벤치마킹 도구 등 새로운 B2B 소프트웨어 시장이 형성될 것이다.

CUDA 특허 만료는 단순한 법적 이벤트가 아니다. 이는 GPU 컴퓨팅 역사상 가장 중요한 전환점이 될 것이다. 하드웨어 혁신이 소프트웨어 종속성에서 해방되는 순간이다. 핵심은 호환 레이어다. Wine이 Linux에서 Windows 앱을 실행 가능하게 했듯이, CUDA 호환 레이어가 모든 GPU에서 CUDA 코드를 실행 가능하게 할 것이다. 이는 기술적으로 이미 검증된 접근법이고, 특허만이 걸림돌이었다.

엔비디아의 벽은 무너질 것이다. 하지만 이는 엔비디아의 몰락을 의미하지 않는다. 오히려 시장 전체가 커지면서 모두가 성장할 수 있다. 경쟁은 혁신을 촉진하고, 가격은 하락하며, 선택지는 다양해진다. 우리는 GPU 컴퓨팅의 민주화를 목격하게 될 것이다. 소수 기업의 독점에서 벗어나 누구나 참여할 수 있는 오픈 생태계로 전환된다. 이것이 진정한 기술 발전의 모습이다.

특허 만료까지 남은 시간은 준비 기간이다. 하드웨어 회사들은 CUDA 호환 GPU를 준비하고, 소프트웨어 회사들은 호환 레이어를 개발하며, 사용자들은 멀티벤더 전략을 수립해야 한다. 변화는 이미 시작되었고, 2026년은 그 변화가 가시화되는 원년이 될 것이다.

P.S. 한국 기업들의 IDC 진출 러시

한국에서도 이러한 변화의 조짐이 보인다. 최근 쿠팡이 IDC 사업 진출을 선언했고, 네이버, 카카오를 넘어 대기업들까지 IDC 투자에 뛰어들고 있다. 표면적으로는 AI 시대의 컴퓨팅 수요 증가에 대응하는 것처럼 보이지만, 나는 이것이 CUDA 특허 만료와 깊은 연관이 있다고 본다.

지금까지 한국 기업들이 IDC를 구축해도 결국 엔비디아 GPU를 비싼 값에 사야 했다. 하드웨어 인프라를 아무리 잘 구축해도 핵심 연산 장비는 엔비디아에 종속될 수밖에 없었다. 하지만 2026년부터 시작되는 특허 만료는 게임의 룰을 바꾼다. 자체 IDC를 보유한 기업들이 대안 GPU를 도입할 수 있게 되면, 연산 비용을 획기적으로 낮출 수 있다.

특히 쿠팡 같은 이커머스 기업이 IDC 사업에 뛰어든 것은 의미심장하다. 추천 알고리즘, 검색 최적화, 물류 예측 등 막대한 AI 연산이 필요한 이커머스 기업이 CUDA 종속에서 벗어날 수 있다면, 그 비용 절감 효과는 곧바로 경쟁력으로 이어진다. 자체 IDC에 저렴한 대안 GPU를 대규모로 도입하고, 남는 용량은 클라우드 서비스로 판매하는 비즈니스 모델이 가능해진다.

한국의 대기업들이 지금 IDC에 투자하는 것은 단순히 현재의 수요를 충족시키기 위함이 아니다. 2-3년 후 CUDA 특허가 만료되었을 때, 즉시 대안 하드웨어를 도입할 수 있는 인프라를 미리 구축하는 것이다. 이는 마치 전기차 시대를 대비해 충전소를 미리 깔아두는 것과 같은 전략적 포석이다. 준비된 자만이 기회를 잡을 수 있다는 것을 한국 기업들도 잘 알고 있는 것이다.