1990년대 후반 MP3가 나왔을 때 음악 애호가들은 음질이 망가진다고 걱정했다. CD 한 장의 소리를 10분의 1 크기로 줄였으니 그럴 만했다. 그런데 대부분의 사람은 차이를 듣지 못했다. 사람 귀가 원래 못 듣는 소리만 골라서 버렸기 때문이다. 버린 것은 데이터였고 음악은 그대로 남았다. 파일이 가벼워지자 음악은 음반 가게를 떠나 사람들 주머니로 들어갔다. 지금 인공지능에서 같은 일이 벌어지고 있다. 양자화다.

가장 큰 언어 모델은 매개변수가 수조 개에 이르고, 데이터센터 밖으로 나오지 못한다. 그보다 훨씬 작은 수백억 개짜리 모델도 원래 형태로는 일반 PC에 올리기 버겁다. 숫자 하나를 16비트로 적으면 270억 개짜리 모델만 해도 메모리가 50기가바이트 넘게 든다. 양자화는 이 숫자들을 8비트나 4비트로, 심하면 -1, 0, 1 세 값만 쓰는 1.58비트로 거칠게 다시 적는다. 상식대로라면 모델이 그만큼 멍청해져야 한다. 확인해 보려고 수백억 개짜리 모델들을 양자화해 일반 PC급 기기인 64기가바이트 맥미니 한 대에 올렸다. 알리바바의 Qwen과 구글의 Gemma를 비트 수별로 올려 같은 질문을 던졌다. 매개변수 270억 개짜리 Qwen은 8비트에서 메모리를 30기가바이트 가까이 썼고 4비트에서는 16기가바이트를 썼다. 속도는 두 배 가까이 빨라졌다. 그런데 한국어 설명, 수필, 코딩, 함수 호출, 여러 단계짜리 에이전트 과제까지 답은 거의 같았다. Gemma도 그랬다. 같은 모델이면 4비트가 8비트의 반값으로 거의 같은 일을 해낸다.

지도를 생각하면 이해가 된다. 축척을 줄이면 골목길은 지워지지만 서울에서 부산 가는 길은 여전히 보인다. 모델의 실력도 숫자 하나하나의 소수점 아래 자리보다는 숫자들이 서로 맺은 관계에서 나온다. 뇌도 비슷하다. 뇌는 몸 전체 에너지의 5분의 1을 쓰지만 전력으로 치면 전구 하나 정도다. 신경세포는 정밀한 아날로그 계산기와 거리가 멀다. 자극이 문턱을 넘으면 신호를 내고 못 넘으면 가만히 있는, 모 아니면 도에 가까운 방식으로 일한다. 신호 하나하나는 거칠고 잡음도 많다. 그래도 뇌는 그걸로 얼굴을 알아보고 내일 일을 계획한다. 에너지가 늘 모자랐던 환경에서 진화는 정밀한 부품 몇 개보다 거친 부품 여러 개를 엮는 쪽을 골랐다. 양자화한 모델이 잘 돌아가는 것도 같은 이치다.

그렇다고 끝없이 덜어낼 수는 없다. 국내 경량화 기업 노타가 1.58비트로 줄인 매개변수 300억 개짜리 모델도 같은 기계에 올려 봤다. 크기는 9.5기가바이트로 Qwen 4비트보다 작았다. 수학 문제와 코드는 맞게 풀었다. 그런데 가을 저녁을 주제로 수필을 쓰라고 하자 여덟 줄을 쓰고 나서 그 여덟 줄을 토씨 하나 안 바꾸고 다시 썼다. 세 문장 안에 ‘서울’을 한 번만 넣으라는 조건도 못 지켰다. 답이 하나로 정해진 문제는 거친 눈금으로도 풀린다. 하지만 미묘한 말맛이나 까다로운 조건은 눈금이 너무 거칠면 버티지 못한다. 어디까지 덜어낼 수 있는지는 어떤 일을 시키느냐에 달려 있다.

비트 수와 상관없는 실패도 있었다. 1854년 뉴욕 박람회에서 오티스가 엘리베이터 줄을 끊어 안전장치를 보여 주던 장면을 그린 옛 그림을 보여 주고 무슨 사건이냐고 물었다. Qwen은 8비트든 4비트든 1889년 에펠탑이라고 답했고, 다른 모델은 남북전쟁을 꺼냈다. Gemma만 런던 수정궁 박람회 근처까지 갔는데, 이것도 비트 수가 아니라 무엇을 배웠느냐의 차이였다. 8비트로 정밀도를 두 배 올려도 정답은 나오지 않았다. 눈금을 거칠게 하면 있던 지식이 조금 흐려질 뿐, 없던 지식이 생기거나 있던 지식이 통째로 사라지지는 않는다. 지도에 없는 섬은 축척을 키워도 나타나지 않는다.

속도 쪽에서는 단순한 규칙 하나가 눈에 들어왔다. 언어 모델은 단어 하나를 내놓을 때마다 가진 숫자 전부를 메모리에서 한 번씩 읽어 온다. 그래서 생성 속도는 메모리 대역폭을 모델 크기로 나눈 값을 넘기 어렵다. 계산 능력보다 읽어 오는 양이 발목을 잡는다. 양자화로 빨라지는 이유도 여기 있다. 숫자를 가볍게 적으면 읽을 양이 줄어든다. 전문가 혼합(MoE) 구조는 같은 문제를 다른 식으로 푼다. 매개변수는 350억 개지만 단어 하나를 낼 때 그중 30억 개만 꺼내 쓰는 Qwen MoE 모델은 같은 맥미니에서 초당 100단어 넘게 뽑아냈다. 270억짜리 모델보다 다섯 배 이상 빨랐고, 에이전트 과제도 전부 통과했다. 숫자를 덜 정밀하게 적든 일부만 꺼내 쓰든, 매번 전부를 쓰지 않는다는 점에서는 같다. 뇌도 신경세포를 한꺼번에 다 켜지 않는다.

예측도 같은 얘기다. 작은 보조 모델이 다음 단어 몇 개를 미리 짐작하고 큰 모델은 확인만 하게 하는 추측 디코딩을 써 보면, 형식이 뻔한 코드에서는 짐작이 95퍼센트 맞아 세 배 넘게 빨라진다. 한국어 수필에서는 다섯 번에 한 번도 안 맞아서 거의 빨라지지 않는다. 뻔한 내용은 싸게 처리되고 새로운 내용은 제값을 다 치른다. 예측이 잘 되는 것은 압축도 잘 된다. 그러니 똑똑한 시스템은 모든 걸 정밀하게 기억하는 시스템보다 무엇이 뻔하고 무엇이 새로운지 잘 가려내는 시스템에 가깝다.

이것이 중요한 까닭은 지능이 머무는 장소가 바뀌기 때문이다. 1970년대 컴퓨터는 냉방이 잘 된 전산실의 메인프레임이었다. 개인용 컴퓨터는 성능으로는 상대가 안 됐지만 책상 위에 있었고, 그게 세상을 바꿨다. 수조 개짜리 최상위 모델은 여전히 데이터센터에 있다. 하지만 수백억 개짜리 모델을 양자화하면, 불과 1년 전 최고 수준에 가까운 성능이 책상 위 작은 상자에서 인터넷 없이 돌아간다. 질문이 한 줄도 밖으로 나가지 않는다.

조직에서 가장 쓸모 있는 정보는 본사 회의실보다 고객과 맞닿은 끝자락에 있는 경우가 많다. 꿀벌 무리가 새 집을 정할 때도 여왕이 명령하지 않는다. 밖을 돌아다닌 정찰벌들이 물어 온 정보로 정한다. 어려운 문제는 대개 현장에 있다. 데이터는 여기저기 흩어져 있고, 보안 규정 때문에 한 줄도 밖으로 못 내보내는 곳이 많다. 그래서 많은 조직이 정말 중요한 문제는 미뤄 두고 쉽고 안전한 일에만 인공지능을 써 왔다. 모델이 가벼워지면 순서를 바꿀 수 있다. 데이터를 지능이 있는 곳으로 보내는 대신 지능을 데이터가 있는 곳으로 보내면 된다. 전방 배치다. 공장 자재 담당자 옆에서, 병원 기록실 옆에서, 통신이 끊긴 현장에서 모델이 직접 일할 수 있다.

양자화는 공장에서 똑같이 찍어 내는 규격품과 다르다. 앞에서 어디까지 덜어낼 수 있는지는 어떤 일을 시키느냐에 달려 있다고 했다. 무엇을 남기고 무엇을 버릴지도 그 모델을 쓰는 사람의 일에 따라 정해진다. 법률 문서를 다루는 곳에서는 조항 하나의 뉘앙스를 놓치면 안 되고, 설비를 다루는 곳에서는 수치와 절차가 정확해야 한다. 같은 4비트라도 어느 현장의 데이터를 기준으로 눈금을 잡느냐에 따라 살아남는 능력과 망가지는 능력이 달라진다. MP3가 사람 귀를 기준으로 소리를 덜어냈듯, 양자화는 고객의 일을 기준으로 덜어내야 한다. 고객마다 다르게 맞춰야 하는 기술이다.

이 맞춤은 본사 연구실에서 범용 벤치마크 점수만 보는 사람이 할 수 없다. 고객 현장에 들어가 업무 흐름과 데이터와 하면 안 되는 일을 직접 겪어 본 엔지니어, 이른바 전방 배치 엔지니어(FDE)가 할 수 있다. 이들은 그 조직에서 절대 잃으면 안 되는 능력과 없어도 되는 군살을 구분한다. 지금까지 FDE의 맞춤은 주로 소프트웨어와 업무 흐름을 고치는 데 그쳤다. 양자화가 더해지면 모델 자체를 고객에 맞게 바꿀 수 있다. 고객의 일에 맞게 다듬고, 고객의 장비에 맞게 줄이고, 고객의 현장에 설치하는 것까지 한 사람이, 한 팀이 해낸다. 범용 모델을 빌려주는 사업과는 성격이 다르고 남이 쉽게 따라 하기도 어렵다. 현장을 아는 사람과 모델을 줄이는 기술이 한 팀으로 묶이면 각각 따로일 때보다 훨씬 큰 값을 받을 수 있다.

이런 결합이 가장 필요한 곳은 국방과 의료다. 전장에서는 통신이 끊기는 게 기본이고 작전 데이터는 외부 서버로 한 줄도 나갈 수 없다. 드론과 함정과 전방 지휘소에 들어갈 모델은 작고 빨라야 하고, 그 군대의 교리와 지형과 장비를 알아야 한다. 의료도 마찬가지다. 환자 기록은 병원 밖으로 나가면 안 되고, 희귀 질환 용어 하나나 약 용량 숫자 하나를 놓치는 압축은 곧 의료 사고다. 이런 곳에 범용 클라우드 모델은 처음부터 들어갈 수 없다. 현장에 들어가 그 조직에 맞게 다듬고 줄인 모델만 들어갈 수 있다. 국방은 나라를 지키고 의료는 사람을 살린다. 국가를 강하게 만드는 일의 맨 앞에 있는 분야들이다. 기술이 개인의 편의를 넘어 이런 공동의 목표에 쓰일 때 가치가 가장 크다.

국가와 기업의 입장에서는 주권과도 이어진다. 모델을 빌려 쓰기만 하는 쪽은 남이 정한 요금과 약관과 정치적 판단에 미래를 맡긴다. 가장 큰 모델을 처음부터 만드는 경쟁에서 모두가 이길 수는 없다. 하지만 공개된 모델을 가져와 자기 현장에 맞게 다듬고 줄여서 배치하는 능력은 훨씬 많은 곳이 가질 수 있다. 국내외에 양자화만 전문으로 하는 회사가 늘고, 그중 몇은 이미 큰 기술 기업에 팔렸다. 지능을 누가 만드느냐 못지않게, 누가 그것을 현장에 맞게 줄여서 필요한 곳에 놓을 수 있느냐가 중요해지고 있다.

덜어낼 때 무엇이 핵심이고 무엇이 잡음인지 잘못 고르면 지도는 오히려 길을 잃게 만든다. 현장에서 그 실수는 엉뚱한 답 한 줄로 끝나지 않는다. 전장에서는 잘못된 판단이 되고, 병원에서는 잘못된 처방이 된다. 그래서 그 선을 정하는 일은 현장을 아는 사람이 해야 한다. 모든 것을 끝까지 정밀하게 붙잡으려는 태도는 세상을 톱니가 딱 맞물린 시계처럼 보는 것과 닮았다. 실제 세상은 계속 모양이 바뀌는 구름에 더 가깝다. 그 안에서는 완벽한 해상도보다 쓸 만한 근사치를 빨리 내놓는 쪽이 살아남는다.

MP3가 음악을 주머니에 넣었다면 양자화는 지능을 현장에 갖다 놓는다. 버린 것은 숫자였고 지능은 남았다. 기술은 이미 준비됐다. 가벼워진 모델을 들고 그동안 미뤄 둔 어려운 문제로 들어갈지는 우리가 정할 일이다.