평균의 종말: 산업별 맞춤 AI 전쟁이 시작됐다

Vertical LLM의 부상과 필요성

최근 인공지능 업계에서는 LLM을 기반으로 한 범용 AI 비서가 각광받고 있다. OpenAI의 ChatGPT를 필두로 한 범용 LLM 서비스들은 몇 문장의 질문만으로도 광범위한 지식을 검색하고 요약해 주며, 마치 AGI(Artificial General Intelligence)에 한 걸음 다가선 듯한 인상을 주었다. 이러한 범용 LLM은 인터넷상의 방대한 정보를 훈련 데이터로 삼아 어떤 주제에 대해서든 그럴듯한 답변을 만들어낸다. 그러나 기업 실무의 관점에서 볼 때, 모든 것을 다 아는 범용 AI가 반드시 최선의 해법은 아니다. 실제 업무 환경에서는 높은 정확도, 맥락에 대한 깊은 이해, 그리고 데이터 보안이 무엇보다 중요하다.

범용 LLM을 그대로 업무에 활용하려 할 때 가장 먼저 부딪치는 장벽은 데이터 보안과 프라이버시 문제이다. 예를 들어 회사의 내부 문서나 고객 정보를 ChatGPT 같은 공개 서비스에 그대로 질문 형태로 보낼 수는 없다. 이러한 민감한 데이터를 제3자 클라우드로 보내면 정보 유출 위험이 있고, 일부 산업에서는 규제로 인해 아예 금지되어 있기도 하다. 두 번째 문제는 비용이다. 범용 LLM API를 대량으로 호출하면 사용량에 따라 막대한 요금이 청구될 수 있어, 데이터량이 많은 기업 서비스에 투입하기엔 부담이 된다. 반면, 오픈 소스 LLM을 활용해 자체 인프라에서 모델을 돌리면 토큰 단위 비용은 들지 않지만, 그 대신 고성능 GPU 서버 등의 초기 인프라 투자와 유지 비용이 든다. 요약하면, 범용 LLM은 빠르게 활용하기는 쉬워도 대기업 수준에서 장기적으로 대량 활용하기에는 보안과 비용 측면의 한계가 분명한 것이다.

무엇보다 범용 LLM의 한계는 도메인 특화 능력의 부족이다. GPT-5.2 같은 모델이 광범위한 지식을 담고는 있지만, 산업 현장의 세부 규칙이나 전문 용어, 맥락적인 판단력에서는 부족함이 드러날 수 있다. 한 금융권 관계자가 “범용 LLM은 뛰어난 인턴과 같다”고 비유했듯, 일상적인 언어 구사력은 뛰어나도 정작 수백억 원이 걸린 금융 거래의 규제 준수 검토를 맡기기에는 부족하다는 뜻이다. 기업이 필요로 하는 것은 자사의 “업무에 바로 투입할 수 있는 AI 동료”이지, 만능이지만 위험할 수 있는 실험적인 시스템이 아니다. 실제로 AI 업계에서도 “가장 큰 모델이 아니라, 우리에게 가장 적합한 모델이 중요하다”라는 인식이 확산되고 있다. 각 조직의 자체 데이터와 노하우를 학습하고 업무 맥락을 깊이 이해하는 도메인 특화 LLM(Vertical LLM)의 중요성이 부상하는 이유다.

Vertical LLM이란 특정 산업 분야나 회사 내부 업무에 맞게 별도로 훈련된 맞춤형 언어 모델을 뜻한다. 예를 들어 금융 분야를 위해 회계 재무 데이터와 법규 정보를 추가 학습시킨 LLM, 의료 분야를 위해 의학 논문과 임상 기록을 학습시킨 LLM 등을 생각할 수 있다. 이러한 도메인 특화 모델은 그 분야의 전문 용어와 문맥을 잘 이해하기 때문에 일반 모델보다 정확하고 일관된 응답을 제공할 수 있다. 또한 답변이 해당 분야의 정책이나 규제를 어기는 위험이 줄고, 잘 모르는 주제에 대해 근거 없이 추측하는 환각 현상도 억제된다. 무엇보다 기업은 Vertical LLM을 사내 보안 환경에서 자체 운영함으로써 데이터 유출 걱정 없이 핵심 지식을 활용할 수 있다.

기술적으로도 이제는 이런 맞춤형 모델을 구축하기가 과거보다 수월해졌다. Meta가 LLaMA 등 수십억~수천억 매개변수 규모의 LLM을 공개하고, 다양한 오픈 소스 LLM들이 등장하면서 기업은 자체적으로 모델을 확보할 수 있는 선택지가 늘었다. 여기에 파인튜닝(fine-tuning) 기법을 통해 회사의 도메인 데이터로 모델을 추가 훈련하면 비교적 적은 비용으로 높은 성능의 Vertical LLM을 얻을 수 있다. 예를 들어 2023년에 수십억 단어 이상의 금융 데이터로 특화 학습한 BloombergGPT는 500억 매개변수 규모로, 유사 규모의 오픈소스 모델보다 금융 질의응답 등에서 월등히 뛰어난 성능을 보이며 도메인 LLM의 가능성을 입증했다. 블룸버그의 자체 벤치마크에서는 일부 금융 NLP 워크플로우에서 기존 모델 대비 약 50% 가까운 성능 향상을 기록하기도 했다. 이처럼 20~50억 개 규모의 매개변수를 가진 오픈 모델이라도 해당 영역에 최적화하면 대형 범용 모델을 능가하는 깊이 있는 전문 AI로 거듭날 수 있다.

Vertical Agent의 역할과 중요성

Vertical LLM을 구축했다 해도, 그것만으로 곧바로 업무 혁신이 이루어지는 것은 아니다. 마치 좋은 검색 엔진을 만들어 놓고도 그 결과를 활용하는 애플리케이션이 필요하듯이, LLM을 업무에 적용하려면 그 모델을 둘러싼 맞춤형 소프트웨어가 필요하다. 이 맞춤형 소프트웨어가 Vertical Agent 이다. Vertical Agent란 앞서 만든 도메인 특화 LLM을 실제 현장에서 유용하게 쓰일 응용 프로그램 형태로 구현한 AI 에이전트를 말한다. 이는 거대 기술기업들이 ChatGPT / Claude / Gemini와 같은 범용 에이전트 서비스를 제공하는 것에 대응되는 개념으로, 기업 내부용 전문 비서 혹은 도메인 특화 챗봇에 가깝다.

Vertical Agent의 기본 형식은 사용자가 질문이나 지시를 내리면 LLM이 답변하거나 행동을 취하는 대화형 인터페이스다. 겉보기에는 일반 챗봇과 비슷하지만, 내부적으로는 단순한 질의응답을 넘어 정해진 업무 절차를 수행하고 외부 도구와 연동되는 것이 큰 차별점이다. 예를 들어 일반 챗봇이 “주문 정보를 알려줘”라는 요청에 단순 텍스트 답변을 준다면, Vertical Agent는 사내 데이터베이스와 API에 직접 연결되어 실제 주문 내역을 조회하고, 필요하면 배송 일정을 변경하거나 환불을 접수하는 행동까지 수행할 수 있다. 이를 위해 Vertical Agent에는 해당 업무에 특화된 비즈니스 로직과 규칙이 프로그래밍되어 있으며, LLM은 자연어 이해와 생성 역할을 담당할 뿐 핵심 업무 판단은 미리 정의된 정책을 따른다. 요컨대 Vertical Agent는 LLM의 똑똑한 언어 능력을 업무 자동화 시스템의 정교함과 결합함으로써, 일반 범용 챗봇보다 신뢰성 있고 실용적인 AI 조력자를 만들어낸 것이다.

사용자 경험 측면에서도 Vertical Agent는 범용 챗봇과 다르다. 순수한 자연어 대화형 UI는 친근해 보이지만, 기업 업무에서는 때로 비효율적일 수 있다. 예컨대 수십 개의 필드를 가진 보고서를 채우는 작업을 전부 대화로 주고받으며 할 수는 없는 일이다. 현실적인 해법은 챗봇 인터페이스에 기존의 정형화된 UI 요소를 접목한 하이브리드 형태다. 실제 Vertical Agent들은 대화창 옆에 관련 정보 패널을 보여주거나, 사용자의 클릭으로 상세 옵션을 선택하게 하는 등 UI와 챗봇의 장점을 결합한 설계를 취하고 있다. 이는 마치 자동차 산업이 내연기관에서 전기차로 바로 건너뛰지 않고 하이브리드 차량을 거쳐갔던 것에 비유할 수 있다. 완전한 언어 인터페이스로의 급격한 전환 대신, 기존 시스템과의 병행을 통해 사용자의 거부감을 줄이고 효용을 극대화하는 것이다. 따라서 Vertical Agent를 얼마나 해당 업무에 맞게 세심하게 설계하느냐가 LLM 활용 성패를 가르는 핵심이라고 전문가들은 말한다. 동일한 LLM이라도, 그것을 어떤 UI/UX로 포장하여 어떤 기능을 제공하느냐에 따라 현장에서의 생산성 효과는 크게 달라진다. 앞으로 기업들은 자체 Vertical LLM을 만들 뿐 아니라 그에 어울리는 맞춤형 에이전트 개발 역량을 경쟁적으로 강화할 것으로 보인다.

금융 분야: 데이터 분석부터 컴플라이언스까지

금융업은 일찍이 데이터에 기반한 의사결정을 해온 분야인 만큼, LLM 기술의 도입에도 매우 적극적이다. 업계에서는 거대언어모델을 활용해 “AI 금융 전문가”를 만들 수 있기를 기대하고 있다. 금융 분야에서 Vertical LLM과 Agent가 투입될 수 있는 활용 사례는 매우 다양하다:

지식 질의응답 및 리서치 보조: 금융 전문 LLM은 방대한 시장 데이터와 금융 뉴스, 내부 보고서 등을 학습하여 애널리스트나 펀드매니저의 비서처럼 동작할 수 있다. 예를 들어 애널리스트가 “올해 3분기 삼성전자 실적 핵심은 뭐지?”라고 물으면, 모델은 기업 공시자료와 애널리스트 리포트를 참고해 핵심 포인트를 요약 및 분석해줄 수 있다. 또 “Basel III의 주요 요구사항이 무엇인가?” 같은 질문에 대해 해당 금융 규제의 세부 내용을 정확히 짚어 답변하고 관련 조항을 제시할 수도 있다. 이러한 금융 특화 Q&A 기능은 일반 ChatGPT와 달리 출처가 분명하고 맥락에 맞는 답을 준다는 점에서 유용하다. 실제로 많은 금융 LLM 솔루션들이 근거 자료 링크 제시, 답변 감사 추적 기능을 내세우고 있다.
문서 요약 및 보고서 작성: 금융 기관들은 매일 방대한 양의 문서를 다룬다. 애뉴얼 리포트, 주식 시장 뉴스, 애널리스트 보고서, 심지어 고객 상담 기록까지 모두 사람이 일일이 읽어 소화하기 어렵다. Vertical LLM은 이러한 문서들을 빠르게 요약 정리해준다. 예컨대 100페이지짜리 기업 연차보고서를 몇 단락으로 압축하거나, 수시간 분량의 실적 발표 컨퍼런스 콜 녹취록에서 핵심 질문과 답변만 뽑아내는 식이다. JPMorgan에서는 자체 개발한 DocLLM을 통해 복잡한 레이아웃의 금융 서류(재무제표, SEC 공시, 대출 문서 등)에서 중요 정보를 추출하고 분류하는 시스템을 구축했다. DocLLM은 텍스트뿐 아니라 문서의 공간적 배치(표, 양식 등)까지 이해하여 기존 모델 대비 15~61%의 성능 향상을 달성했다. 나아가 LLM은 사람이 작성하던 보고서 초안을 대신 써줄 수도 있다. 시장 전망 보고서나 투자자 설명용 자료 초안을 LLM이 생성하면, 인간 전문가는 그 내용을 검토·수정하면서 생산성을 크게 높일 수 있다.
감성 분석 및 이상 탐지: 주가에 영향을 미치는 뉴스나 소셜 미디어 여론을 실시간으로 분석하는 데에도 LLM이 활용된다. 기존의 감성 분석 모델보다 LLM은 훨씬 복잡한 문맥까지 이해하면서 “긍정/부정” 분위기를 판단하거나, 잠재적 시장 이상 징후를 발견할 수 있다. 예를 들어 트위터상의 기업 언급이나 뉴스 헤드라인들을 읽고 해당 주식에 대한 여론 변화나 루머를 포착해내는 것이다. 이는 헤지펀드 등에서 투자 판단의 보조지표로 활용될 수 있다.
규제 준수 점검 및 리스크 관리: 금융은 규제가 특히 많은 산업이다. Vertical LLM은 최신 법규와 내부 규정들을 숙지하고 있어, 문서나 고객 응대 내용이 컴플라이언스에 어긋나는지 자동으로 점검할 수 있다. 예컨대 은행 대출 문서를 검토하며 금융당국 지침에 맞지 않는 조항이 있는지 표시하거나, 증권사의 직원 이메일을 모니터링해 내부자 거래 암시 언어가 있는지 감지하는 식이다. 또한 신용 리스크 보고서나 거래 내역을 한 곳에 모아 읽으면서 위험 신호를 찾아내는 데에도 도움을 준다. 이런 작업들은 원래 사람이 여러 부서의 자료를 다 뒤져봐야 했던 일로, LLM 도입 시 컴플라이언스 검토 시간을 70% 이상 단축할 수 있다는 보고도 있다. 무엇보다 도메인 특화 모델은 일반 모델보다 규칙 범위 내에서만 답변하므로 “이런 투자상품을 사세요” 같은 부적절한 조언이나 금지된 발언을 하지 않게 설정할 수 있다는 점에서 안전성도 높다.
데이터 추출 및 보고 자동화: 금융 데이터는 숫자와 텍스트가 혼재된 형태로 존재하는 경우가 많다. LLM은 긴 텍스트에서 중요한 수치나 정보를 찾아 구조화된 데이터로 변환하는 데도 쓰인다. 예를 들어 수백 장의 보험 청구서 더미를 한꺼번에 읽고, 고객 이름, 청구 금액, 사고 유형 등의 필드를 뽑아 엑셀 표로 정리하는 일을 생각해보자. 또는 여러 해에 걸친 재무제표를 분석해 “최근 3년간 분기별 매출 성장률 추이”를 문장으로 서술하게 할 수도 있다. LLM은 인간처럼 문서를 이해하면서 필요한 부분을 발췌하고, 여러 출처의 데이터를 종합해 새로운 통찰을 제공한다. 이러한 텍스트 기반 데이터 마이닝 능력은 금융기관의 실사나 감사 작업을 크게 효율화할 수 있다.

이밖에도 금융 분야에서 Vertical LLM/Agent는 고객 상담 챗봇, 개인자산관리, 사기 탐지 등 무궁무진한 적용 가능성이 논의되고 있다. 핵심은 금융 도메인에 특화된 LLM이 일반 모델과 달리, 업계 용어를 정확히 이해하고 규제 맥락을 준수하며, 내부 데이터로부터 학습하여 신뢰할 만한 금융 조언자 역할을 할 수 있다는 점이다. 일부 글로벌 금융사는 이러한 가능성을 현실화하기 위해 자체 LLM을 구축하고 있으며, 향후 “AI 애널리스트”가 인간 전문가와 함께 일하는 풍경이 머지않았다.

제조 분야: 현장 지식의 유지와 자동화

제조업에서는 숙련된 기술자의 경험과 방대한 현장 데이터가 경쟁력의 원천이다. 그러나 베이비붐 세대의 은퇴 등으로 현장의 암묵지 유실 우려가 커지고 있고, 복잡해지는 설비와 공정 데이터를 인간이 모두 이해하기 어려워지고 있다. 이러한 제조 현장의 과제 해결에도 Vertical LLM이 큰 역할을 할 것으로 기대된다. 제조 분야 특화 LLM, 일명 “산업용 LLM”은 공장의 설비 데이터, 매뉴얼, 작업 지침서, 그리고 그동안 축적된 노하우 문서를 학습하여, 일종의 “현장 전문가 AI”로 활용될 수 있다.

현장 업무 지식 Q&A: 경험 많은 기술자가 곁에 없어도, 작업자가 AI에게 질문하여 필요한 지식을 얻을 수 있다. 예를 들어 “프레스 기계 온도 경고가 떴을 때 조치 방법이 뭐지?”라고 물으면, LLM은 해당 장비의 메뉴얼과 과거 유사 사고 보고서를 참고해 표준 대응 절차를 알려줄 수 있다. 이런 시스템은 특히 신규 직원이나 외주 인력이 많을 때 유용하다. 마치 숙련된 선배에게 묻듯 언제든 질문하면 정확한 답을 얻을 수 있는 환경을 만들어 주기 때문이다. 이는 결과적으로 작업 실수를 줄이고 안전사고 예방에도 기여한다.
자연어 인터페이스로 기계 제어: 복잡한 공장 제어 소프트웨어 대신, 대화형 인터페이스로 설비를 모니터링하고 명령을 내릴 수도 있다. 예컨대 관리자가 “현재 3번 생산라인 가동 상태 알려줘”라고 채팅하듯 요청하면, Vertical Agent가 실시간 센서 데이터를 조회해 “3번 라인은 현재 가동률 85%이며, 평균보다 5% 높습니다”라는 답변과 함께 대시보드를 보여주는 식이다. 또 “만약 지금 A설비를 멈추면 오늘 생산량에 어떤 영향이 있어?” 같은 시나리오 질의에도 시뮬레이션을 돌려 결과를 설명해줄 수 있다. 이런 자연어 기반 HMIs(Human-Machine Interfaces)는 숙련도에 상관없이 누구나 공장 상황을 파악하고 조치하도록 해주며, 여러 시스템을 일일이 배울 필요 없이 통합된 접근을 제공한다.
예지보전 및 품질관리 지원: 제조 현장에서 장비의 고장을 미리 예측하고 품질 문제를 조기에 발견하는 것은 비용 절감의 핵심이다. LLM은 방대한 장비 센서 로그, 정비 이력, 품질 검사 데이터를 텍스트 형태로 입력받아, 그 안의 패턴과 징후를 찾아낼 수 있다. 예를 들어, 최근 일주일간의 생산 로그를 분석해 “#4 압축기의 진동 수치가 평소보다 10% 높으며, 과거 이 수치 상승 후 2주 내 고장 난 사례가 있다”는 식으로 이상 신호를 경고할 수 있다. 또한 하루 생산된 제품의 검사 결과 텍스트를 훑어서 “오전 라인 제품에서 반복적으로 나타나는 미세 불량 패턴”을 요약 보고함으로써 품질 개선에 활용할 수도 있다. 기존에는 이런 분석을 데이터 과학자가 개별적으로 코딩해야 했지만, LLM은 텍스트 상의 통계와 이유까지 설명해주므로 현장 관리자에게 더 이해하기 쉬운 통찰을 제공한다.
기술문서 작성 및 번역: 글로벌 제조기업의 경우 기술문서를 여러 언어로 작성해야 하는 일이 많다. LLM은 한 언어로 된 방대한 기술 매뉴얼을 다른 언어로 정확히 번역하거나 요약하는 데도 활용된다. 또한 복잡한 생산 절차를 새로 표준화할 때 초안을 작성해주거나, 현장 작업자들을 위한 쉬운 설명서를 자동으로 생성해줄 수도 있다. 이는 지식 전파와 교육 측면에서 큰 도움이 된다.

이처럼 제조 분야의 Vertical LLM은 사람의 경험지식을 데이터베이스화하여, 누구나 활용할 수 있게 한다는 점에서 “지식의 공유화”를 실현한다. 더 나아가 인간과 기계의 가교 역할을 함으로써, 제조 현장의 디지털 트랜스포메이션을 가속할 것으로 기대된다. 향후에는 공장 단위에서 나아가 공급망 전체를 아우르는 LLM 에이전트가 등장하여, 원자재 수급부터 생산, 물류까지 전 과정을 최적화하는 방향으로 발전할 것이다.

의료 분야: 의료 전문가와 협업하는 AI

의료 분야는 AI 활용에 가장 보수적이면서도 동시에 큰 기대를 모으는 영역이다. 환자의 생명과 직결되기에 오류에 극도로 민감하고 개인정보 보호도 필수적이지만, 잘만 활용하면 의사의 부담을 줄이고 환자 서비스 향상을 크게 이끌 수 있기 때문이다. 이미 챗GPT 등장 이후 임상현장에서 이를 시험해보는 사례가 많이 보고되었으나, 민감한 의료 데이터 특성상 자체적인 의료 특화 LLM이 필요하다는 의견이 지배적이다. Vertical LLM을 통해 병원이나 의료기관 내부에 “AI 의사 어시스턴트”를 두는 구상할 수 있다.

진료 기록 문서화 및 요약: 의사들은 환자 진료 후 소견서를 쓰거나 EMR(전자의무기록)에 진료 내용을 입력하는데 상당한 시간을 들인다. LLM을 활용하면 이러한 진료 문서 작성 업무를 자동화할 수 있다. 예를 들어 진료실에서 의사-환자 대화를 녹음한 뒤, LLM이 환자의 증상, 의사의 진단, 처방 내용 등을 구조화된 차트로 정리하거나 서술형 기록으로 작성해줄 수 있다. 2023년 University of Florida에서 개발한 GatorTronGPT는 277억 단어(임상 텍스트 82억 + 일반 영어 텍스트 195억)로 훈련된 200억 매개변수 규모의 임상 특화 LLM인데, 의사가 작성한 것과 통계적으로 구별이 불가능할 정도의 임상 기록을 생성하는 것으로 평가되었다. 튜링 테스트에서 언어적 가독성과 임상 관련성 모두에서 인간 의사와 유의미한 차이가 없었다. 또한 과거 진료 기록이 수십 장이라면 LLM이 핵심 내용만 요약해서 의사에게 보여줌으로써, 진료 전에 환자의 역사 파악을 신속히 도와줄 수도 있다.
의료 지식 Q&A 및 임상 의사결정 보조: 의료 분야는 지식의 양이 방대하고 최신 연구도 꾸준히 쏟아진다. Vertical LLM은 수백만 편의 의학 논문과 교과서를 미리 학습하고 있기 때문에, 의사가 특정 케이스에 대해 질문하면 근거 기반으로 답을 제시할 수 있다. 예컨대 “55세 여성 환자에게 X약을 투여할 때 금기사항이 있었던가?”라고 물으면, LLM은 관련 가이드라인이나 논문을 찾아 해당 약물의 금기 사항과 이유를 알려줄 수 있다. 2023년 Microsoft가 공개한 BioGPT 모델은 1,500만 건의 PubMed 논문 초록으로 훈련된 바이오메디컬 특화 LLM인데, 이런 모델은 의료 연구자가 방대한 문헌 속에서 원하는 정보를 찾는 것을 일목요연하게 도와주는 용도로 활용되고 있다. PubMedQA 벤치마크에서 78.2%의 정확도를 달성하며, 훨씬 큰 규모의 범용 모델(Flan-PaLM 540B: 79.0%, Galactica 120B: 77.6%)과 대등한 성능을 보여 도메인 특화의 효율성을 입증했다. 나아가 LLM은 의료진의 진단 및 치료 결정 과정에도 보조적으로 참여할 수 있다. 환자의 증상과 검사결과를 입력하면 가능성 있는 몇 가지 진단과 추가로 확인할 검사 목록을 제안하거나, 희귀병 의심 환자에 대해 전 세계 사례를 찾아 유사케이스를 알려주는 식이다. 물론 이런 의사결정 보조 AI는 어디까지나 참고용이며 최종 판단은 의료인이 내리지만, 시간 부족에 쫓기는 현실에서 좋은 세컨드 오피니언 역할을 할 것으로 보인다.
환자 응대와 건강관리: 병원 콜센터나 초기 문진 과정에도 LLM 에이전트를 활용할 수 있다. 예를 들어 환자가 챗봇에 “최근에 이런 증상이 있는데 어떻게 해야 하나요?”라고 묻는 경우, 일반 챗봇은 단순 안내만 하지만 의료 특화 LLM은 의학적 근거에 기반한 조언을 제공할 수 있다. “고열과 발진이 있으니 즉시 응급실 방문이 권고됩니다”처럼 신속하고 적절한 대응을 해줄 수 있으며, 이후 어떤 처치를 받으면 되는지도 설명해줄 수 있다. 또한 만성질환자나 퇴원 환자의 사후 관리에 챗봇을 붙여 정기적으로 상태를 모니터링하고 생활습관 개선을 코칭하는 등 건강관리 파트너로 삼을 수도 있다. 이런 경우 LLM은 사전에 의료 윤리와 상담 매뉴얼을 학습하여, 환자를 안심시키면서도 필요한 경고는 빠뜨리지 않도록 튜닝되어야 한다.
의료 행정 및 코딩 자동화: 의료 행정 업무에도 LLM이 유용하다. 예컨대 의사가 작성한 진단명을 읽고 건강보험 청구를 위한 코드(ICD-10 등)를 자동으로 매핑하거나, 수술 기록을 분석해 적절한 수가 산정 자료를 준비하는 일을 들 수 있다. 기존에도 규칙 기반의 코딩 자동화 소프트웨어가 있었지만 LLM은 훨씬 다양한 표현을 이해하고 맥락을 파악하여 더 높은 정확도를 기대할 수 있다. 또한 병원 내 방대한 정책집, 프로토콜 문서를 LLM이 통째로 학습하고 있다가 직원이 질문하면 즉시 답해주는 지식관리 용도로도 쓸 수 있다. 예컨대 “MRI 촬영 전 금식이 필요한 환자 기준이 어떻게 되지?”라는 질문에 바로 해당 정책을 찾아 알려주는 식이다.

의료 분야에서 Vertical LLM을 도입할 때는 철저한 검증과 안전장치가 필수다. 잘못된 정보나 판단 착오가 인명 피해로 이어질 수 있기 때문이다. 따라서 의료 LLM은 답변 근거를 항상 제시하고, 모호한 질의에는 확신하지 못한다고 표시하거나 인간 전문가와 상의하도록 유도하는 식으로 설계된다. 또한 HIPAA와 같은 개인정보보호 규정을 준수하기 위해 환자 데이터는 익명화하여 학습시키고, 모델 운영도 폐쇄망에서 이뤄지게 된다. 이런 과정을 거친다면, Vertical LLM은 의료진에게는 든든한 조수로, 환자에게는 24시간 대기하는 상담사로 활약하며 의료 서비스의 질을 향상시킬 수 있을 것으로 기대된다.

국방 분야: 지휘관의 결심을 돕는 AI

국방/군사 분야는 특성상 초기부터 자체적인 AI 개발을 해온 영역이다. 국가 안보와 직결되기에 외부 기술을 함부로 가져다 쓰기 어려워, 과거부터 별도의 군용 AI 연구가 이뤄져왔다. LLM도 마찬가지로, 국방 분야에서는 민간의 범용 모델 대신 비공개 환경에서 운용되는 군사 특화 LLM이 각광받고 있다.

미 국방부는 이미 여러 군사 전문 LLM을 시험 운용 중이다. 미 육군의 CamoGPT는 Meta의 Llama 3.3 70B를 기반으로 한 군사 특화 LLM으로, 약 4,000명의 사용자가 활용하고 있으며 장비 정비, 군수, 공급망 관리 최적화에 사용되고 있다. 미 공군의 NIPRGPT는 비밀등급 미만의 네트워크에서, SIPRGPT는 기밀 네트워크에서 각각 운용되며 문서 요약, 초안 작성, 코딩 지원 등의 업무에 활용된다. 2025년 12월에는 미 국방부가 GenAI.mil이라는 통합 생성형 AI 플랫폼을 전군에 배포하여, 민간 AI 기술을 군 환경에 맞게 제공하기 시작했다.

그렇다면 Vertical LLM/Agent는 국방 분야에서 구체적으로 어떻게 활용될까?

방대한 정보 분석 및 요약: 현대전에서는 정보 수집 능력이 매우 중요하다. 위성영상, 정찰 드론, 통신 감청, 공개 출처 정보 등에서 매일 어마어마한 양의 데이터가 쏟아진다. 이를 인간 분석관이 모두 훑어볼 수 없으므로, AI가 1차로 요약과 분류를 해주는 것이다. 예를 들어 수백 장의 위성사진을 설명 텍스트로 요약하거나, 하루치 첩보 보고들을 읽고 핵심만 추린 정보 브리핑 문서를 생성할 수 있다. 또한 여러 소스에서 나온 정보를 종합하여 “특정 지역에서 이상징후 포착: 열흘간 군용 차량 이동 증가”처럼 패턴과 이상징후를 감지하는 데도 LLM이 활용될 수 있다. 이러한 인텔리전스 요약 에이전트는 군 정보부대의 의사결정 시간을 단축시키고 보다 객관적인 분석을 도와줄 것이다. 다만 AI의 판단에는 항상 불확실성이 존재하므로, 인간 분석관이 검증과 보완 작업을 병행하는 체제로 운용된다.
군사 계획 및 시뮬레이션: 작전 계획을 수립할 때는 지형, 적군 전력, 보급 상황 등 무수한 변수를 고려해야 한다. LLM 기반 에이전트는 과거 전투 사례와 군사 교리를 학습한 덕분에, 주어진 상황에 대해 여러 가지 전술 시나리오를 자동으로 생성해볼 수 있다. 예를 들어 “계획 A로 공격할 경우 예상 손실과 성공 확률은?” 같은 질문을 입력하면, AI는 유사한 역사 데이터를 근거로 몇 가지 시나리오별 결과를 추론해 제시할 수 있다. 이러한 에이전트는 물론 결정권을 가진 지휘관의 보조자 역할에 머물지만, 복잡한 계획 수립에 걸리는 시간을 크게 줄이고 놓칠 수 있는 부분을 짚어주는 역할을 한다.
실시간 작전 보조: 전투 현장에서도 Vertical Agent가 도움을 줄 수 있다. 예컨대 전술망 내에 있는 AI 비서에게 “드론 정찰 영상을 분석해 이상 움직임이 있는지 보고”라고 지시하면, LLM 에이전트가 영상을 분석한 후 “2시 방향 건물 옥상에 수상한 열 신호 발견됨”처럼 간결한 보고를 할 수 있다. 혹은 부대 상황보고를 종합하여 지휘관에게 “현재 탄약 보급량은 80%, 의료지원 요청 2건 대기 중” 등 전황 요약을 제공할 수도 있다. 이는 사람이 모든 세부 정보를 일일이 읽지 않아도 의사결정에 필요한 핵심만 파악하게 해준다. 나아가 미래에는 음성으로 “본부, 상황 보고”라고 말하면 AI가 현재까지의 모든 전장 상황을 음성으로 브리핑해주는 식의 대화형 전투 정보 시스템도 구상되고 있다. 다만 이런 실시간 보조 AI는 오경보나 오류 시 치명적일 수 있어, 충분한 시험과 신뢰성 검증을 거쳐 제한적으로 활용될 것이다.
훈련 및 교육 시나리오 생성: LLM은 과거 전쟁사와 각종 교범들을 두루 학습했기 때문에, 훈련 시나리오나 적군 모의 시나리오를 자동으로 만들어낼 수 있다. 예를 들어 모의 해킹 대회를 준비하는 사이버 부대에 LLM이 적군 해커 역할을 맡아 다양한 공격을 시도하게 하거나, 부대 연습 때 돌발상황 삽입용 시나리오를 랜덤하게 생성하는 식이다. 이는 훈련을 더욱 풍부하게 만들어 주며, 인력 부족으로 미처 준비 못한 시나리오까지 AI가 채워줄 수 있다. 미 DARPA에서는 공군 파일럿 훈련을 위해 AI가 가상 적기 역할을 맡는 ACE(Air Combat Evolution) 프로그램을 진행 중이다. 2020년 AlphaDogFight 트라이얼에서 Heron Systems의 AI 에이전트가 숙련된 인간 조종사를 5-0으로 완파했으며, 2023년 9월에는 AI가 조종하는 X-62A VISTA와 인간이 조종하는 F-16 간의 실제 도그파이트가 세계 최초로 성공적으로 수행되었다. AI 에이전트는 방어 및 공격 기동을 수행하며 시속 1,200마일, 2,000피트 거리까지 접근하는 고난도 시나리오에서도 안전 규범을 위반하지 않았다. 이러한 AI 대항훈련은 장래에 인간-AI 협업 및 교전에 대한 신뢰도를 높이고 전술 발전에도 기여할 것으로 보인다.
군수 및 행정 지원: 국방 조직은 방대한 행정업무와 군수 물자 관리가 뒤따른다. LLM은 군수품 재고 보고서나 정비 기록 등을 읽어 병참 상황을 요약하거나, 물자 배치 최적화에 대한 조언을 주는 등 뒤관리 업무에도 쓰일 수 있다. 예컨대 “다음달 훈련 대비 식량과 연료 소요를 계산해줘”라고 물으면, AI가 과거 유사훈련 데이터를 참고하여 예상치를 제시하고 조달계획 초안을 작성해줄 수 있다. 또한 복잡한 국방 규정이나 교범에 대해 질문하면 바로 해당 챕터를 인용해 답하는 스마트 지식창고로도 기능할 수 있다.

국방 분야 Vertical LLM와 Agent의 가장 큰 강점은 폐쇄된 자체 환경에서 운영됨으로써 보안이 담보된다는 점이다. 절대로 외부 인터넷에 연결되지 않은 망에서만 작동하기 때문에 기밀 정보가 밖으로 나갈 우려 없이 안심하고 사용할 수 있다. 또한 군 사용에 맞게 강화된 제어와 검증 절차가 붙어, 민간에서 문제가 된 AI의 돌발 행위도 철저히 억제한다. 물론 아직은 AI를 전투에 직접 활용하는 데 거부감과 신중론이 많지만, 정보 분석이나 행정 자동화 같은 비전투 분야부터 점진적으로 Vertical LLM이 스며들고 있다. 향후 수년 내에 지휘관 책상 위에 놓인 AI 참모가 당연한 풍경이 될 것이다.

도메인 특화 AI가 만들어갈 미래

범용 AI가 세간의 이목을 끌었지만, 실제 산업 현장의 판도를 바꾸는 것은 Vertical LLM과 Vertical Agent의 조합이 될 것이라는 전망이 힘을 얻고 있다. 각 산업별로 최적화된 AI 모델과 이를 활용하는 응용 에이전트를 빠르게 만들고 배포하는 능력이 향후 AI 비즈니스의 성공 열쇠가 될 것이다. 이는 마치 과거에 소프트웨어 산업이 범용 패키지에서 시작해 점차 업종 특화 솔루션으로 세분화되며 발전한 역사와도 닮았다. 앞으로 금융에는 금융 특화 AI, 제조에는 제조 특화 AI처럼 ‘평균적인 AI’를 넘어선 전문화된 AI들이 경쟁력을 결정짓는 요소가 될 것이다.

물론 Vertical LLM을 구축하고 Vertical Agent를 설계하는 일은 한두 번의 시도로 완성되지 않는다. 도메인에 대한 깊은 이해, 양질의 전문 데이터 확보, 모델 훈련 및 성능 튜닝, 그리고 사용자 친화적 인터페이스 설계까지 복합적인 역량이 요구된다. 특히 일반 LLM과 달리 각 사별로 다른 데이터 환경과 업무 절차에 맞춰 커스터마이징해야 하므로, 기업마다 고유한 AI 솔루션이 탄생하게 될 것이다. 이는 AI 기술의 민주화와 분화라는 관점에서 긍정적인 변화이며, 동시에 새로운 도전이다. 기술 리더들은 자사의 도메인에 최적화된 LLM을 남들보다 먼저 확보하고, 현장에 안착시킴으로써 생산성의 비약적 향상과 혁신을 이루려 할 것이다.향후 몇 년간 우리는 각 산업에서 Vertical LLM과 Agent들이 등장하고 성숙해가는 과정을 목격하게 될 것이다. 그리고 그중 일부는 기존 업무 방식을 완전히 바꾸어놓는 게임체인저로 부상할 것이다. 궁극적으로는 이들 Vertical AI 솔루션들이 모여 산업 전반의 효율을 높이고, 사람들은 반복적이고 고된 작업에서 해방되어 더 창의적이고 전략적인 일에 집중할 수 있게 될 전망이다. 도메인 특화 AI의 시대가 성큼 다가오고 있다. 이제 기업과 IT 전문가들은 이 거대한 흐름을 주도하여, 자신만의 Vertical LLM과 Agent를 얼마나 빠르고 효과적으로 만들어내느냐에 승부가 달렸다.