테슬라의 FSD(Full Self-Driving) 서비스가 한국에 도입되자 IT 업계에 큰 반향이 일었다. FSD는 단순히 자율주행 기술의 발전으로만 보기엔 부족하다. 우리는 FSD를 하나의 E2E(End-to-End) 에이전트로 볼 수 있다. 목적지만 입력하면 차량이 알아서 주행하여 목적지까지 데려다주는 경험은 마치 인간 기사처럼 스스로 판단하고 행동하는 인공지능 에이전트를 접하는 듯한 황홀함을 준다. 이 완전 자율주행 차량은 이제 단순한 운전자 보조 시스템을 넘어, 환경을 인식하고 판단해 직접 물리 세계에 행동을 수행하는 AI 에이전트의 시초라고 볼 수 있다.

라이다 없이 라이다를 구현하다

대부분의 자율주행 차량 제조사는 라이다(LiDAR)와 레이더, 카메라 센서에 정밀 지도를 결합한 방식으로 자율주행을 구현해왔다. 특히 라이다 센서는 레이저로 주변 물체까지의 거리를 정밀하게 측정하여 3D 환경 지도를 즉각 작성하는 핵심 장비로 쓰였다. 하지만 테슬라는 처음부터 “비전(vision)만으로 자율주행을 하겠다”는 과감한 노선을 선택했다. 값비싼 라이다 센서를 배제한 것은 비용 문제뿐만 아니라, 미리 구축된 HD맵(고정밀 지도)에 의존하면 도로 상황의 실시간 변화에 대응하기 어렵다는 한계를 극복하기 위함이었다. 테슬라는 라이다뿐만 아니라 한때 장착했던 레이더와 초음파 센서까지 모두 제거하고, 인간 운전자가 눈으로 모든 상황을 파악하듯 오로지 카메라 기반 비전으로 승부를 건 것이다.

그렇다고 테슬라가 라이다 “기술” 자체를 포기한 것은 아니다. 인간이 두 눈의 2D 영상으로 3D 입체감을 느끼듯이, 테슬라 FSD는 여러 대의 카메라를 통해 깊이를 추정함으로써 라이다가 만드는 것과 유사한 3D 점군 지도(Point Cloud)를 실시간 생성한다. 이를 가리켜 “유사 라이다”, 즉 Pseudo-LiDAR 기술이라고 부른다. 테슬라의 AI 총괄 안드레이 카르파티는 “영상의 각 픽셀마다 깊이를 예측해 공간상의 포인트로 투영하는 pseudo-LiDAR 접근법”이라고 이 방식을 설명했다. 카메라만으로 라이다 센서의 가시성을 모사함으로써, 기존 라이다 기반 자율주행 알고리즘들을 그대로 활용할 수 있는 3D 인지 데이터를 얻을 수 있기 때문이다. 다시 말해 비전으로 라이다 입력을 시뮬레이션하여, 지난 수십 년간 연구된 라이다용 객체 인식·충돌 회피 알고리즘들을 고스란히 적용하는 전략인 셈이다.

이 Pseudo-LiDAR 접근은 결과적으로 여러 이점을 가져왔다. 첫째, 라이다 하드웨어를 제거함으로써 센서 비용을 크게 낮추었다. 고가의 라이다 장치를 쓰지 않고도 라이다의 70%에 달하는 깊이 인식 능력을 카메라로 달성했다고 테슬라 측은 밝히고 있다. 둘째, HD맵(고정밀 지도) 사전 구축에 의존하지 않고도 주행이 가능해졌다. 다른 자율주행 시스템들은 정확한 3D 지도 데이터를 미리 확보하고 그 지도와 실시간 센서 데이터를 대조하며 주행하는데, 이는 지역 한정 운영이나 지도 업데이트 비용 증가 등의 제약을 낳는다. 반면 테슬라 FSD는 센서만으로 실시간 주변 지형을 파악하고 주행 판단을 내리기 때문에 새로운 지역도 바로 주행할 수 있다. 별도의 도로 인프라 투자나 지도 업데이트 없이도 차량이 스스로 환경을 판단하는 완전 자율적인 시스템을 구현한 것이다.

흥미로운 것은, 테슬라가 음악을 끄고 주차에 집중하는 인간처럼 비전 이외의 모든 방해 요소를 제거하려 했다는 점이다. 여러 센서를 융합하는 방식은 겉보기엔 안전장치를 늘리는 것처럼 보이지만, 테슬라 팀은 카메라 비전에 올인하여 방대한 데이터와 연산으로 문제를 풀고자 했다. 불확실한 도구를 처음부터 배제하는 대신, 필요한 기능은 소프트웨어적으로 구현하는 쪽을 택한 것이다. 이러한 순수 비전 기반 접근은 결과적으로 테슬라에게 자율주행 알고리즘 개발에서 수년~수십 년의 격차를 한꺼번에 좁히는 지름길을 제공했다. 실제 카메라로 생성한 가상의 라이다 맵을 통해 기존의 라이다 중심 자율주행 연구 성과를 모두 흡수하면서도, 라이다 없는 경제성과 확장성을 얻는 천재적인 전략이라 평가할 만하다.

에이전트로 진화한 자율주행 AI

FSD를 직접 체험해본 운전자들은 한결같이 “목적지만 찍으면 차가 알아서 모든 결정을 내리고 움직인다”고 말한다. 이전까지 운전자 보조 시스템은 어디까지나 운전자의 판단을 지원하는 도구에 불과했다. 그러나 FSD는 도로의 상황 인식부터 주행 경로 결정과 차량 제어까지 전 과정을 스스로 처리하는 완전자율 주행자, 즉 에이전트(agent)로 기능한다. 에이전트란 환경을 인식(센싱)하고, 상황을 판단(플래닝)한 뒤, 실세계에 행동을 실행(액션)하는 주체를 뜻한다. 이런 정의대로라면, 테슬라 FSD는 더 이상 단순한 “AI 시스템”이 아니라 바퀴 달린 하나의 인공지능 에이전트라 할 수 있다. 카메라와 센서로 주변을 보고, 차량 컴퓨터로 판단하며, 자동차란 신체(Body)를 통해 물리적 움직임을 구현하기 때문이다.

이처럼 신체를 갖춘 AI 에이전트는 경험을 통해 학습하고 자율적 결정을 내리는 존재로 거듭난다. 테슬라 FSD의 “몸”인 자동차는 도로 환경을 직접 주행하며 방대한 경험 데이터를 쌓는다. 그리고 그 경험이 축적될수록 FSD 에이전트의 주행 실력은 계속 향상된다. 이는 마치 인간이 운전 연습을 반복해 실력을 키우는 것과 유사한 자기강화 과정이다. 자율주행차 시대의 도래는 곧 AI가 현실 세계에서 축적된 자신의 경험을 바탕으로 스스로 진화하는 에이전트 시대의 개막을 의미한다.

테슬라는 여기서 한 발 더 나아가 범용 로봇 에이전트로까지 영역을 확장하고 있다. 테슬라가 개발 중인 휴머노이드 로봇 “옵티머스(Optimus)”는 FSD와 동일한 비전 기반 접근을 인간형 이족보행 로봇에 적용한 사례다. 옵티머스 역시 카메라 “눈”으로 주변을 인식하고, FSD에서 발전된 AI로 상황을 판단하여, 로봇 팔과 다리로 실제 행동을 수행하는 물리 세계의 에이전트가 될 것으로 보인다. 도로 주행이라는 특정임무에 국한되었던 FSD의 경험이 이제 일반적인 육체 노동과 작업으로 확대되는 셈이다. 궁극적으로 자동차든 로봇이든 우리 주변의 기계들은 점차 인간처럼 주변을 인지하고 판단하며 움직이는 E2E 에이전트로 변모해 갈 것이다.

Human First 에서 Agent First 로의 전환

2025년 들어 AI 업계에서는 “에이전트”라는 키워드가 화두로 떠올랐다. GPT-4 등의 강력한 AI 모델들이 등장하면서, 이제는 단순히 질문에 답변하는 챗봇을 넘어 목표를 달성하기 위해 스스로 계획을 세우고 일련의 행동을 실행하는 “자율 에이전트” 개념이 부상했다. 예를 들어 올해 큰 주목을 받은 오토GPT(Auto-GPT)는 사용자가 내건 목표를 달성하기 위해 인터넷 검색, 정보 수집, 코드 작성, 실행 등 여러 작업을 연속적으로 자동 수행하는 시도를 보여주었다. 이러한 LLM 기반 에이전트들은 아직 완벽하진 않지만, 가능성을 증명하기엔 충분했다. 실제로 Auto-GPT의 공개 후 깃허브 저장소에 몇 달 만에 10만 개 이상의 별이 몰리며 폭발적인 관심을 모으기도 했다. 이는 수많은 개발자들이 자율 에이전트의 잠재력에 주목하고 있다는 증거다. 현재 AWS, 구글, 마이크로소프트 등 주요 기업들도 속속 에이전트 개발 프레임워크와 서비스를 선보이며 이 흐름에 합류하고 있다.

에이전트의 등장은 AI 패러다임의 전환을 의미한다. 과거의 AI 시스템은 아무리 똑똑해도 최종 행동 주체는 인간이었다. 예컨대 예전의 자율주행 AI는 핸들을 돌릴지 말지 “추천”만 했을 뿐, 진짜 핸들을 돌리는 행동은 운전자의 몫이었다. 과거의 AI = 판단, 인간 = 행동이라는 구도가 당연시되던 시대였다. 하지만 이제는 다르다. 앞서 살펴본 FSD나 Auto-GPT처럼, AI 자신이 판단과 행동을 모두 책임지는 완결형이 속속 등장하고 있다. 에이전트형 AI = 판단 + 행동의 주체라는 새로운 공식이 성립된 것이다. 사람 대신 직접 업무를 수행하는 디지털 직원, 사람 대신 운전하는 자동차, 사람 대신 물건을 배달하는 로봇 등 사례는 무궁무진하다.

물론 현재 등장한 에이전트들이 완벽히 인간 없이 돌아가는 것은 아니다. 자율 에이전트들도 여전히 사람의 목표 지시를 받고, 일정 기준에서 인간 검토자의 승인이나 피드백을 받아야 안정적으로 운영된다. 그러나 기술의 발전 속도는 매우 빠르다. 내년에는 에이전트 기술이 한층 고도화되면서, 더 많은 일들을 처음부터 끝까지 AI 에이전트가 도맡아 수행하게 될 전망이다. 가트너는 아예 2025년 가장 주목해야 할 1순위 기술 트렌드로 “에이전틱 AI(Agentic AI)”, 즉 자율 에이전트 기술을 꼽으며, 이 에이전트가 “웹사이트나 앱을 대체할 수 있을 정도”로 업무 자동화의 판도를 바꿀 것이라 예측했다. IT 서비스의 주체가 사람이던 시대(Human-First)에서 AI 에이전트가 중심이 되는 시대(Agent-First)로 패러다임 전환이 시작된 것이다.

에이전트 퍼스트 시대에 대비하라

이러한 “Agent First” 시대에는 업무의 기본 단위가 인간이 아닌 에이전트가 된다. 기업에서는 반복적인 고객응대, 데이터 분석, 일정 관리 같은 일들을 AI 에이전트에게 우선 맡기고, 최종 검토나 창의적 판단만 인간이 담당하는 형태로 업무 프로세스가 재편될 수 있다. 이미 일부 조직에서는 AI 에이전트를 도입해 업무 효율이 수십 퍼센트 향상되었다는 보고도 있다. 사람이 직접 처음부터 결과물을 만들어내는 것보다, 에이전트가 초안을 만들고 사람은 승인·수정만 하는 흐름이 비용과 시간 면에서 훨씬 유리하기 때문이다. 경우에 따라서는 기존 대비 생산성이 10배, 100배 향상될 수 있다는 평가도 나온다.

중요한 것은 이러한 변화를 빨리 눈치채고 준비하는 것이다. 과거 PC 시대에서 웹 시대로, 웹에서 모바일 앱 시대로 전환될 때 그 물결을 놓친 기업들이 뒤처졌듯이, 이제 다가오는 에이전트 시대로의 전환에 대응하지 못하면 경쟁력을 잃을 수 있다. 다행히 에이전트 기술은 기존 AI 기술들과 달리 접근 장벽이 낮아져, 작은 팀이나 개인 개발자도 혁신적인 에이전트를 만들 수 있는 여지가 크다. 2026년에는 분명 더 많은 업무 분야에 특화된 “작은 에이전트”들이 쏟아져 나올 것이다. IT 종사자라면 지금부터 Agent First 시대의 가능성과 영향을 면밀히 살피고 대비해야 한다.

마지막으로, 테슬라 FSD가 우리에게 보여준 교훈을 되새겨보자. 과감한 센서 구성의 변화와 AI 소프트웨어 혁신으로 탄생한 FSD는 에이전트 시대의 서막을 알리는 상징적 사례다. 앞으로 펼쳐질 에이전트들의 활약은 자율주행차, 휴머노이드 로봇은 물론이고 소프트웨어 개발, 비즈니스 의사결정, 일상생활 등 광범위한 영역에서 우리의 일하는 방식과 삶을 재편할 것이다. 모두가 늦기 전에 Agent First 패러다임에 대비하여, 새로운 기술 시대의 주역으로 나아가길 기대한다.