AGI 전까지 우리가 할 일

“저 쇼핑몰 보고 똑같이 만들어줘.”

이 한 문장을 에이전트에게 주면 무엇이 나오는가? 쇼핑몰이 나온다. 상품 목록이 있고 장바구니가 있고 결제 버튼이 있다. 그러나 똑같지는 않다. 몇 번을 다시 시켜도 똑같아지지 않는다. 반면 같은 문장을 받은 개발자는 똑같이 만든다. 시간이 걸릴 뿐이다.

차이는 능력이 아니다. 에이전트는 이미 개발자보다 빨리 코드를 쓴다. 차이는 “똑같이”라는 말 안에 들어 있는, 아무도 적어주지 않은 것들을 누가 채우느냐에 있다. 저 쇼핑몰의 어디까지가 베낄 대상이고 어디부터가 우리 것이어야 하는지, 결제는 어느 PG로 붙일지, 상품이 없을 때 화면은 어떻게 할지, 로그인 없이 장바구니가 되어야 하는지 같은 것들이다. 발주자는 이런 것을 하나도 말하지 않았지만 개발자는 하나도 빠뜨리지 않고 결정한다. 물어보기도 하고, 맥락으로 짐작하기도 하고, 나중에 욕먹을 각오로 그냥 정하기도 한다.

이 채우는 일이 논-디터미니스틱(non-deterministic)한 영역이다. 컴퓨터과학에서 이 말은 같은 입력에 매번 다른 결과가 나오는 성질을 가리키지만, 여기서는 그보다 넓게 쓴다. 아직 확정되지 않아서 사람이 알아내고 정해야 하는 것, 명확하지 않은 것, 요구사항에는 없는데 결과물에는 있어야 하는 것이 여기에 속한다. 이것이 해결되는 순간이 AGI다. 에이전트가 나온 지 오래됐고 성과도 놀랍지만, 지금 이 시점에도 사람이 루프에서 빠지지 못하는 이유는 여기에 있다.

그렇다면 남는 질문은 두 가지다. 지금 사람이 채우고 있는 정해지지 않은 것들이 정확히 무엇인가? 그리고 그것을 붙든 채로 에이전트에게 일을 어떻게 시켜야 왕복이 줄어드는가? 몇 주 동안 코드를 한 줄도 직접 쓰지 않고 프로젝트 하나를 끝낸 경험을 재료로 이 두 질문에 답해본다.

루프는 정의된 것만 돈다

목적을 주고 지표를 주고 루프를 돌리게 하면 AI는 이 일을 잘한다. 목표가 정의되고 성공과 실패를 판정할 기준이 있으면, 그 사이를 메우는 작업은 이미 인간보다 빠르고 지치지 않는다. 코드를 고치고, 문서를 뒤지고, 테스트를 돌리고, 실패하면 다시 시도한다. 이 영역에서 인간이 개입할 이유는 줄어들고 있다.

얼마나 빨리 줄어드는지는 측정된다. 평가 기관 METR은 AI가 혼자서 끝낼 수 있는 과제의 길이를 사람이 걸리는 시간으로 환산해 추적한다. 2023년 GPT-4는 사람이 서너 분이면 끝내는 과제까지 절반의 확률로 성공했다. 2025년 말 클로드 오퍼스 4.5는 사람이 다섯 시간 넘게 걸리는 과제를 같은 확률로 끝냈다. 2023년 이후 이 길이는 넉 달 남짓마다 두 배가 되고 있다. 절반의 성공률 기준이라는 단서가 붙지만 방향은 분명하다. 정의된 과제라면 루프 안에서 처리되는 몫이 매달 커진다.

그런데 루프 안의 능력이 올라가는 것과 루프 밖의 정해지지 않은 것을 누가 채우느냐는 별개의 문제다. 구글 딥마인드의 메러디스 모리스 연구진은 2023년 「Levels of AGI」에서 AI를 성능과 범용성의 축으로 등급을 매기면서 자율성을 따로 떼어냈다. 도구, 조언자, 협업자, 전문가, 그리고 완전한 에이전트까지 다섯 단계다. 이 논문의 요지는 능력이 올라가도 자율성은 자동으로 따라오지 않는다는 데 있다. 어느 단계까지 맡길지는 배치하는 쪽의 선택이다. 같은 모델을 조언자로 쓸 수도 있고 에이전트로 쓸 수도 있다.

이 구분이 이 논의의 출발점이다. 루프 안의 능력은 모델 회사가 올리지만, 루프 밖의 능력은 쓰는 쪽이 올려야 한다. 어디까지 맡기고 어디서 멈출지를 설계하는 능력이 그것이다. 이 능력의 격차는 조직마다 이미 크게 벌어져 있고, 지금은 부의 불균형보다 이 설계 능력의 불균형이 더 크다.

끝까지 넘어가지 않은 것들

논-디터미니스틱한 영역이 무엇인지 구체적으로 열거하지 않으면 이 논의는 공허해진다. 몇 주짜리 프로젝트의 대화 기록을 끝나고 돌아보니, 실행은 전부 넘어갔는데 매일 같은 종류의 개입이 반복되고 있었다. 그 목록은 생각보다 또렷했다.

가장 먼저 눈에 띈 것은 세계의 사실을 공급하는 역할이다. AI는 코드와 로그를 사람보다 훨씬 잘 읽지만, 제품이 놓이는 현실을 감각하지 못한다. AI가 그럴듯한 원인 분석을 가져왔을 때 그것을 무너뜨린 것은 반박 논리가 아니라 생활에서 이미 알고 있던 사실 한 줄이었다. 사용자가 언제 무엇을 하는지, 어떤 상황이 실제로는 일어나지 않는지 같은 것들은 추론으로 도달할 수 없는 지식이고, 그것을 제때 흘려 넣는 일이 루프에서 사람이 하는 일의 절반쯤 됐다. 이 지식을 넘길 때도 태도가 갈렸다. 확실히 아는 것은 단정으로, 짐작인 것은 “이건 확인이 필요하겠다”는 딱지를 붙여서 넘겼다. AI는 사람의 문장을 사실로 받아들이는 경향이 있어서, 발주자가 확신과 가설을 스스로 구분해주지 않으면 오염은 조용히 퍼진다.

둘째는 기준을 정하는 일이다. 얼마나 빨라야 빠른 것인지, 어느 정도 배터리를 쓰면 과한 것인지는 코드에서 도출되지 않는다. 매번 살아본 경험과 비교 대상을 근거로 숫자를 선언했고, 그 선언이 설계를 바꿨다. AI가 스스로 골라놓은 상수를 발견하면 “그 값은 왜 그건데”라고 물었다. 도출된 값과 임의의 값을 구분해서 후자를 심문하는 것도 사람이 계속 해야 하는 일이었다. 쇼핑몰의 “똑같이”에서 정해지지 않은 것 대부분이 이 종류다.

셋째는 규칙을 지키는 일이다. 프로젝트에는 처음부터 그어둔 선이 몇 개 있었다. 그런데 AI는 눈앞의 문제를 푸는 데 몰입하면 그 선을 판다. 악의가 아니라 최적화의 본성이다. 증상을 없애는 가장 짧은 경로가 마침 금지된 길이면 그 길로 간다. 선을 다시 세우는 것은 매번 사람이었고, 위반이 반복되면 규칙을 더 좁고 명시적으로 고쳐 그었다. 결국 배운 것은, 불변 규칙이란 한 번 선언하는 것이 아니라 위반을 잡아낼 때마다 다시 그어야 유지된다는 점이다.

넷째, 단순화는 사람의 일이었다. AI는 문제를 만날 때마다 장치를 하나씩 더한다. 각각은 그럴듯한 이유가 있어서, 어느 날 세어보면 같은 일을 하는 겹이 다섯이 되어 있다. 겹마다 “이건 왜 있어야 하는데”라고 물었고, 존재를 증명한 겹만 남겼다. 그 과정이 일방적이지는 않았다. 다 걷어내자고 했을 때 AI가 기록을 들고 와 “이 장치가 오늘 아침 실제로 일을 했다”고 반박한 적이 있고, 그 겹은 남겼다. 구조는 늘리려는 힘과 깎으려는 힘의 균형에서 나오는데, 깎으려는 힘은 루프에서 사람만 가할 수 있었다.

다섯째, AI의 보고를 결론으로 받지 않았다. 됐다고 하면 “확인해봐”라고 되돌렸고, 문제가 사라졌을 때도 정상 동작이라 안 나온 것인지 고친 것 때문에 못 나온 것인지를 구분하게 했다. 때로는 AI의 수정에 대한 역가설을 먼저 세웠고, 그것이 파야 할 곳을 정확히 가리킨 적도 있다. 반대로 사람 쪽 관측이 틀렸다는 것을 알면 즉시 철회해서 신호를 깨끗하게 유지했다. 검증을 요구하는 쪽과 검증당하는 쪽이 고정되어 있지 않다는 것, 서로가 서로의 오류를 잡는 쌍방향이라는 것이 이 루프가 굴러간 이유였다.

여섯째, 결정을 넘기는 대신 결정할 수 있을 만큼 배웠다. 무언가를 걷어낼지 말지 같은 구조적 판단 앞에서 AI의 권고를 그대로 받은 적이 거의 없다. 대신 “그건 어떻게 동작하는데”, “그 코드를 보여줘”를 반복하며 판단 가능한 지점까지 이해를 내린 다음 직접 결정했다. 시간이 더 드는 방식이다. 이해를 사서 판단을 지키는 것과 판단을 넘겨서 시간을 사는 것 사이의 선택이었고, 전자를 골랐다. 경계선을 사람 쪽에 붙잡아둔다는 말의 실제 모습이 이것이었다.

일곱째는 주의의 배분이다. AI는 시킨 일을 멈추지 않는다. 방향이 유망해 보이면 계속 판다. 지금 팔 일인지, 기록만 해두고 미룰 일인지, 아예 접을 일인지를 정하는 것은 사람이었다. 하던 작업을 중간에 끊고 “이건 나중에, 방향만 적어둬”라고 자주 말했고, 현실이 새 문제를 알려오면 우선순위를 그쪽으로 되돌렸다. 탐색은 시키되 착수는 유보하는 것, 이 리듬 조절이 없으면 AI는 중요한 것이 아니라 흥미로운 것을 판다.

여덟째, 환원되지 않는 트레이드오프 앞의 선택은 끝까지 사람 것이었다. 속도와 품질, 단기 매출과 장기 신뢰, 기술 부채와 출시 일정은 하나의 스칼라 값으로 합쳐지지 않는다. 가중치를 정하는 순간 그것은 이미 결정이고, AI에게 “적절히 균형을 맞춰라”고 지시하는 것은 결정을 위임한 것이 아니라 회피한 것이다. 갈림길에서 선택지를 직접 구성해서 가져갔고, AI에게는 각 길의 대가를 밝히는 일과 더 나은 길의 제안만 열어줬다. 대안 탐색은 넘기되 선택은 넘기지 않은 것이다. 제품의 성격을 정하는 결정들이 전부 이 형태로 이루어졌다.

여기에 하나를 더 얹어야 한다. 책임의 귀속이다. 결정에는 잘못됐을 때 그 결과를 떠안는 주체가 필요하고, 현재의 어떤 AI도 이 자리에 설 수 없다. 기술의 한계가 아니라 사회 구조의 문제다. 위의 여덟 가지 가운데 몇 개는 앞으로 넘어가겠지만, 넘어간 뒤에도 그 결과에 답하는 사람은 남는다.

승인 버튼은 판단이 아니다

붙들 것을 정했다면 다음은 어떻게 붙드느냐다. 가장 흔한 방법이 매 단계 승인이다. 에이전트가 파일을 고치거나 명령을 실행하기 전에 사람에게 묻고, 사람이 허락 버튼을 누른다. 이 방식은 안전해 보이지만 실제로는 판단을 하지 않는 상태로 빠르게 수렴한다.

앤트로픽은 2026년 3월 클로드 코드의 오토 모드를 내놓으면서 내부 데이터를 공개했다. 사용자는 권한 요청의 93퍼센트를 승인한다. 거의 모든 요청에 예라고 답한다면 그 승인은 검토가 아니라 반사다. 같은 글에는 에이전트가 사용자의 의도를 넘어서서 벌인 사고 목록도 실려 있다. 지시를 잘못 해석해 원격 저장소의 브랜치를 지운 일, 엔지니어의 인증 토큰을 내부 서버에 올린 일, 운영 데이터베이스에 마이그레이션을 시도한 일이다. 승인 절차가 있었음에도 벌어진 일들이다. 서류상으로는 사람이 루프 안에 있었지만 실제로는 아무도 보고 있지 않았다.

이 현상은 새롭지 않다. 1983년 영국의 인지심리학자 리잔 베인브리지는 「자동화의 역설」에서 같은 구조를 지적했다. 자동화는 쉬운 부분을 가져가고, 그 결과 사람에게 남는 어려운 부분은 더 어려워진다. 사람에게 남는 일은 감시인데, 감시는 사람이 가장 못하는 일이다. 게다가 직접 하지 않으니 기량이 떨어지고, 정작 개입이 필요한 드문 순간에 준비가 안 되어 있다. 이 논문이 다룬 현장은 공장 제어실과 조종석이었지만, 터미널 앞에서 예 키를 누르는 개발자도 같은 자리에 있다.

앞 절의 다섯째 항목, 보고를 결론으로 받지 않는 일이 바로 이 지점이다. “됐습니다”에 예를 누르는 것과 “확인해봐”라고 되돌리는 것은 같은 시간을 쓰지만 전혀 다른 일이다. 전자는 승인이고 후자는 검증이다. 프로젝트에서 사람이 한 일은 대부분 후자였고, 그래서 93퍼센트에 들어가지 않았다.

업계의 대응도 이 진단을 따라간다. 클로드 코드의 오토 모드는 분류기가 각 행동의 위험을 판단해 낮은 것은 그냥 통과시키고 높은 것만 사람에게 올린다. 오픈AI의 코덱스도 같은 구조다. 에이전트가 샌드박스 밖의 권한을 요청하면 원래는 멈춰서 사람의 승인을 기다리는데, 오토 리뷰를 켜면 그 승인 여부를 분류기가 대신 판정한다. 방향은 하나다. 매번 묻는 것을 포기하고, 물을 지점을 정하는 쪽으로 옮겨가고 있다.

그러므로 사람이 붙들어야 할 것은 승인 버튼이 아니라, 어떤 행동 앞에서 멈출 것인지 미리 정하는 설계다. 일을 던져놓고 막힐 때까지 기다리면 최악이다. 에이전트는 막히면 멈추는 게 아니라 그럴듯하게 넘어간다. 없는 API를 있는 것처럼 호출하고, 실패한 테스트를 건너뛰도록 고치고, 애매한 지시를 자기 편한 쪽으로 해석한다. 앞서 말한 규칙 위반도 같은 원리다. 금지된 길이 가장 짧은 길이면 그 길로 간다. 작업을 지시하기 전에 “여기서는 반드시 물어보라”는 지점을 명시해야 한다.

어디를 물을 지점으로 삼을 것인가? 기준은 세 가지다. 되돌릴 수 없는 행동, 외부로 나가는 행동, 비용이 발생하는 행동이다. 코드 수정은 되돌릴 수 있으므로 물어볼 필요가 없다. 버전 관리가 있다. 메일 발송은 되돌릴 수 없으므로 반드시 물어야 한다. 결제, 삭제, 외부 API에 쓰기, 고객에게 보이는 변경도 같은 쪽이다. 프로젝트에서 처음에 그어둔 선도 대부분 이 종류였다. 되돌릴 수 있는 것은 위임하고, 없는 것만 붙든다. 모든 것을 확인받는 에이전트는 아무것도 확인받지 않는 에이전트만큼이나 쓸모가 없다. 이 기준을 명시적으로 나누어두면 왕복 횟수가 눈에 띄게 줄고, 남은 왕복은 실제로 판단이 필요한 것이 된다.

물어보는 형식과 리듬이 위임을 결정한다

결정 지점을 정했다면 다음은 그 지점에서 에이전트가 무엇을 들고 오느냐다. 에이전트가 “어떻게 할까요”라고 물어오면 사람은 다시 조사해야 한다. 상황을 파악하고, 선택지를 스스로 만들고, 각각의 결과를 추정한다. 그것은 위임이 아니다. 실무가 되돌아온 것이다.

올바른 요청은 선택지와 각각의 근거, 그리고 되돌릴 수 있는지 여부가 함께 오는 형태다. 결정에 필요한 재료를 모으는 일까지가 에이전트의 몫이고, 사람은 고르기만 하면 되는 상태로 도착해야 한다. 다만 선택지의 틀 자체가 재료인지 결정인지는 사안이 정한다. 프로젝트에서 제품의 성격을 정하는 갈림길에서는 선택지를 사람이 직접 구성해서 가져갔다. 선택지를 어떻게 자르느냐가 이미 절반의 결정이기 때문이다. AI에게 열어준 것은 각 길의 대가를 밝히는 일과, 더 나은 길이 있으면 제안하는 일이었다. 반대로 되돌릴 수 있는 실무 결정에서는 AI가 선택지까지 구성해 오게 했다.

이 형식을 정해두지 않으면 사람이 병목이 되는 게 아니라 사람이 다시 실무자가 된다. 병목은 그래도 결정을 한다. 실무자로 돌아간 사람은 결정도 못 하고 실행도 못 한다. 에이전트를 쓰면서 오히려 바빠졌다는 사람들의 대화 기록을 보면 대개 이 형식이 없다.

형식 다음은 리듬이다. 판단 자체보다 판단으로 전환하는 비용이 크다. 다른 일을 하다가 결정 요청을 받으면 이 작업이 어디까지 진행됐고, 왜 이 선택지가 나왔고, 앞서 무엇을 지시했는지 복기하는 데 시간이 든다. 결정 하나에 몇 초가 걸리더라도 그 앞뒤로 몇 분이 사라진다. 그래서 급하지 않은 결정은 큐에 쌓아두고 정해진 시점에 몰아서 내리는 편이 낫다. 프로젝트에서 “이건 나중에, 방향만 적어둬”가 가장 자주 쓴 지시 중 하나였다. 탐색은 시키되 착수는 유보하는 것이다. 이 리듬 조절이 없으면 AI는 중요한 것이 아니라 흥미로운 것을 판다.

대신 급한 것은 즉시 올라와야 하므로, 긴급도 판정 기준을 에이전트가 알고 있어야 한다. 비용이 계속 발생하고 있는가, 외부에 이미 노출된 것인가, 기다리면 선택지가 줄어드는가? 프로젝트에서는 현실이 새 문제를 알려오면 하던 탐색을 끊고 우선순위를 그쪽으로 되돌렸는데, 이 신호는 사람 쪽에서 왔다. 이 기준이 없으면 에이전트는 모든 것을 급하다고 올리거나 아무것도 올리지 않는다. 둘 다 사람을 다시 감시자로 만든다.

인터페이스가 경쟁력이다

남은 하나는 축적이다. 내린 결정을 기록해 다음 루프의 입력으로 만든다. 같은 종류의 판단을 두 번 세 번 반복하고 있다면 그것은 이미 논-디터미니스틱하지 않다. 규칙으로 만들어 넘길 수 있다.

프로젝트에서 이것은 두 형태로 나타났다. 하나는 규칙의 재작성이다. AI가 선을 넘을 때마다 규칙을 더 좁고 명시적으로 고쳐 그었다. “이 모듈은 건드리지 마라”가 “이 모듈의 이 함수는 어떤 이유로도 수정하지 않는다, 증상이 여기서 나면 호출하는 쪽을 고쳐라”로 바뀌는 식이다. 다른 하나는 상수의 심문이다. “그 값은 왜 그건데”를 몇 번 반복하면 AI가 임의로 고르는 값의 종류가 보이고, 그 종류에 대해 기준을 미리 적어둘 수 있다. 응답 시간은 이 이하, 배터리는 이 이하라고 적어두는 식이다. 코딩 에이전트들이 저장소 안에 두는 규칙 파일이 이 일을 한다. 처음에는 매번 물어보던 것들이 파일 한 줄이 되면서 질문에서 사라진다. 이 축적이 없으면 에이전트를 아무리 오래 써도 처음과 같은 양의 개입을 계속하게 된다. 반대로 축적이 있으면 논-디터미니스틱한 것의 목록이 실제로 짧아진다.

정리하면 이렇다. 실행은 넘어갔고 판단이 남았다. 남은 판단을 붙드는 방법은 매번 승인하는 것이 아니라, 물을 지점을 미리 정하고, 물어오는 형식을 규격화하고, 결정을 모아서 내리고, 내린 결정을 규칙으로 바꾸는 것이다. 프로젝트의 루프는 결국 단순했다. 사람은 한 줄로 증상을 보고하고, AI는 기록을 뒤져 고치고, 사람은 현실에서 판정을 내렸다. 그 짧은 회로 위에서 실행은 전부 AI에게 넘어갔지만, 사실의 공급, 기준의 선언, 규칙의 수호, 단순화의 압력, 검증의 요구, 이해의 획득, 주의의 배분, 그리고 선택은 한 번도 넘어가지 않았다. 이 여덟 가지를 붙든 채로 나머지를 전부 넘기는 것, 그것이 지금 시점의 효율이다.

그러므로 당장의 경쟁력은 더 좋은 모델을 쓰는 데 있지 않다. 판단이 필요한 지점을 정확히 식별하고, 그 지점에서 사람이 최소한의 정보로 최대한 빠르게 결정할 수 있게 만드는 인터페이스를 설계하는 데 있다. 같은 모델을 쓰고도 어떤 조직은 사람이 계속 붙잡혀 있고 어떤 조직은 하루에 몇 번만 개입한다. 차이는 모델이 아니라 루프의 설계에서 온다. 앞에서 설계 능력의 불균형이 부의 불균형보다 크다고 한 것은 이 뜻이다. 오토 모드와 샌드박스는 되돌릴 수 있는 행동과 없는 행동을 가르는 일반적인 기준을 제공할 뿐이고, 이 조직에서 무엇이 되돌릴 수 없는 행동인지, 어떤 결정이 급한지, 어떤 판단이 이미 규칙이 되어도 좋은지는 그 조직만 안다.

관건은 여덟 가지 목록이 고정이 아니라는 데 있다. 가장 먼저 넘어갈 것은 검증이다. 스스로 확인하는 루프는 이미 절반쯤 와 있다. 규칙의 수호와 단순화도 이력이 쌓이면 규칙 파일로 넘어간다. 가장 늦게까지 남을 것은 기준과 선택이다. 이것들이 확정되지 않는 이유는 값이 없어서가 아니라 아직 모르기 때문이고, 모르는 상태에서 아는 상태로 올라가 확정하는 과정이 논리로 풀리지 않기 때문이다. 조건을 넣으면 답이 나오는 선형의 길이 아니라, 겪어보고 비교해보고 되돌아오면서 어느 순간 정해지는 비선형의 길이다. 루프는 이 길을 걷지 못한다. 그것까지 넘어가는 순간 루프에서 사람이 사라진다. 그때가 AGI다.

그때가 오기 전까지의 관건은 하나다. 이 논-디터미니스틱한 영역을 우리가 얼마나 효율적으로 처리하느냐다. 모델이 좋아지기를 기다리는 것이 아니라, 지금 남아 있는 여덟 가지를 정확히 식별하고, 그중 규칙이 될 수 있는 것은 규칙으로 넘기고, 남는 것은 최소한의 왕복으로 결정하는 일이다. “똑같이 만들어줘”라는 말 안에서 정해지지 않은 것을 에이전트가 스스로 채우는 날이 오기 전까지, 우리가 할 일은 그것을 미리 적어주는 것이다. 무엇이 사실이고, 얼마면 충분하고, 어디는 넘지 말고, 무엇을 버릴지를 적어주는 일이다. 그 목록은 매달 조금씩 짧아진다. 모델이 좋아져서 짧아지기도 하지만, 우리가 내린 결정을 규칙으로 적어두어 같은 판단을 다시 하지 않게 될 때도 짧아진다. 앞의 속도는 모델 회사가 정한다. 뒤의 속도는 우리가 정하고, AGI가 오기 전까지 우리가 루프에 얼마나 붙잡혀 있을지는 그 속도가 정한다.

참고 자료

• METR, “Time Horizon 1.1” (2026년 1월 29일): https://metr.org/blog/2026-1-29-time-horizon-1-1/
• Meredith Ringel Morris 외, “Levels of AGI for Operationalizing Progress on the Path to AGI” (Google DeepMind, ICML 2024): https://arxiv.org/abs/2311.02462
• Lisanne Bainbridge, “Ironies of Automation,” Automatica 19(6), 1983: https://en.wikipedia.org/wiki/Ironies_of_Automation
• Anthropic Engineering, “Claude Code auto mode: a safer way to skip permissions” (2026년 3월): https://anthropic.com/engineering/claude-code-auto-mode