원본 영상: Andrej Karpathy — “We’re summoning ghosts, not building animals” · 채널 Dwarkesh Patel
카파시는 AI 에이전트가 곧바로 현실을 바꿀 것이라는 낙관을 경계하며, 실제로는 '에이전트의 दशक'이 될 것이라고 말한다. 지금의 Claude, Codex 같은 도구는 인상적이지만 아직 충분한 지능, 멀티모달 능력, 컴퓨터 사용, 지속 학습이 부족해 사람처럼 일하는 수준에는 못 미친다는 것이다. 그래서 이 문제를 해결하는 데는 대략 10년 정도가 걸릴 것이라고 본다.
이어 그는 지난 15년의 AI 흐름을 돌아보며, 과제가 하나씩 쌓이면서도 기술이 너무 이른 단계에 에이전트에 도전했던 시기들이 있었다고 평가한다. Atari 강화학습이나 OpenAI의 초기 웹 에이전트 시도는 시대를 앞선 측면이 있었고, 먼저 LLM과 표현 학습이 성숙해야 그 위에 에이전트를 얹을 수 있다는 점을 강조한다. 또한 인간이나 동물을 그대로 모델로 삼는 접근에 조심스러워하며, 현재의 AI는 '동물'이 아니라 인간 데이터를 모방해 만들어진 'ghosts'에 가깝다고 설명한다.
이 영상은 인간·동물·LLM의 학습을 비유로 삼아, 사전학습(pre-training)과 in-context learning의 차이를 집중적으로 논한다. 화자는 동물의 학습을 단순한 강화학습(RL)로 보기 어렵고, 오히려 진화가 알고리즘을 만들고 그 위에서 평생 학습이 일어나는 구조에 가깝다고 본다. 이를 LLM에 적용해, 사전학습은 인터넷 문서를 압축해 지식과 기본 능력을 심는 과정이고, in-context learning은 테스트 시점의 작업 기억처럼 직접 접근 가능한 적응 메커니즘이라고 설명한다.
핵심 메시지는, 모델의 '지식'과 '지능'을 분리해 생각해야 한다는 점이다. 사전학습은 방대한 정보를 압축해 넣기 때문에 기억은 희미해지지만, 컨텍스트 창 안의 정보는 훨씬 직접적으로 활용된다. 그래서 더 나은 에이전트를 만들려면 단순히 지식을 더 넣는 것보다, 불필요한 지식을 덜어내고 'cognitive core'를 강화하는 방향이 중요하다고 주장한다.
이 구간에서 카르파티는 현재의 모델이 인간 지능을 아직 충분히 복제하지 못했다고 보면서도, transformer를 중심으로 한 딥러닝이 뇌의 일부 기능을 매우 거칠게 닮아 있다고 비유한다. 특히 reasoning, planning, reinforcement learning, 장기 기억, 감정과 본능 같은 요소는 아직 많이 비어 있다고 지적하며, 인간 뇌를 그대로 재현하는 방향보다는 공학적으로 더 나은 시스템을 만드는 쪽이 맞다고 말한다.
또한 continual learning이 저절로 생겨날 것이라는 낙관론에는 회의적이며, 인간처럼 '깨어 있는 동안의 경험을 잠들며 가중치로 증류하는' 메커니즘이 모델에는 없다고 본다. 이어서 미래 10년의 AI도 본질적으로는 거대한 신경망과 gradient descent를 유지하되, sparse attention, sparse MLP, 더 큰 데이터·하드웨어·소프트웨어·알고리즘이 함께 진화하는 형태가 될 것이라고 전망한다. 마지막으로 nanochat 제작 경험을 통해, 복잡한 챗봇은 단일 기술이 아니라 전체 파이프라인과 이를 어떻게 쌓아 올리느냐까지 포함한 'chunk-growing' 과정임을 강조한다.
안드레 카파시가 코드를 ‘이해한다’는 것은 직접 만들 수 있어야 한다는 철학을 강하게 다시 말한다. 그는 LLM을 전면 거부하는 것도, 에이전트에 전적으로 맡기는 것도 아니라, 자신이 가장 많이 쓰는 지점은 오토컴플리트라고 정리한다. 반면 nanochat처럼 독특하고 정교하게 설계된 저장소에서는 모델이 기존 인터넷 코드의 관성과 과잉 방어 로직에 끌려가며 오히려 스타일을 망치고 복잡성을 늘린다고 비판한다.
대화는 여기서 더 나아가, 현재의 AI가 특히 약한 영역이 ‘아직 한 번도 쓰인 적 없는 코드’를 새로 통합하고 맥락에 맞게 정렬하는 능력이라는 점으로 이어진다. 그래서 AI가 곧바로 AI 연구/엔지니어링을 폭발적으로 자동화해 초지능으로 이어진다는 서사는 과장일 수 있고, 당분간은 컴파일러나 linting처럼 생산성을 높이는 ‘점진적 자동화’에 가깝다는 주장으로 정리된다. 카파시는 이를 인간이 낮은 수준의 일을 조금씩 덜 하고 더 높은 추상화 층으로 올라가는 ‘autonomy slider’로 묘사한다.
이 대화는 강화학습(RL)이 흔히 생각하는 것만큼 훌륭한 방법이 아니며, 특히 최종 보상만으로 전체 궤적을 학습시키는 방식은 '슈퍼비전을 빨대로 빨아들이는' 것처럼 거칠고 잡음이 많다는 비판에서 출발한다. 카파시티는 인간은 그런 식으로 배우지 않으며, 실제로는 결과를 본 뒤에 무엇을 잘했고 잘못했는지 반성·리뷰하는 더 정교한 과정이 있다고 본다.
이어 그는 InstructGPT 같은 모방학습의 놀라운 성공과, RL이 그보다 조금 낫지만 여전히 부족하다는 점을 대비시킨다. 특히 process-based supervision과 LLM judge를 이용한 자동 채점은 매력적이지만, LLM이 쉽게 adversarial example에 속아 reward hacking이 발생하므로 장기적으로는 더 나은 판정 방식과 새로운 알고리즘적 아이디어가 필요하다고 주장한다.
이 영상은 LLM이 인간처럼 '읽고 생각하고 반성하는' 방식으로 학습할 수 있는지, 그리고 왜 지금의 모델들이 합성 데이터만으로는 쉽게 망가지는지를 중심으로 논의한다. 카라파티는 책을 읽는 인간은 단순히 다음 토큰을 예측하는 것이 아니라, 내용을 재해석하고 다른 사람과 대화하며 지식을 재구성한다고 본다. 반면 LLM은 자기 생성 샘플이 조용히 '붕괴된 분포'에 머물러 다양성이 부족하고, 이것이 반복 학습과 synthetic reflection을 위험하게 만든다고 말한다.
또한 그는 인간과 LLM의 차이를 기억과 일반화의 관점에서 비교한다. LLM은 너무 잘 외우는 반면, 인간은 기억이 약한 대신 더 큰 패턴을 보게 되고, 어린이는 특히 기억은 약하지만 새로운 것을 잘 배운다. 이런 대비를 통해 그는 모델에서 일부 기억을 줄이고, 사고의 알고리즘과 외부 조회 능력을 강화하는 방향이 더 바람직할 수 있다고 시사한다. 모델 다양성을 높이는 단순한 해법은 있을 수 있지만, 분포 이탈과 평가 난이도 때문에 실제로는 매우 어렵다는 점도 강조한다.
이 대화는 AI 모델이 앞으로 얼마나 커질지, 혹은 오히려 더 작고 정교해질지에 대한 전망을 중심으로 전개된다. 카르파시는 인터넷 데이터가 너무 지저분하기 때문에 거대한 모델이 많은 부분을 '기억'으로 압축해야 했고, 앞으로의 진전은 더 좋은 데이터, 더 나은 distillation, 더 효율적인 하드웨어/커널/알고리즘 개선에서 나온다고 본다. 따라서 그는 단일한 패러다임 전환보다, 모든 부분이 조금씩 좋아지는 누적형 진보를 더 강하게 예상한다.
후반부에서는 AGI를 어떻게 정의하고 진행 상황을 어떻게 측정할지에 대한 논의로 옮겨간다. 그는 AGI를 원래부터 '경제적으로 가치 있는 어떤 작업이든 인간 수준 이상으로 수행하는 시스템'으로 봐왔고, 그 기준에서 물리적 작업을 제외한 '디지털 지식노동'만 떼어내는 것은 큰 양보라고 지적한다. 또한 AI가 직업 단위가 아니라 태스크 단위로 사회를 재편할 것이며, 예측은 어렵지만 결국 어떤 업무가 자동화 가능한지에 따라 직무 자체가 다시 설계될 것이라고 본다.
이 구간은 AI 자동화가 실제로 어디서 먼저 일어날지에 대한 카르파티의 관점을 다룬다. 그는 방사선과처럼 복잡하고 맥락이 많은 일은 생각보다 자동화가 느리지만, 콜센터처럼 반복적이고 디지털화된 업무는 훨씬 빨리 대체·보조될 수 있다고 본다. 다만 완전한 대체보다 먼저 '자율성 슬라이더'가 등장해, AI가 80%를 처리하고 인간이 나머지를 감독하는 형태가 먼저 확산될 것이라고 말한다.
또한 그는 현재의 LLM/에이전트가 '범용 AI'처럼 보이더라도 실제 경제적 효과는 코드에서 가장 강하게 나타난다고 짚는다. 그 이유로 코드는 텍스트 기반이고, IDE·diff·버전관리 등 이미 AI가 붙기 좋은 인프라가 갖춰져 있기 때문이라고 설명한다. 반대로 슬라이드나 순수 언어 생성 작업은 구조화와 평가가 어려워 기대만큼 가치가 잘 나오지 않는다고 본다. 마지막으로 그는 슈퍼지능을 완전히 새로운 존재라기보다 자동화의 연장선으로 보지만, 그 사회는 매우 낯설고 통제력 상실의 위험을 동반할 것이라고 경고한다.
이 대화는 AI가 정말로 '지능 폭발'을 일으킬지, 아니면 기존의 자동화 흐름을 더 빠르게 이어가는 수준일지에 대한 논쟁이다. 한쪽은 진짜 AGI가 등장하면 대규모의 대체 노동이 생기며 성장률 자체가 꺾이지 않고 더 올라갈 수 있다고 본다. 반대편은 역사적으로 컴퓨터·인터넷·모바일도 GDP 곡선에선 매끈하게 흡수됐듯, AI도 사회 전반에 천천히 확산되며 비슷한 2% 성장 궤도를 유지할 가능성이 크다고 주장한다.
핵심 쟁점은 '지능'이라는 단어가 주는 단일 초지능의 이미지가 아니라, 수많은 AI 에이전트가 경쟁하고 분산적으로 경제에 스며드는 모습이다. 그래서 문제는 한 번에 모든 걸 바꾸는 급격한 전환이 아니라, 이해와 통제의 점진적 상실, 그리고 노동이 자동화되는 속도와 범위가 어느 정도까지 확장되느냐에 있다.
이 구간은 AI가 인류 경제에 어떤 방식으로 영향을 줄지, 그리고 지능이 진화에서 왜 그렇게 드물고 어려운 사건인지에 대한 긴 논쟁을 담고 있다. 한쪽은 AI가 산업혁명처럼 잠재된 작업을 풀어내며 생산성을 급격히 끌어올릴 것이라고 보고, 다른 쪽은 그런 '갑작스러운 점프'보다 점진적 변화가 더 그럴듯하다고 의심한다. 이어서 화제는 생물학적 진화로 옮겨가며, 지능이 왜 동물계에서 드물게 등장했는지, 어떤 생태적 조건이 학습 능력과 적응성을 보상했는지, 그리고 인간의 도구 사용과 환경이 지능의 폭발을 어떻게 가능하게 했는지를 탐구한다.
전체적으로 이 영상은 '지능은 마법 같은 한 번의 발견인가, 아니면 누적된 조건이 만들어낸 결과인가'라는 질문을 중심으로, AI의 미래를 이해하기 위한 사고틀을 제시한다. 특히 학습이 가능한 알고리즘은 단순히 똑똑함의 문제가 아니라, 불확실하고 빠르게 변하는 환경에서 살아남기 위한 진화적 압력의 산물이라는 점을 강조한다.
이 구간은 LLM이 아직 '문화'와 '조직'을 갖지 못한 이유, 그리고 그 빈자리를 메울 수 있는 멀티에이전트 아이디어를 논한다. 카파시는 현재의 모델들이 성능은 뛰어나도 아직은 '어린 학생 같은 존재'라서 자기만의 지식 축적 구조나 상호 학습 구조를 만들지 못한다고 본다. 대신 LLM이 서로를 위해 스크래치패드를 편집하거나, 문제를 만들어 다른 LLM이 푸는 자기대국식 학습을 하는 미래를 상상한다.
이어 그는 자율주행 경험을 바탕으로 '데모에서 제품까지는 긴 여정'이라는 교훈을 강조한다. 자율주행이 오래 걸린 이유는 안전성이 핵심인 영역에서 신뢰도를 90%에서 99.999%로 끌어올리는 'nines의 행진'이 필요했기 때문이며, 소프트웨어 에이전트도 생산환경에서는 그와 비슷한 엄격함이 요구된다고 본다. 동시에 LLM은 이미 일반화 능력을 상당 부분 얻었기 때문에, 자율주행을 새 도시로 옮기는 것 같은 문제는 예전보다 빠를 수 있다는 반론도 함께 검토한다.
이 구간에서는 자율주행을 AI 확산의 비유로 삼아, 기술이 실제로 널리 쓰이기까지는 경제성, 운영비, 규제, 보험, 인간 개입 같은 층위가 함께 해결되어야 한다고 말한다. 겉으로는 '이미 해결된 듯' 보여도, 실제로는 teleoperation과 인프라 비용 때문에 아직 완전히 대규모 자율주행이 도래한 것은 아니라는 점을 강조한다.
이어 AI의 현재 대규모 컴퓨트 투자에 대해, 과도한 비관은 경계하지만 타임라인을 지나치게 낙관적으로 말하는 분위기에는 선을 긋는다. 마지막으로는 자신의 관심이 frontier lab의 성능 향상보다 인간의 역량을 지키는 교육에 있으며, AI가 있는 시대에 교육을 재설계해 'Starfleet Academy' 같은 고급 기술 교육 기관을 만들고 싶다고 밝힌다. 단순한 LLM 질의응답이 아니라 진짜 튜터 경험이 필요하다고 보고, 특히 언어 학습 같은 사례에서 교육의 구조적 변화 가능성을 모색한다.
이 구간에서 카파시는 자신이 한국어를 배울 때 경험한 1:1 튜터의 힘을 출발점으로, 이상적인 학습 경험이란 학생의 현재 수준을 빠르게 파악하고 딱 맞는 난이도의 과제를 주는 것이라고 말한다. 하지만 현재의 LLM은 그런 수준의 적응형 튜터를 자동으로 구현하기엔 아직 부족하므로, 지금 당장은 AI 튜터 자체보다 더 현실적인 교육 제품을 만들어야 한다는 입장이다.
그가 지금 만들고 있는 것은 AI를 활용한 '최고의 AI 강의/코스'이며, nanochat 같은 단순한 풀스택 아티팩트를 통해 지식으로 가는 램프를 만드는 것이 교육의 본질이라고 본다. 앞으로는 AI가 일부 TA 역할을 대신하겠지만, 커리큘럼 설계와 전체 구조는 여전히 사람(교수)의 몫이며, 장기적으로는 오프라인 학교와 디지털 학습 제공이 함께 진화할 것이라고 전망한다. 또한 AGI 이후에는 교육이 생존을 위한 필수재가 아니라, 운동처럼 재미·건강·자기실현을 위한 활동이 될 것이라고 예측한다.
이 구간은 '완벽한 AI 튜터'가 등장하면 학습이 어떻게 바뀔지, 그리고 그것이 단순한 편의가 아니라 인간의 역량을 근본적으로 끌어올리는 장치가 될 수 있다는 비전을 논한다. 사람들은 이미 운동처럼 학습도 체계적으로 훈련할 수 있고, 언어·학부 수준 지식까지 누구나 훨씬 더 멀리 갈 수 있다는 것이 핵심 주장이다.
동시에 온라인 강의가 대중화됐는데도 왜 학습 혁명이 완성되지 않았는지를 짚으며, 문제는 콘텐츠 부족이 아니라 '진입 장벽'과 '동기 유지'라고 말한다. 좋은 튜터는 난이도를 맞추고 막히지 않게 해 학습 자체를 보상적으로 만들며, 당분간은 AI와 인간의 협업이 필요하지만 장기적으로는 AI가 그 역할을 대부분 대체할 수 있다고 전망한다. 이어서 카르파티는 교육이란 복잡한 지식을 잘게 풀어 '이전 단계에만 의존하는 램프'로 만드는 일이며, 물리학식 사고와 micrograd 같은 예제가 그 원리를 가장 잘 보여준다고 설명한다.
이 영상은 좋은 설명과 깊은 학습이 어떻게 만들어지는지에 대한 Andrej Karpathy의 실전 원칙을 모은 대화다. 그는 좋은 교육은 정답을 먼저 주는 것이 아니라, 학생이 먼저 문제를 추측하고 시행착오를 겪게 만들어야 한다고 말한다. 그 과정이 있어야 학습자는 문제의 공간, 목표, 그리고 왜 특정 해법이 맞는지를 더 잘 이해하게 되며, 지식 대비 이해의 밀도가 높아진다고 본다.
또한 전문가는 자신의 분야를 너무 잘 알기 때문에 초보자의 혼란을 놓치기 쉽다는 ‘지식의 저주’를 지적한다. 이를 극복하는 방법으로 ChatGPT를 이용해 ‘멍청한 질문’을 드러내 보거나, 논문이나 글을 런치 자리에서 설명하듯 평이하게 다시 써보라고 제안한다. 마지막으로 그는 배우는 방식에서도 필요할 때 깊게 파고드는 학습과 넓게 훑는 학습을 섞어야 하며, 남에게 다시 설명하는 행위가 가장 강력한 이해 점검 도구라고 강조한다.
요약·핵심 인사이트는 인사이트컷(InsightCut)이 작성했습니다. 원본 영상의 저작권은 Dwarkesh Patel에게 있으며, 영상은 공식 YouTube 플레이어로 재생됩니다.