원본 영상: Ilya Sutskever – We're moving from the age of scaling to the age of research · 채널 Dwarkesh Patel
이 영상은 AI가 이미 놀라울 정도로 똑똑해 보이는데도, 현실의 경제적 영향은 왜 생각보다 느리게 드러나는지에서 출발한다. 화자는 그 원인으로 벤치마크(evals)에서의 고성능과 실제 세계에서의 일반화 능력 사이의 간극, 그리고 RL 학습이 모델을 특정 환경에 과도하게 맞추는 경향을 제시한다.
또한 프리트레이닝과 RL의 차이를 인간의 학습 방식에 비유하며, 프리트레이닝의 강점은 '더 좋은 일반화'라기보다 엄청난 양과 자연스러운 데이터에 있다고 본다. 결론적으로, AI 발전의 핵심은 단순히 평가 점수를 올리는 것이 아니라, 어떤 학습 환경이 진짜 전이 가능한 능력을 만드는지 연구하는 쪽으로 이동해야 한다는 문제의식이 중심에 있다.
이 영상은 프리트레이닝이 인간 학습이나 진화의 역할을 얼마나 대체할 수 있는지, 그리고 그 한계는 무엇인지에 대한 대화를 중심으로 전개된다. 이lya Sutskever는 인간이 적은 데이터로도 더 깊게 배우는 점, 그리고 감정이 사실상 가치함수처럼 의사결정을 돕는다는 점을 들어, 단순히 데이터와 파라미터를 키우는 것만으로는 부족할 수 있다고 말한다.
이어 강화학습에서 흔히 쓰는 사후 보상 방식의 문제를 설명하며, 장기 과제에서는 중간에 잘못된 경로를 빨리 판별해 주는 가치함수가 중요해질 것이라고 본다. 마지막으로 그는 '스케일링'이란 말이 어떻게 ML의 사고를 바꿨는지 짚으면서, 이제는 데이터·연산량만이 아니라 더 넓은 연구 축을 고민해야 할 시점이라고 주장한다.
이 영상은 AI 발전이 단순한 '스케일링'의 시대를 지나 다시 '연구'의 시대로 돌아가고 있다고 주장한다. Ilya Sutskever는 pre-training이 강력한 성공 공식을 제공했지만 데이터와 효율의 한계에 부딪히고 있으며, RL도 결국 더 많은 compute를 쓰는 또 다른 형태의 최적화일 뿐이라고 본다.
그가 가장 중요하게 보는 문제는 모델의 일반화 성능이 인간보다 훨씬 떨어진다는 점이다. 왜 모델은 인간보다 더 많은 샘플이 필요하고, 왜 인간처럼 자연스럽게 가르치기 어려운지, 그리고 이 차이가 진정한 학습 구조의 차이인지 진화적 prior 때문인지 탐구한다. 전체적으로 이 영상은 '다음 세대 AI의 핵심은 더 큰 규모가 아니라 더 나은 학습 원리'라는 메시지를 밀도 있게 전달한다.
이 대화는 인간이 적은 샘플만으로도 빠르게 배우고 스스로 교정하는 이유를, ‘내부 가치함수(value function)’와 높은 견고성에서 찾는다. 특히 10대 운전자의 학습처럼 외부 교사 없이도 즉각적인 자기평가가 가능하다는 점을 들어, 이런 성질을 기계학습에 어떻게 옮길 수 있을지 논의한다.
이후에는 ‘scaling의 시대’가 끝나고 ‘research의 시대’가 온다는 맥락에서, 연구가 정말로 거대한 컴퓨트를 항상 요구하는지 되묻는다. 컴퓨트는 여전히 중요하지만, 진짜 병목은 아이디어와 이를 증명하는 능력이며, 과거에는 계산 자원 부족 때문에 좋은 아이디어가 묻혔고 이제는 반대로 아이디어가 부족해졌다는 관점을 제시한다. 결국 이 영상은 AI 발전의 다음 단계가 단순한 규모 경쟁이 아니라, 새로운 원리와 실험적 검증을 다시 발명하는 연구 문화로 이동해야 함을 강조한다.
이 구간은 SSI가 다른 프런티어 랩보다 연구용 컴퓨트가 생각보다 충분하다고 주장하는 부분에서 시작해, 왜 지금은 수익화보다 연구에 집중하는지 설명한다. 핵심 논리는 대부분의 자금이 추론과 제품 운영에 소모되는 반면, 연구에 실제로 남는 자원은 훨씬 작아지고, 중요한 것은 절대 규모가 아니라 무엇을 위해 어떻게 쓰느냐라는 점이다.
이어지는 논의는 SSI가 왜 superintelligence를 바로 목표로 하는지, 그리고 그 전략의 장단점을 균형 있게 다룬다. 시장 경쟁에서 벗어나 연구에 몰입할 수 있다는 장점이 있는 반면, 세상에 강력한 AI를 더 일찍 보여줘야 안전성과 사회적 적응이 가능하다는 반론도 제시한다. 마지막으로는 AGI와 pre-training이라는 용어가 사고를 과도하게 규정해왔으며, 인간조차도 모든 것을 아는 AGI가 아니라는 점에서 기존 프레임을 다시 생각해야 한다는 메시지로 확장된다.
이 대화는 안전한 슈퍼지능을 어떻게 정의하고 배포할 것인가를 중심으로 진행된다. 핵심 주장은, 미래의 AI는 한 번 완성된 '끝난 지능'이 아니라 세계 속에서 계속 배우는 시스템이어야 하며, 그래서 배포 자체가 일종의 학습 과정이 될 것이라는 점이다. 이런 관점에서는 AI가 여러 직무를 동시에 학습하고, 여러 인스턴스의 학습을 합쳐 기능적으로 초지능에 가까워질 수 있으며, 그 결과 급격한 경제 성장과 생산성 변화가 가능해진다.
동시에 화자는 AI의 진짜 문제는 '지능' 자체보다 '힘(power)'이라고 말한다. 그래서 AI가 더 강력해질수록 사람들은 상상만으로는 감을 잡기 어려워지고, 기업·정부·대중이 실제로 AI를 보여주며 대응하는 방향으로 행동이 바뀔 것이라고 본다. 또한 프런티어 기업 간의 안전 협력, 정부 개입, 점진적 배포의 중요성을 강조하며, 아직 보이지 않는 미래 시스템을 현실에서 어떻게 인식시키고 관리할지가 핵심 과제라고 주장한다.
이 영상은 초지능 시대에 AI가 실제로 '강해 보이기' 시작하면 업계의 안전 인식과 전략이 어떻게 바뀔지에 대한 Ilya Sutskever의 전망을 중심으로 전개된다. 그는 현재의 AI를 보고 미래를 과소평가하고 있다고 말하며, 앞으로는 여러 개의 매우 강력한 AI가 동시에 등장할 가능성이 높고, 그때는 회사들이 훨씬 더 보수적이고 경계심이 강해질 것이라고 본다.
또한 그는 단순한 자기개선 AI보다 '지각 있는 생명(s sentient life)을 돌보도록 정렬된 AI'가 더 바람직한 목표일 수 있다고 주장한다. 다만 진짜 핵심은 현재 방법들이 결국 한계에 부딪힐 것이며, 신뢰할 수 있는 일반화와 정렬의 취약성을 해결하지 못하면 우리가 기대하는 '그것(It)'은 아직 만들지 못한 상태로 남을 것이라는 점이다. 장기적으로는 강력한 AI가 개인을 돕는 구조가 가능하더라도, 사람은 점점 의사결정의 주체에서 빠져나갈 수 있다는 철학적·정치적 문제까지 건드린다.
이 구간은 AI 안전과 인간 정렬(alignment)을 둘러싼 아주 근본적인 문제를 다룬다. 화자는 AI가 인간보다 더 똑똑해지는 상황에서 단순한 통제보다, 인간이 AI와 이해를 공유하는 방향(예: Neuralink류의 결합)이 하나의 해법일 수 있다고 말한다. 이어서 인간의 사회적 욕구와 감정이 진화적으로 어떻게 고차원적으로 '설계'되었는지에 대한 미스터리를 길게 논의하며, 이것이 AI 정렬 문제와 닮아 있다고 본다.
후반부에서는 SSI가 무엇을 다르게 하려는지 묻는 질문에 대해, 아직 검증 중인 연구 가설들을 추적하는 'age of research' 회사라고 설명한다. 또 공동창업자의 Meta 이탈에 대한 의문에는, 당시 회사가 높은 밸류에이션으로 자금조달 중이었고 Meta의 인수 제안을 거절한 맥락을 상기시키며 단순한 한 가지 원인으로 해석할 수 없다고 반박한다.
이 구간은 초지능 시대에 AI 회사들이 어떤 기술·정렬 전략을 택하게 될지에 대한 이لی아 수츠케버의 전망을 중심으로 전개된다. 그는 SSI가 추구하는 접근이 다르다고 보지만, 결국 경쟁자들도 비슷한 방향으로 수렴할 것이라고 말한다. 다만 그 수렴은 단번에 명확해지는 것이 아니라, 더 강한 AI가 등장할 때마다 무엇이 가능한지에 대한 정보가 늘어나며 점진적으로 일어날 것이라고 본다.
또한 그는 미래의 AI 경제가 단일 승자 독식이 아니라 전문화와 니치 경쟁으로 흘러갈 가능성을 강조한다. 한 회사가 모든 일을 독점적으로 처리하기보다, 각 회사가 서로 다른 영역에서 강점을 갖는 구조가 될 수 있다는 것이다. 마지막으로 그는 인간처럼 계속 학습하는 AI를 여러 개 복제해 병렬화하는 발상이 직관적으로는 매력적이지만, 실제로는 사고방식의 다양성이 더 중요하다고 본다.
이 영상의 마지막 구간은 AI 에이전트의 다양성이 왜 잘 생기지 않는지, 그리고 self-play가 LLM 시대에는 어떤 형태로 살아남는지를 다룬다. Ilya Sutskever는 사전학습(pre-training)은 같은 데이터 위에서 이뤄지기 때문에 모델들이 비슷해지지만, RL과 post-training 단계에서는 서로 다른 훈련 방식 때문에 차별화가 생긴다고 말한다.
이어 self-play의 가치는 '데이터 없이 compute만으로 모델을 만든다'는 점에 있었지만, 과거 방식의 self-play는 협상·갈등·전략처럼 좁은 기술만 키우는 한계가 있다고 설명한다. 대신 debate, prover-verifier, LLM-as-a-Judge 같은 적대적 구조가 더 넓은 의미의 self-play로 자리 잡고 있으며, 여러 에이전트를 함께 두고 서로의 접근을 관찰하게 하면 오히려 차별화된 아이디어를 유도할 수 있다고 본다. 마지막으로 그는 자신의 research taste를 '브레인에서 영감을 받되, 아름다움·단순성·정합성을 동시에 만족하는 방향을 믿는 것'으로 정의한다.
요약·핵심 인사이트는 인사이트컷(InsightCut)이 작성했습니다. 원본 영상의 저작권은 Dwarkesh Patel에게 있으며, 영상은 공식 YouTube 플레이어로 재생됩니다.