전진은 더 작은 모델이 아니라 더 좋은 배분이다

Name: 전진은 더 작은 모델이 아니라 더 좋은 배분이다
Duration: 111 s
Channel: Dwarkesh Patel
Description: 전진은 더 작은 모델이 아니라 더 좋은 배분이다 • 프리트레이닝보다 RL·미드트레이닝 효율이 중요해졌다 • 랩은 FLOPs와 비용을 가장 효율적인 단계에 쓴다 • 미래 예측은 규모보다 학습 파이프라인 전체를 봐야 한다

원본 영상: Andrej Karpathy — “We’re summoning ghosts, not building animals” · 채널 Dwarkesh Patel · 구간 1:02:39–1:04:30

이 구간의 핵심

전진은 더 작은 모델이 아니라 더 좋은 배분이다 • 프리트레이닝보다 RL·미드트레이닝 효율이 중요해졌다 • 랩은 FLOPs와 비용을 가장 효율적인 단계에 쓴다 • 미래 예측은 규모보다 학습 파이프라인 전체를 봐야 한다

이 영상의 요약과 다른 핵심 구간 전부 보기 →