프롬프트에 ‘잘하라’고 써도 모델은 못 한다 (Anthropic)

원본 영상: 프롬프트에 ‘잘하라’고 써도 모델은 못 한다 (Anthropic) · 채널 Recent AI

Part 1 — 핵심 인사이트

프롬프트 성능은 구조가 무너지면 함께 무너진다.
평가 없이는 개선인지 우연인지 구분할 수 없다.
과거 모델용 방어문구가 새 모델에선 독이 될 수 있다.
지시만으로 안 되면 능력을 주는 도구가 필요하다.

Part 1 — 요약

이 영상은 복잡하게 누적된 프롬프트를 새 모델로 옮길 때 왜 성능이 흔들리는지, 그리고 무엇을 기준으로 고쳐야 하는지를 설명한다. 핵심은 '잘하라'는 식의 모호한 지시보다, 구조를 분리하고 평가를 붙여 어떤 변경이 실제 개선인지 검증해야 한다는 점이다. 역할, 정책, 지침, 데이터가 뒤섞인 프롬프트를 정리하면 모델이 이해하기 쉬워지고, 실제 평가 점수도 개선될 수 있음을 보여준다.

또한 모델이 단순히 환각을 줄여야 하는 게 아니라, 이미 알고 있는 정보를 불필요한 방어 규칙 때문에 숨기는 문제도 있다는 점을 짚는다. 과거 모델의 버그를 막기 위해 넣은 패치가 새 모델에서는 오히려 과잉 최적화가 될 수 있으므로, 버전 관리와 회귀 테스트가 중요하다고 강조한다. 마지막으로 계산처럼 능력이 필요한 작업은 지시만으로 해결되지 않으며, 도구를 붙여 모델이 실제로 수행할 수 있게 만들어야 한다는 실용적 원칙을 제시한다.

Part 2 — 핵심 인사이트

지시는 능력을 만들지 않고, 도구가 능력을 만든다.
한쪽만 강조한 규칙은 모델을 쉽게 오버핏시킨다.
복잡한 작업은 한 번에보다 분리된 루프가 더 안정적이다.
생성·평가·수정 분리는 품질과 효율을 함께 올린다.
소프트 제약은 코드 수정 없이 런타임에서 다루는 게 좋다.

Part 2 — 요약

이 영상은 LLM에게 '잘하라'고 지시하는 것만으로는 능력이 늘지 않으며, 필요한 것은 툴 제공과 문제를 쪼개는 구조라는 점을 반복해서 보여준다. 계산 문제에서는 모델이 정신연산을 잘하게 만드는 대신 도구를 붙여 정답을 안정적으로 내게 하고, 고객 응대 문제에서는 한쪽 면만 강조한 지시가 오히려 잘못된 행동을 유도한다는 점을 짚는다.

후반부에서는 하나의 큰 프롬프트보다 생성-평가-수정(generate-evaluate-repair) 루프를 분리해 운영하는 접근이 더 적은 토큰과 낮은 지연으로 더 좋은 결과를 낸다고 설명한다. 또한 이런 구조를 쓰면 런타임에서 소프트 제약을 주입해 케이스별 요구를 유연하게 반영할 수 있어, 실제 업무 자동화에 더 적합하다는 메시지를 전달한다.