How Unify cut its AI agent costs 95% in two weeks

원본 영상: How Unify cut its AI agent costs 95% in two weeks · 채널 LangChain

Part 1 — 핵심 인사이트

  1. AI는 사람을 대체하기보다 사람의 레버리지를 키워야 한다.
  2. 고비용 에이전트는 캐시 적중률이 낮으면 바로 망한다.
  3. 좋은 GTM은 설득이 아니라 문제 보유자 검색이다.
  4. 평가 모델은 원본과 다른 분포여야 편향을 줄인다.
  5. 대규모 자동화는 채팅보다 배치·비동기 구조가 먼저였다.

Part 1 — 요약

이 영상은 UniFi가 AI 에이전트 비용을 두 주 만에 90~95%까지 낮춘 과정과, 그 배경에 있는 제품 철학을 설명한다. 처음에는 대규모 비동기 웹 에이전트로 시장 조사와 리드 판별을 자동화했고, 최근에는 같은 기술을 세일즈 리포의 '백팩 속 엔지니어'처럼 쓰는 채팅형 제품으로 옮겨왔다. 핵심은 AI가 사람을 완전히 대체하는 것이 아니라, 반복적이고 구조화된 업무를 맡아 인간의 생산성을 극대화하는 방향이라는 점이다. 또한 비용 최적화에서는 모델 자체보다 캐시 적중률, 평가 모델 선택, 분산 이해가 더 중요하다고 강조한다.

Part 2 — 핵심 인사이트

  1. 에이전트 하네스는 출력물의 성격에 맞춰 설계해야 한다.
  2. 클라우드 에이전트는 복구 가능성과 비동기성이 필수다.
  3. 탭ular 데이터는 모델보다 연산 인터페이스로 다루는 편이 낫다.
  4. 강한 테넌시 보안은 나중에 붙일 옵션이 아니라 전제다.
  5. 프롬프트 캐싱은 에이전트 비용과 속도를 동시에 좌우한다.

Part 2 — 요약

이 구간은 Unify가 왜 일반적인 코딩 에이전트와 다른 하네스가 필요한지, 그리고 그 요구조건을 어떻게 설계로 풀었는지를 설명한다. 핵심은 에이전트의 결과물이 코드 파일 수정이 아니라 DB의 레코드, 이메일, 표 형태 데이터라는 점이며, 그래서 클라우드에서 오래 살아남고 다시 붙을 수 있어야 하며, 다중 테넌트 보안을 절대적으로 지켜야 한다는 것이다. 또한 CSV 같은 탭ულ러 데이터를 모델이 직접 다루기보다, pandas 비슷한 연산을 TS로 재구현해 비용과 확장성을 맞추는 접근을 택했다. 마지막으로, 반복 호출이 많은 에이전트 특성상 prompt caching이 성능과 비용을 좌우하는 핵심 레버라는 점을 강조한다.

Part 3 — 핵심 인사이트

  1. 프롬프트 캐시는 속도보다 분산 설계가 더 중요하다.
  2. 15 rps 제한을 넘으면 캐시 예열 전략이 필요하다.
  3. response ID를 잘 써야 thinking trace와 품질을 지킨다.
  4. 긴 컨텍스트는 요약보다 fork가 더 싸고 정확할 때가 많다.
  5. 캐시 최적화는 모델 문제가 아니라 시스템 문제다.

Part 3 — 요약

이 영상은 OpenAI 계열 API에서 프롬프트 캐시를 어떻게 설계하고, 그걸 통해 대규모 에이전트 운용 비용을 어떻게 극적으로 줄이는지 설명한다. 핵심은 캐시는 '프롬프트가 같으면 무조건 맞는다'가 아니라 요청 속도, 머신 분산, response ID, thinking token 유지 여부 같은 시스템 제약에 크게 좌우된다는 점이다. 그래서 단순히 모델을 잘 쓰는 것이 아니라, 사용자 ID 해시와 랜덤 fan-out으로 캐시를 분산·예열하는 운영 전략이 필요하다고 주장한다. 또한 fork sub agent 같은 패턴은 긴 대화의 요약 손실과 캐시 미스 비용을 줄이기 위한 실용적인 선택으로 제시된다.

Part 4 — 핵심 인사이트

  1. 대량 자동화의 핵심은 사람의 개입 지점을 잘 설계하는 것이다.
  2. 이메일 에이전트의 가치는 승인·수정 UX에서 크게 갈린다.
  3. 개인화는 말투 복제가 아니라 쓰는 맥락의 학습이다.
  4. 메모리는 자유도보다 검색성과 구조화가 더 중요하다.
  5. 좋은 에이전트는 모델보다 실행 인프라가 먼저다.

Part 4 — 요약

이 영상은 에이전트가 이메일을 대신 쓰더라도, 실제 가치는 ‘완전 자동화’보다 사람의 검토와 수정이 들어가는 지점에서 나온다고 말한다. Unify는 이메일 발송의 신뢰성(중복·누락 방지)을 위한 인프라를 먼저 깔아두고, 사용자에게는 한 통씩 맥락을 보며 빠르게 승인·수정할 수 있는 UX를 제공한다. 특히 대량 이메일에서도 전체를 한 번에 보는 것보다, 몇 개를 빠르게 리뷰하며 피드백을 전체 배치에 적용하는 방식이 더 효율적이라고 본다.

또한 개인화는 단순한 ‘말투 모방’이 아니라, Gmail 전체 이력을 바탕으로 사용자가 제품과 고객을 어떻게 설명하는지까지 학습한 뒤 메모리로 구조화해 재사용하는 과정이라고 설명한다. 이 메모리는 고정된 스키마 아래 여러 범주(email voice, rep/company attributes, preferences 등)로 저장되며, 임의로 키를 늘리기보다는 제한된 구조 안에서 검색성과 일관성을 확보하는 쪽을 택한다. 요약하면, 좋은 AI 세일즈 에이전트는 모델만으로 만들어지지 않고, 신뢰성 있는 실행 시스템·맥락을 살리는 UX·구조화된 메모리가 함께 맞물려야 한다는 주장이다.

Part 5 — 핵심 인사이트

  1. 기억 시스템의 핵심은 데이터 구조보다 '무엇을 기억할지'다.
  2. 구조를 강제해야 LLM의 추론이 예측 가능해진다.
  3. 메모리 이력은 품질보다 디버깅과 관찰성에 더 중요하다.
  4. 사용자 지시는 취향이 아니라 최상위 기억 규칙이 된다.
  5. AI 비용은 초기에 방치되지만 결국 사용자별 통제가 필요하다.

Part 5 — 요약

이 영상은 Unify가 AI 에이전트의 '기억'과 사용 통제를 어떻게 설계하는지 설명한다. 핵심은 LLM이 무엇을 저장할지 스스로 판단하게 두는 대신, 기억해야 할 항목을 강하게 구조화해 불확실성을 줄이고 관찰 가능성을 높이는 것이다. 원시 데이터와 대화에서 나온 제안 메모리를 배경 프로세스가 병합·폐기·승격하며, 이렇게 남긴 이력은 나중에 엔지니어가 시스템 결정을 추적하고 해석하는 데 쓰인다.

또 다른 축은 제품 운영 관점이다. 사용자는 기억 내용을 굳이 UI로 보지 않아도 되지만, '강한 사용자 선호'처럼 사용자가 직접 요구한 것은 최상위 개념으로 취급해 지속적으로 반영한다. 동시에 비용 통제는 점점 더 중요해지고 있으며, 현재는 좌석당 한도와 초과 과금이 기본이지만 향후에는 사용자별 가드레일이 필요하다고 본다. 전체적으로 이 영상은 AI 제품에서 성능만큼이나 구조, 가시성, 비용 통제가 중요하다는 점을 강조한다.

Part 6 — 핵심 인사이트

  1. 좋은 평가는 작은 샘플을 눈으로 많이 보는 데서 시작된다.
  2. 회귀 테스트는 DQA 세트로 분포별 실패를 고정해야 한다.
  3. 비용 최적화는 호출 횟수 줄이기부터 가장 크게 먹힌다.
  4. 모킹은 쉽지만, 분포 왜곡은 실제 실행으로만 잡히기도 한다.
  5. 샌드박스는 에이전트 바깥에서 돌려야 안전하고 유연하다.

Part 6 — 요약

이 구간은 Unify가 AI 에이전트의 품질과 비용을 어떻게 동시에 잡는지 설명한다. 핵심은 실제로 눈으로 예시를 많이 보며 평가하고, 그 결과를 회귀 테스트용 데이터셋으로 만들어 반복 개선하는 방식이다. 특히 도구 호출 수, trace 효율, LLM 비용, 고객 과금 크레딧 같은 지표를 함께 보면서, 특정 데이터 벤더를 과도하게 호출하는 문제를 잡아 비용을 크게 줄인다.

또한 테스트에서 외부 서비스를 어떻게 다룰지에 대한 설계가 중요하다고 말한다. 이메일 전송처럼 결과가 중요하지 않은 건 모킹하고, 사용자 질문처럼 분포가 꼬이기 쉬운 건 다른 모델로 제어하며, 실전과 가까운 신호가 필요하면 비용을 감수하고 실제 호출을 돌린다. 샌드박스는 에이전트 바깥에서 실행하고, 함수 주입·격리·테넌시를 호스트 레벨에서 처리하는 구조로 설계해 보안과 지속성을 챙긴다. 마지막엔 이런 모듈식 실행과 sub-agent 호출이 더 좋은 결과를 내며, RLM 같은 방식은 비싸지만 검색·랭킹 문제를 더 정교하게 푸는 미래적 패턴으로 본다.

Part 7 — 핵심 인사이트

  1. 비용 절감의 핵심은 모델보다 불필요한 호출 제거다.
  2. 모순된 프롬프트는 작은 버그가 아니라 tool 실패를 만든다.
  3. 계획 단계가 좋아지면 전체 에이전트 비용이 크게 줄어든다.
  4. 오픈소스는 토큰이 싸도 tool 효율이 낮으면 손해다.
  5. 모델 선택은 감이 아니라 반복 eval로 판단해야 한다.

Part 7 — 요약

이 영상은 Unify가 AI 에이전트의 비용을 출시 직전 2주 만에 90~95%까지 줄인 과정을 설명한다. 핵심은 모델 자체보다도 sub-agent 남발, 불필요한 tool call, 토큰 낭비, 프롬프트/스킬 파일의 모순 같은 운영적 비효율을 집요하게 제거한 데 있었다.

또한 비용 절감의 실전 원칙으로는 더 강한 계획 단계(planning step)를 먼저 넣고, 트레이스를 보며 어디서 엇나가는지 분류한 뒤 프롬프트와 호출 구조를 고치는 방식이 강조된다. 오픈소스 모델은 잠재력이 있지만 아직은 tool 효율이 부족해 총비용 관점에서 불리할 수 있으며, 그래서 정교한 eval이 모델 선택의 기준이라는 결론으로 이어진다.

요약·핵심 인사이트는 인사이트컷(InsightCut)이 작성했습니다. 원본 영상의 저작권은 LangChain에게 있으며, 영상은 공식 YouTube 플레이어로 재생됩니다.