본문 바로가기
경험 · 2026.10.09

정적 평가 대신 고객 신호로 돌아가는 eval 플라이휠을 만들어라 — 출시 후 '잘 되길 바라는 희망'을 데이터로 바꾼다

Why 80% Reliability Isn't Good Enough — Felipe Blanes, Amazon AGI Lab — AI Engineer (컨퍼런스) · 원문 보기 ↗

얻는 것

  • 평가 시나리오가 상상이 아니라 실제 프로덕션 사용에서 나와 매주 갱신된다
  • 고객이 느끼는 신뢰 임계선(80%와 90%의 차이)을 기준으로 출시 판단을 내릴 수 있다
  • 한계를 먼저 밝히는 것만으로 벤치마크 점수보다 큰 신뢰를 얻는다

이럴 때

제품을 고객에게 출시한 뒤 정적 평가만 돌리고 있어 실제 사용과의 간극이 생길 때, 그리고 고객이 사용 여정(유스케이스 발견 → 얼리어답터 → 스케일 → 제품 갭)을 따라 변하면서 평가 기준이 낡아갈 때 적용한다.

이렇게

  1. 성공의 정의를 내가 아니라 고객 기준으로 먼저 세운다.
  2. 계측으로 데이터를 모으되, 반드시 고객과 미팅·방문으로 직접 이야기해 신호를 보완한다.
  3. 수집한 신호를 모델 문제·하네스(엔지니어링) 문제·제품 문제 세 갈래로 분류한다.
  4. 분류한 갭을 우선순위화해 과학·엔지니어링·제품 팀의 의사결정으로 넘기고 루프를 반복한다.
  5. 평가 시나리오는 상상이 아니라 프로덕션에서 뽑고, 능력과 한계를 고객에게 정직하게 공유하며, 플라이휠을 최대한 빠르게 돌린다.

내 일에 옮길 점

내 평가 세트가 내가 상상한 시나리오로만 채워져 있는지, 아니면 실제 사용 로그와 사용자 대화에서 나온 것인지부터 확인할 만하다. 로그 지표만 보면 오해하기 쉬우니 직접 묻는 과정을 루프에 넣고, 실패 사례를 모델·하네스·제품 중 어디 문제인지 라벨링해 팀별 우선순위로 넘기는 습관을 옮겨 볼 수 있다. 신뢰도 수치를 공개할 때는 잘 되는 것만큼 안 되는 범위도 함께 알리는 쪽이 낫다는 점도 참고할 지점이다.

배경 — 원문은 이런 이야기

Amazon AGI Lab의 Felipe Blanes가 브라우저 에이전트 도구 Nova Act를 리서치 프리뷰부터 AWS 정식 출시까지 운영하며 고객 대응을 직접 맡았던 경험을 정리한 발표다. 공개 벤치마크와 합성 데이터로 점수를 올려도 실제 사용자가 전혀 예상 못 한 방식으로 제품을 쓰면 무너졌고, 그는 이 간극을 벤치마크 착시라 부른다. 성공 정의부터 신호 수집, 갭 분류, 의사결정 반영까지 고객을 중심에 둔 반복 루프를 대안으로 제시한다.

#평가

← 실무 팁 전체