방법 · 2026.10.20
결정 모델의 기본 임계값 0.50을 그대로 쓰지 말고 라벨 데이터로 직접 튜닝하라 — 같은 모델로도 놓치던 실패를 더 잡아낸다
How To Use Decision Models for Evals — Hamel Husain (evals) · 원문 보기 ↗
얻는 것
- 기본 임계값 때문에 버려지던 분류 성능을 되찾는다
- 정밀도·재현율 최소선을 먼저 정해 쓸 수 없는 모델을 미리 걸러낸다
- 점수를 확신도로 쓸 수 있는지 보정 검증으로 판단할 수 있다
이럴 때
아파트 임대 상담 에이전트의 대화·행동 로그 100건처럼 실패(예약 실패, 사람에게 인계 누락 등)가 포함된 트레이스를 자동으로 찾아내야 할 때 쓴다. 또 자동 알림 시스템처럼 오탐과 누락을 동시에 억제해야 하는 분류기에는 정밀도·재현율 최소 기준을 먼저 정해 모델을 걸러낸다.
이렇게
- 저지 프롬프트를 먼저 만족스럽게 다듬고, 각 실패 모드별로 별도 저지를 두는 방식을 택한다.
- 유스케이스에 맞는 정밀도·재현율 최소 기준을 정하고 이를 못 넘는 모델은 후보에서 제외한다.
- 라벨과 저장된 점수를 코딩 에이전트에 주고 교차검증으로 결정 임계값을 튜닝한 뒤 0.50 기본값과 비교한다.
- 점수를 확신도로 쓰려면 예측 확률이 실제 실패율과 맞는지 보정 차트로 확인하고 Platt scaling 적용 여부를 측정한다.
- 튜닝된 성능을 비용·지연시간과 함께 저울질해 워크로드에 맞는 모델을 고른다.
바로 해 볼 것
이미 라벨링된 트레이스와 모델이 뱉은 점수가 있다면 새 API 호출 없이 바로 임계값 튜닝 프롬프트를 돌려볼 수 있다. 0.50 기본값일 때와 비교해 정밀도·재현율이 얼마나 달라지는지, 내가 정한 최소 기준을 통과하는 분할이 몇 개인지 확인하면 된다. F1을 그대로 쓰기보다 오탐과 누락 중 어느 쪽이 더 비싼지 먼저 정하는 편이 좋다.
링크
배경 — 원문은 이런 이야기
Jev, Perplexity Decider, Liquid d1, Cloudflare Clef Flash, OpenAI Decisions 같은 결정 모델이 잇따라 나오면서 자동 평가의 저렴한 선택지로 주목받고 있다. 글쓴이는 임대 상담 에이전트의 트레이스 100건을 같은 평가 기준으로 각 모델에 돌려, 실패가 섞인 로그를 얼마나 잘 골라내는지 성능과 API 비용 양쪽에서 비교했다. 임계값 설정과 확률 보정이라는, 분류기를 다룰 때면 늘 해 오던 기본기를 평가 작업에 그대로 적용한 기록이다.