본문 바로가기
방법 · 2026.10.06

트레이스에 스코어와 Topics 라벨을 붙여 두라 — 쌓인 로그에서 몰랐던 실패를 골라 평가 데이터셋과 PR까지 되돌릴 수 있다

Advanced Workshop: Mastering AI Observability — Doug Guthrie, Braintrust — AI Engineer (컨퍼런스) · 원문 보기 ↗

얻는 것

  • 기존 스코어가 못 잡던 실패 유형을 라벨과 토픽 지도로 드러낸다
  • 실패 사례를 데이터셋에 넣어 다음 변경이 회귀했는지 바로 확인한다
  • 코딩 에이전트가 로그 조사부터 코드 수정·eval 실행·PR 작성까지 이어서 처리한다

이럴 때

운영 중인 에이전트의 트레이스가 많아 사람이 일일이 훑어볼 수 없고, 기존 스코어가 잡지 못하는 실패(주문 조회 실패, 에스컬레이션 호출 파손 등)를 찾아야 할 때. 그리고 찾아낸 실패를 평가 데이터셋과 코드 변경으로 되돌려 회귀 없이 개선하고 싶을 때.

이렇게

  1. OpenAI Agents SDK 기반 지원 에이전트에 트레이싱을 붙이고 오프라인 eval로 기준선을 만든다.
  2. 커스텀 스코어러를 Braintrust에 게시하고, 들어오는 트레이스를 채점할 온라인 자동화를 범위·샘플링과 함께 설정한다.
  3. 기본 issue 분류가 놓치는 실패를 겨냥한 커스텀 facet을 만들고 대화 그룹화·샘플링 처리 설정을 구성한 뒤 샘플 트레이스를 임포트한다.
  4. 내장 Loop 어시스턴트로 트레이스 데이터를 SQL로 질의해 대표 실패 사례를 들여다보고, 그 예시를 평가 데이터셋으로 되돌린다.
  5. Braintrust CLI와 개선 스킬을 붙인 코딩 에이전트로 로그 조사·코드/스코어 변경·회귀 예시 추가·eval 실행을 자동화하고, 결과를 PR로 묶어 리뷰한다.

바로 해 볼 것

운영 중인 에이전트 로그 일부에 먼저 커스텀 스코어 하나와 커스텀 facet 하나를 붙여 보고, 기본 분류로는 안 보이던 실패 묶음이 실제로 나오는지 확인하면 된다. 나왔다면 그중 대표 케이스를 평가 데이터셋에 넣고 변경 전후 eval을 비교해, 이 신호가 개선으로 이어지는지까지 검증한다.

배경 — 원문은 이런 이야기

AI Engineer 컨퍼런스의 Braintrust 워크숍 기록이다. 발표자는 지원 에이전트 샘플 트레이스 묶음을 놓고 관측 도구가 단순히 데이터를 보여주는 데 그치지 않고 개선 작업으로 연결되어야 한다고 보며, 트레이싱부터 스코어러 게시, 온라인 채점, Topics 군집화, 코딩 에이전트 자동화까지 한 흐름으로 보여준다. 청중 질문은 배포 형태, 샘플링 비율, 프로젝트 범위, 트레이스 접근 권한 등으로 이어진다.

#평가

← 실무 팁 전체