방법 · 2026.10.06
트레이스에 스코어와 Topics 라벨을 붙여 두라 — 쌓인 로그에서 몰랐던 실패를 골라 평가 데이터셋과 PR까지 되돌릴 수 있다
Advanced Workshop: Mastering AI Observability — Doug Guthrie, Braintrust — AI Engineer (컨퍼런스) · 원문 보기 ↗
얻는 것
- 기존 스코어가 못 잡던 실패 유형을 라벨과 토픽 지도로 드러낸다
- 실패 사례를 데이터셋에 넣어 다음 변경이 회귀했는지 바로 확인한다
- 코딩 에이전트가 로그 조사부터 코드 수정·eval 실행·PR 작성까지 이어서 처리한다
이럴 때
운영 중인 에이전트의 트레이스가 많아 사람이 일일이 훑어볼 수 없고, 기존 스코어가 잡지 못하는 실패(주문 조회 실패, 에스컬레이션 호출 파손 등)를 찾아야 할 때. 그리고 찾아낸 실패를 평가 데이터셋과 코드 변경으로 되돌려 회귀 없이 개선하고 싶을 때.
이렇게
- OpenAI Agents SDK 기반 지원 에이전트에 트레이싱을 붙이고 오프라인 eval로 기준선을 만든다.
- 커스텀 스코어러를 Braintrust에 게시하고, 들어오는 트레이스를 채점할 온라인 자동화를 범위·샘플링과 함께 설정한다.
- 기본 issue 분류가 놓치는 실패를 겨냥한 커스텀 facet을 만들고 대화 그룹화·샘플링 처리 설정을 구성한 뒤 샘플 트레이스를 임포트한다.
- 내장 Loop 어시스턴트로 트레이스 데이터를 SQL로 질의해 대표 실패 사례를 들여다보고, 그 예시를 평가 데이터셋으로 되돌린다.
- Braintrust CLI와 개선 스킬을 붙인 코딩 에이전트로 로그 조사·코드/스코어 변경·회귀 예시 추가·eval 실행을 자동화하고, 결과를 PR로 묶어 리뷰한다.
바로 해 볼 것
운영 중인 에이전트 로그 일부에 먼저 커스텀 스코어 하나와 커스텀 facet 하나를 붙여 보고, 기본 분류로는 안 보이던 실패 묶음이 실제로 나오는지 확인하면 된다. 나왔다면 그중 대표 케이스를 평가 데이터셋에 넣고 변경 전후 eval을 비교해, 이 신호가 개선으로 이어지는지까지 검증한다.
링크
배경 — 원문은 이런 이야기
AI Engineer 컨퍼런스의 Braintrust 워크숍 기록이다. 발표자는 지원 에이전트 샘플 트레이스 묶음을 놓고 관측 도구가 단순히 데이터를 보여주는 데 그치지 않고 개선 작업으로 연결되어야 한다고 보며, 트레이싱부터 스코어러 게시, 온라인 채점, Topics 군집화, 코딩 에이전트 자동화까지 한 흐름으로 보여준다. 청중 질문은 배포 형태, 샘플링 비율, 프로젝트 범위, 트레이스 접근 권한 등으로 이어진다.