방법 · 2026.10.19
프로세스를 DAG로 그리고 노드마다 '체크'를 평가로 바꿔라 — 에이전트에 맡길 단계와 아직 사람이 쥘 단계가 눈에 보인다
How to Know When an AI Agent Can Work Unsupervised — Evan Kormos, Coinbase — AI Engineer (컨퍼런스) · 원문 보기 ↗
얻는 것
- 정책 위반 없이 어떤 단계를 자동화해도 되는지 기준이 생긴다
- 모델에 대한 느낌 대신 통계와 트레이스로 품질을 설명할 수 있다
- 감독→샘플링→예외 처리로 사람의 개입을 단계적으로 줄인다
이럴 때
상업 대출(KYC·재무검토·신용메모·리스크리뷰·문서화·의사결정) 같은 정책 기반 프로세스, 특정 지역 거래소의 토큰 상장 워크플로, 그리고 규제된 소프트웨어 배포 흐름처럼 승인·검증 게이트가 있는 업무에 적용한다.
이렇게
- 정책을 must/may/should 언어로 먼저 써 두고, 정책을 정의·변경하는 '빌드 상태'와 계속 돌아가는 '런 상태'를 분리한다.
- 업무 흐름을 DAG로 그려 단계와 의존성, 필수 게이트를 드러내고 병렬로 돌릴 수 있는 검토를 찾아낸다.
- 각 노드 내부는 작업→체크→피드백 반복의 루프(DCG)로 설계하고, 예외 흐름과 병목을 볼 수 있도록 프로세스 전체의 운영 가시성을 확보한다.
- 대표 데이터셋을 만들어 '좋음'의 정의를 세우고, 반복 실행한 평가와 런타임 트레이스를 신뢰 장치로 삼는다.
- 노드마다 정책 대조·루프 경계·추적·사람 폴백이 가능한지 물어 에이전트가 맡을 단계를 고르고, 전면 감독→샘플링→예외 처리 순으로 자율성을 올린다.
바로 해 볼 것
지금 맡고 있는 워크플로 하나를 골라 단계와 필수 게이트를 그래프로 그려 보고, 각 노드에 정책 대조·루프 경계·추적·사람 폴백이 가능한지 네 질문을 던져 보라. 그 답으로 어떤 단계가 에이전트에 맞고 어떤 단계가 사람의 판단으로 남아야 하는지 확인할 수 있다. 의사결정 노드는 정책에 대한 체크 그 자체라 사람이 쥐어야 한다는 지적도 함께 점검해 보면 좋다.
링크
배경 — 원문은 이런 이야기
Coinbase의 Evan Kormos가 금융처럼 규제가 센 환경에서 에이전트를 업무에 들이는 방법을 발표한 내용이다. 그는 조직의 정책을 원래의 시스템 프롬프트로 보고, 업무를 앞으로만 흐르는 그래프와 그 안에서 반복되는 루프로 나눠 설명한다. 코드 리뷰와 상업 대출을 예로 들며 어디에 에이전트를 넣고 무엇으로 신뢰를 확인할지 짚는다.