본문 바로가기
방법 · 2026.10.19

프로세스를 DAG로 그리고 노드마다 '체크'를 평가로 바꿔라 — 에이전트에 맡길 단계와 아직 사람이 쥘 단계가 눈에 보인다

How to Know When an AI Agent Can Work Unsupervised — Evan Kormos, Coinbase — AI Engineer (컨퍼런스) · 원문 보기 ↗

얻는 것

  • 정책 위반 없이 어떤 단계를 자동화해도 되는지 기준이 생긴다
  • 모델에 대한 느낌 대신 통계와 트레이스로 품질을 설명할 수 있다
  • 감독→샘플링→예외 처리로 사람의 개입을 단계적으로 줄인다

이럴 때

상업 대출(KYC·재무검토·신용메모·리스크리뷰·문서화·의사결정) 같은 정책 기반 프로세스, 특정 지역 거래소의 토큰 상장 워크플로, 그리고 규제된 소프트웨어 배포 흐름처럼 승인·검증 게이트가 있는 업무에 적용한다.

이렇게

  1. 정책을 must/may/should 언어로 먼저 써 두고, 정책을 정의·변경하는 '빌드 상태'와 계속 돌아가는 '런 상태'를 분리한다.
  2. 업무 흐름을 DAG로 그려 단계와 의존성, 필수 게이트를 드러내고 병렬로 돌릴 수 있는 검토를 찾아낸다.
  3. 각 노드 내부는 작업→체크→피드백 반복의 루프(DCG)로 설계하고, 예외 흐름과 병목을 볼 수 있도록 프로세스 전체의 운영 가시성을 확보한다.
  4. 대표 데이터셋을 만들어 '좋음'의 정의를 세우고, 반복 실행한 평가와 런타임 트레이스를 신뢰 장치로 삼는다.
  5. 노드마다 정책 대조·루프 경계·추적·사람 폴백이 가능한지 물어 에이전트가 맡을 단계를 고르고, 전면 감독→샘플링→예외 처리 순으로 자율성을 올린다.

바로 해 볼 것

지금 맡고 있는 워크플로 하나를 골라 단계와 필수 게이트를 그래프로 그려 보고, 각 노드에 정책 대조·루프 경계·추적·사람 폴백이 가능한지 네 질문을 던져 보라. 그 답으로 어떤 단계가 에이전트에 맞고 어떤 단계가 사람의 판단으로 남아야 하는지 확인할 수 있다. 의사결정 노드는 정책에 대한 체크 그 자체라 사람이 쥐어야 한다는 지적도 함께 점검해 보면 좋다.

배경 — 원문은 이런 이야기

Coinbase의 Evan Kormos가 금융처럼 규제가 센 환경에서 에이전트를 업무에 들이는 방법을 발표한 내용이다. 그는 조직의 정책을 원래의 시스템 프롬프트로 보고, 업무를 앞으로만 흐르는 그래프와 그 안에서 반복되는 루프로 나눠 설명한다. 코드 리뷰와 상업 대출을 예로 들며 어디에 에이전트를 넣고 무엇으로 신뢰를 확인할지 짚는다.

#에이전트#안전

← 실무 팁 전체