본문 바로가기
경험 · 2026.10.12

에이전트를 자유 루프가 아니라 YAML 워크플로로 정의하라 — 단계별 권한이 코드 리뷰에 드러나고 실행이 예측 가능해진다

Agents in Orbit: Workflows, Not Autopilot — Eduardo Simon & Javier Casal, Flywire — AI Engineer (컨퍼런스) · 원문 보기 ↗

얻는 것

  • 모델이 코드를 읽되 고치지는 못하는 식으로, 단계마다 네트워크·툴·스킬·MCP 권한을 좁힐 수 있다
  • 예측 가능한 부분을 코드로 굳혀 열린 세션보다 실행이 안정적이고 비용도 낮아진다
  • 민감 결제 데이터를 외부로 내보내지 않고 사내 배포 인프라 위에서 에이전트를 돌릴 수 있다

이럴 때

머지 리퀘스트 자동 코드 리뷰, 번역 동기화, 취약 의존성 수정, Sentry 운영 에러 조사, 티켓 분류처럼 반복되는 엔지니어링 업무에 쓴다. 또한 마이그레이션·라이브러리 업데이트·deprecation처럼 여러 저장소에 걸친 대량 변경 작업에 적용한다.

이렇게

  1. 반복되는 잘 정의된 작업을 먼저 스킬로 작성해 하루 만에 써 보고, 자동화할 가치가 있는지 확인한다.
  2. 가치가 확인되면 그 작업을 워크플로로 옮겨, 예측 가능한 부분은 결정적 코드로 두고 모델은 판단이 필요한 곳에서만 호출한다.
  3. 에이전트를 저장소의 YAML 파일 하나로 정의하고, 다른 코드와 동일한 머지 리퀘스트 리뷰를 거치게 한다.
  4. 각 LLM 단계마다 접근 가능한 네트워크·툴·스킬·MCP 서버를 YAML에 선언해 제한한다(예: 코드 리뷰 단계는 읽기·검색만 가능하고 수정·푸시 불가).
  5. 모든 LLM 응답에 엄격한 JSON 스키마를 강제하고, 운영 중 실행 트레이스를 모아 골든 데이터셋으로 만들어 프롬프트·모델을 비교 개선한다.

내 일에 옮길 점

에이전트를 통째로 평가하려 들기보다 LLM 단계 하나를 떼어 과거 실행 상태를 주입해 보는 방식, 그리고 실행 트레이스를 골든 데이터셋으로 쌓는 흐름은 바로 옮길 만하다. 새 워크플로가 몇 건의 실제 사례 확인만으로 운영에 들어가고 온라인 평가는 아직 없다는 고백도 그대로 받아들여, 보고된 성공률을 답변 품질로 읽지 않는 태도가 필요하다.

배경 — 원문은 이런 이야기

국제 결제를 처리하는 Flywire는 PCI·SOC 2 같은 규제 아래 약 400명의 엔지니어가 여러 언어 스택을 운영한다. 사내 곳곳에서 벌어지던 AI 실험을 모아 AI 플랫폼 팀을 만들고, 반복 업무를 없애는 내부 플랫폼 Orbit을 기존 사내 PaaS 위에 직접 구축했다. 발표자들은 성과 수치와 함께 샌드박싱·온라인 평가가 아직 미완성이라는 점도 함께 밝힌다.

#에이전트#안전

← 실무 팁 전체