본문 바로가기
경험 · 2026.10.14

에이전트를 만들기 전에 등록·게이트웨이·메모리·추적·PII 차단을 한 세트로 깔아라 — 모든 에이전트가 같은 통제 경로를 지나간다

Paving the Road to Production: Governed Enterprise AI Agents — Harish Gaggar, Credit Karma — AI Engineer (컨퍼런스) · 원문 보기 ↗

얻는 것

  • 포털 등록 한 번으로 저장소와 아이덴티티·메모리·추적·시크릿 자원이 같은 규격으로 생긴다
  • 모든 도구 호출이 중앙 게이트웨이 인증을 거쳐 엔드포인트 직접 접근이 사라진다
  • 질의별 모델·토큰·비용·품질 기록이 남아 나중에 집계해 답할 수 있다

이럴 때

에어갭 환경이라 외부 MCP 서버를 쓸 수 없어 자체 MCP 서버·게이트웨이를 만들어야 할 때, 그리고 수백~수천 개 에이전트를 운영하며 6개월 뒤 '어떤 에이전트가 어떻게 동작했고 토큰을 얼마나 썼나'를 집계해 임원 대시보드로 답해야 할 때.

이렇게

  1. 내부 개발 포털에 유스케이스·에이전트 ID·프레임워크(LangGraph 등)·언어·스킬/프롬프트를 등록해 저장소와 부속 프레임워크(메모리·트래킹/평가·컨텍스트 최적화·PII 차단)를 한 번에 생성받는다.
  2. 로컬에서 저장소를 클론해 Docker 이미지로 빌드·테스트하고, 트레이스와 트래킹/평가 결과를 SQLite나 BigQuery에 저장해 동작을 확인한 뒤 PR을 올려 2명 승인을 거쳐 CI/CD로 보낸다.
  3. CI/CD에서 에이전트를 중앙 레지스트리에 등록하고 컨테이너 이미지를 빌드·취약점 스캔 후 보안 승인되면 레지스트리에 올려 Kubernetes 네임스페이스에 배포한다.
  4. FastMCP 래퍼로 자체 MCP 서버를 만들고 모든 도구는 내부 보안팀 리뷰를 거쳐 승인된 것만 프로덕션에 올리며, 모든 호출은 MCP 게이트웨이에서 JWT 인증을 받은 뒤에만 MCP 서버·엔드포인트에 닿게 한다.
  5. LangGraph 워크플로에서 질의 해석·분류 후 증거 수집과 정책 검사를 하고, 읽기 전용이면 실행, 쓰기·민감 작업이면 HITL 승인을 거치되 승인·거부 모두 감사 로그에 남긴다.

내 일에 옮길 점

에이전트 코드보다 먼저 '등록하면 무엇이 자동으로 생기는가'를 정의하는 접근은 바로 옮길 만하다. 읽기 전용은 통과시키고 쓰기·민감 작업만 사람 승인으로 보내되 거부도 감사 로그에 남기는 분기, 그리고 실행마다 모델·토큰·비용·품질을 테이블에 적는 습관이 특히 참고할 지점이다. 다만 90% 토큰 절감은 답변 품질 비교 없이 제시된 수치이므로 내 환경에서는 품질과 함께 확인해야 한다.

배경 — 원문은 이런 이야기

Intuit Credit Karma의 Harish Gaggar가 실험 단계 에이전트를 사내 프로덕션으로 옮기며 만든 공통 경로를 소개한다. 개발 포털 등록에서 컨테이너 빌드·보안 스캔·쿠버네티스 배포까지 이어지는 흐름에, 자체 MCP 서버와 중앙 게이트웨이, LangGraph 워크플로, 메모리 체크포인트, 트래킹·평가 테이블, PII 차단과 컨텍스트 최적화를 한 묶음으로 붙였다. 데모는 기록 테이블을 들여다보는 방식이며 전체 품질 점수를 검증하지는 않는다.

#에이전트#안전

← 실무 팁 전체