본문 바로가기
방법 · 2026.10.06

추론 엔진 내부를 워크로드·스케줄러·캐시 관점으로 쪼개 보라 — 지연과 처리량 문제의 원인을 대시보드만 보고 집어낼 수 있다

What Is an Inference Engine, Anyway? — Charles Frye, Modal — AI Engineer (컨퍼런스) · 원문 보기 ↗

얻는 것

  • 내 워크로드가 프리필 중심인지 디코드 중심인지 구분해 배포 설정의 근거를 갖는다
  • 큐 증가와 캐시 압박을 장애 신호로 읽고 레플리카 증설 같은 대응을 고를 수 있다
  • 토큰 ID 로깅과 실배포 평가로 토크나이저·품질 버그를 재현 없이 추적한다

이럴 때

챗봇+는 수백 밀리초 안에 응답해야 하는 아주 빡빡한 지연 예산과 높은 프리픽스 재사용을 가지고, 백그라운드 에이전트는 PR 하나를 만드는 데 몇 분에서 몇 시간이 허용된다. 반면 문서 처리형 데이터 프로세서는 프리픽스 재사용이 거의 없고 지연보다 총 처리량이 중요하다.

이렇게

  1. 내 워크로드를 챗봇+, 백그라운드 에이전트, 데이터 프로세서 중 어디에 속하는지 먼저 분류한다.
  2. 초당 질의 수, 질의당 입력·출력 토큰 수, KV 캐시 재사용률, 지연 예산을 측정해 배포 기준을 잡는다. 출력 길이는 모델이 결정하므로 벤치마크로 재야 한다.
  3. GPU 쪽 커널보다 스케줄러 프로세스가 병목이 될 수 있다는 점을 전제로 배치 구성과 큐 설정을 다룬다. 큐가 자라는 상태는 배포 실패 신호로 본다.
  4. KV 캐시 용량과 레이아웃, CUDA 그래프, 투기적 디코딩 같은 기법으로 호스트 측 오버헤드와 메모리 대역폭 한계를 줄인다.
  5. 실제 배포 엔드포인트에 평가·벤치마크 스크립트를 때려 품질을 검증하고, 토크나이저 버그 대비로 토큰 ID를 로깅하며 지표를 필요 이상으로 많이 남긴다.

바로 해 볼 것

지금 운영 중인 엔드포인트를 챗봇+·백그라운드 에이전트·데이터 프로세서 중 하나로 분류하고, 입력·출력 토큰 길이와 프리픽스 재사용률을 실측해 보는 것부터 하면 된다. 이 숫자만으로도 내 병목이 프리필인지 디코드인지, 지연 예산이 현실적인지 확인된다. 토큰 ID 로깅을 켜 두면 모델 교체 직후의 토크나이저 이슈를 따로 서버를 띄우지 않고도 좁힐 수 있다.

배경 — 원문은 이런 이야기

Charles Frye가 AI Engineer 워크숍에서 API 뒤에 가려진 추론 엔진의 내부를 한 겹씩 벗겨 보여 준다. 자신이 만든 미술관 설명 카드 생성 작품을 예로 들어, 요청이 서버 IO·토크나이저·스케줄러·모델 실행·디토크나이저를 지나는 경로를 SGLang과 vLLM 구조에 비춰 따라간다. 워크로드 세 유형, KV 캐시와 CUDA 그래프, 투기적 디코딩, 그리고 운영 중 정확성·성능 디버깅까지 한 번에 다룬다.

#인프라

← 실무 팁 전체