본문 바로가기
방법 · 2026.10.19

쓰던 시나리오를 그대로 여러 모델에 꽂아 돌려 보라 — 벤치마크가 못 알려주는 내 앱에서의 실제 차이가 드러난다

The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft — AI Engineer (컨퍼런스) · 원문 보기 ↗

얻는 것

  • 글자 세기·근거성·이미지·도구 호출 중 어느 지점에서 모델이 무너지는지 직접 확인
  • 프롬프트로 메울 수 있는 격차와 메울 수 없는 격차(이미지 이해)를 구분
  • ASSERT로 테스트셋을 부트스트랩하고 DSPy로 싼 모델도 통과하는 프롬프트를 확보

이럴 때

RAG 애플리케이션에서 모델이 출처에 근거하지 않고 자기 가중치에서 답을 지어내는지 평가해야 할 때, 그리고 모델 접근이 끊길 수 있으니 애플리케이션을 다른 모델로 가리켜도 동작하게 해 둬야 할 때 쓴다.

이렇게

  1. 저장소를 클론하고 UV로 패키지를 동기화하거나, Python이 없으면 GitHub Codespace를 만들어 .env를 넣고 시작한다.
  2. 각 예제 파일 맨 위의 모델 변수 주석을 바꿔 가며 같은 프롬프트를 네 모델에 돌려 차이를 눈으로 확인한다.
  3. 차이가 난 과제는 단계를 쪼개 추론을 쓰게 하는 프롬프트 엔지니어링으로 메우되, 이미지 이해는 프롬프트로 메워지지 않는다는 점을 전제한다.
  4. 도구 호출처럼 인자가 명확한 경우는 문자열 비교 평가로 대량 테스트 케이스를 돌리고, 출력이 모호한 경우에는 pass/fail과 이유를 함께 내게 하는 LLM-as-a-judge로 올라간다.
  5. 평가를 처음부터 만들기 어려우면 ASSERT로 스펙 YAML에서 행동 범주와 테스트셋을 생성하고, 프롬프트는 DSPy로 제약을 선언해 최적화시킨다.

바로 해 볼 것

지금 쓰는 프롬프트 파일 맨 위에 모델 변수를 하나 두고 주석만 바꿔 같은 입력을 두세 모델에 돌려 보라. 답이 갈리는 지점이 프롬프트로 메워지는지, 아니면 모델 자체의 한계인지가 바로 보인다. 에이전트라면 도구 호출 횟수와 병렬 호출 여부까지 로그로 남겨 비교하는 게 좋다.

배경 — 원문은 이런 이야기

Microsoft의 Pamela Fox가 AI Engineer World's Fair 2026에서 진행한 실습형 워크숍이다. Foundry에 배포한 네 개 모델에 동일한 예제를 차례로 돌려 보며, 단순한 한 번의 호출에서 RAG, 이미지 입력, 도구 호출, 루프, LangChain v1 에이전트까지 난이도를 올린다. 후반부는 문자열 체크와 LLM 심판, Microsoft Research가 최근 공개한 ASSERT, 그리고 DSPy 프롬프트 최적화로 이어진다.

#평가

← 실무 팁 전체