본문 바로가기
의견 · 2026.11.03

영상 생성을 '다음 프레임 예측'으로 보고 평가 기준을 물리·기하로 바꾸면, 창작 취향이 아니라 세계 이해도를 측정할 수 있다

You Can't Tell What's Real Anymore. Here's What Comes Next - Cristóbal Valenzuela, Runway — AI Engineer (컨퍼런스) · 원문 보기 ↗

얻는 것

  • 모델 품질을 '마음에 드는가' 대신 물리·기하·물체 거동으로 측정하는 평가축을 얻는다
  • 실제/생성 구분 가능 여부를 지표로 삼아 모델 진척을 정량화할 수 있다
  • 3D 엔진 없이 클릭·리사이즈에 반응하는 상호작용 화면이라는 새 인터페이스 형태를 미리 본다

이럴 때

로봇·임베디드 시스템의 '두뇌'로 세계 모델을 쓰는 경우, 그리고 코딩 에이전트가 텍스트 대신 시각적으로 문제를 사고하게 하는 경우(예: 자전거 3D 모델 생성 요청을 시각적으로 전개)를 적용 상황으로 든다.

이렇게

  1. 비디오를 다음 프레임 예측 문제로 정의하고, 충분히 큰 네트워크와 컴퓨트로 규모를 키운다.
  2. 모델 평가 벤치마크를 '마음에 드는가' 식 창작 선호가 아니라 물리·기하·물체 거동 기준으로 구성한다.
  3. 사람이 실제/생성 영상을 구분할 수 있는지 측정해 모델 수준을 정량화한다.
  4. 예측 도중 아무 시점에나 개입해 행동을 넣을 수 있게 만들어, 모델을 실시간 상호작용형 시뮬레이터로 바꾼다.
  5. 인터페이스 위의 클릭·조작을 학습시켜 화면의 콘텐츠를 실시간 비디오 포털로 열고, 코딩 에이전트와 연결해 시각적 사고를 시킨다.

동의·보류 지점

평가 벤치마크를 선호도 투표가 아니라 물리·기하·물체 거동 같은 검증 가능한 축으로 세운다는 대목은 영상 밖 도메인에도 그대로 옮길 만하다. 반면 '모든 것이 시뮬레이션된다'거나 운영체제 화면이 비디오 모델에서 스트리밍된다는 전망은 발표자 스스로 초기 연구라고 밝힌 만큼, 공개 전까지는 판단을 미루는 편이 안전하다.

배경 — 원문은 이런 이야기

Runway 공동창업자 Cristóbal Valenzuela가 AI Engineer 무대에서 2019년의 128x128 픽셀 단편부터 오늘의 영상 모델까지를 되짚는다. 영화가 120여 년 전 발견한 '프레임을 이어 붙이면 움직임이 생긴다'는 원리를 대규모 예측 문제로 확장하면 모델이 세계의 작동 방식을 익힌다는 관점을 제시하고, 이를 실시간·상호작용으로 밀어붙인 연구 프로토타입 Continuum과 로보틱스 실험실을 함께 소개한다.

#전략

← 실무 팁 전체