AI와 몇 주간 시스템을 만들며 얻은 저의 인사이트 중에 하나는 어떤 모델을 활용하냐 보다는 ‘사람이 언제 그리고 어떻게 개입하느냐(human-in-the-loop)‘였습니다.
최근 AI 에이전트와 함께 MBA 동문을 위한 경제x경영 뉴스레터를 만들었고 초안은 매번 그럴듯하게 빠르게 나왔습니다. 그런데 자세히 보면 “이론의 정의"라는 게 정의가 아니라 처방을 요약해 놓은 것이었고, 문장은 정확하지만 강의실 말투라 읽히지 않았습니다. 몇번의 리뷰와 피드백을 거치고 나서야 사람이 읽고 싶은 글이 되기는 했는데 그럼에도 아직 갈길은 먼것 같습니다. 이렇게 단순한 것을 만드는 것 뿐만 아니라 10단계 정도의 시스템과 프로세스를 만들고 AI 를 통해 자동화 할려고 할때는 더욱 사람의 정교하고 적절한 개입이 중요하다는 것을 꽤 자주 느끼고 있습니다.
흥미로운 건, 매번 제가 방향을 잡아줄수록 AI가 느려진 게 아니라 빨라졌다는 점입니다. 처음엔 리뷰가 속도를 늦춘다고 생각했는데 반대였습니다. 사람이 제때 개입하면 AI는 그 지점부터 훨씬 빠르고 정확하게 나아갑니다. 통제가 속도를 죽이는 게 아니라, 오히려 속도를 보장합니다.
최신 연구들도 정확히 같은 방향을 가리킵니다.
· 무엇이 옳은 행동인지 규칙으로 딱 정해줄 수 없는 위험한 상황에서, AI가 안전하게 행동하는 법을 배우는 길은 결국 하나였습니다 — 사람이 “이게 더 낫다"고 골라주고 그 이유를 알려주는 것. 사람의 피드백이 곧 안전장치였습니다 (DROPJ 연구).
· 그렇다고 사람이 모든 걸 다 확인할 필요는 없습니다. AI가 자신 있을 땐 알아서 하고, 스스로 헷갈리는 순간에만 사람을 부르는 방식이 가장 효율적이라는 게 밝혀졌습니다. 제가 실무에서 어렴풋이 느낀 ‘적절한 시점’이, 알고 보니 연구로 증명된 원리였던 셈입니다 (Uncertainty-Aware Invocation 연구).
· 그리고 AI가 내린 결론은 실제 업무에 곧바로 쓰기 전에, 그 결론이 정말 근거 위에 서 있는지 먼저 점검하고 통과시켜야 한다 — 자동차 출고 전 검사처럼요. 이런 검증을 표준으로 삼자는 방법론도 나오고 있습니다 (Interventional Grounding Audits 연구).
물론 모든 걸 사람이 일일이 검토할 수는 없습니다. 규모가 커지면 사람이 옆에서 지켜보다 필요할 때만 개입하는 감독 모드(human-on-the-loop)로 어느 정도는 갈 수밖에 없죠. 문제는 여기에 함정이 있다는 겁니다. ‘지켜본다’는 시간이 지나면 조용히 ‘안 본다’로 전환되는 것입니다. AI가 웬만하면 잘하니까 사람은 점점 화면만 스쳐 보고, 명목상으로만 루프 안에 있게 됩니다. 자가개선 에이전트가 “인간 개입을 최소화"하며 스스로 진화하고, 에이전트가 사람 없이 실제 거래까지 실행하는 사례가 늘어나는 지금 — 감독이 얇아지는 딱 그 지점에서 사고가 터집니다.
편리함의 청구서는 늘 나중에 반드시 옵니다 (무언가 마음속에 꺼림직한게 있다면 언제나 꼭 사고가 터지는 법이죠).
그래서 저는 AI 시대의 경쟁력이 ‘사람을 얼마나 빨리 빼느냐’가 아니라, ‘사람이 반드시 깨어 있어야 할 지점을 얼마나 잘 설계하느냐’에 있다고 봅니다. 모든 걸 다 보는 것도, 아무것도 안 보는 것도 답이 아닙니다. 중요한 순간에 사람의 눈이 확실히 켜지도록 체크포인트를 설계하는 것 — 업계의 무게중심도 ‘효능’에서 ‘책임 증명’으로 옮겨가고 있습니다.
가장 빠른 모델을 가진 곳이 아니라, 가장 신뢰할 수 있는 협업 구조를 설계한 곳이 궁극적으로 목적을 달성하는 가장 지름길이 아닐까 합니다.
#AI협업 #HumanOnTheLoop #HumanInTheLoop #AIStrategy #책임있는AI #AIAgent