AI는 어디서 멈추는가

자동화를 얼마나 넣을 것인가는 이제 어려운 질문이 아닙니다. 어려운 것은 어디서 멈추게 할 것인가입니다.

이 글은 저희가 그 지점을 어디에 두는지, 그리고 왜 거기에 두는지에 대한 기록입니다. 앞의 다섯 절은 업계가 확인한 사실이고, 뒤의 두 절이 저희 대응입니다.

---

1 · 얼마나 오래 맡길 수 있나

METR은 에이전트가 50% 확률로 완수하는 작업의 길이를 사람 기준 시간으로 잽니다. 2026년 5월 기준 프런티어 모델의 값은 약 2시간 17분입니다.

이 값은 6년간 약 7개월마다 두 배가 되어 왔습니다. 이대로면 2027년에 하루치, 2028년에 일주일치가 됩니다.

회사 운영은 시간 단위가 아니라 무기한입니다. 지금 지표와 몇 백 배 차이가 납니다.

---

2 · 길어질수록 제곱으로 나빠집니다

실제 운영 데이터에서 성공률은 사람 기준 약 35분을 넘기면서부터 떨어지기 시작합니다. 그리고 작업 시간이 두 배가 되면 실패율은 두 배가 아니라 네 배가 됩니다.

산수로 보면 이렇습니다.

한 걸음 성공률 99%
   10걸음  →  90%
  100걸음  →  37%
 1000걸음  →  0.004%

99.9%도 부족합니다. 걸음 수가 많으면 어떤 정확도도 무너집니다.

---

3 · 평균은 무의미합니다

τ-bench는 같은 작업을 여덟 번 반복해 전부 성공하는 확률을 잽니다.

한 번 잘하는 것과 매번 잘하는 것은 다릅니다. 그리고 회사 운영은 한 번의 파국이 나머지를 전부 지웁니다.

---

4 · 자판기 한 대도 못 지켰습니다

Vending-Bench는 자판기 한 대 운영을 시킨 실험입니다. 재고, 발주, 가격, 일일 수수료. 회사보다 훨씬 단순합니다.

일부 모델은 사람 기준보다 나은 수익을 내기도 했습니다. 그런데 모든 모델에서 궤도를 이탈하는 실행이 나왔습니다.

전형적인 실패는 이렇게 진행됩니다.

1  주문이 도착했다고 잘못 믿는다
2  그 전제 위에서 다음 행동을 한다
3  결과가 맞지 않는다
4  원인을 자기 착각이 아니라 외부 문제로 판단한다
5  존재하지 않는 지원팀을 찾는다
6  사업 종료를 선언한다
7  수수료가 계속 나가자 FBI에 연락을 시도한다

2에서 3으로 넘어갈 때 "내가 틀렸을 수 있다"로 가지 않습니다. 잘못된 전제 위에 계속 쌓습니다.

사람은 이 지점에서 멈춥니다. 이상하면 확인합니다. 같은 실험에서 사람은 편차가 작고 좌절에서 잘 회복했고, 에이전트는 편차가 크고 회복이 거의 없었습니다.

---

5 · 메모리 문제가 아닙니다

가장 중요한 발견은 이것입니다.

실패 시점과 컨텍스트 한계 사이에 상관관계가 없었습니다. 기억이 가득 차서 무너진 것이 아닙니다.

오히려 반대 결과가 나왔습니다. 맥락과 기억을 많이 줄수록 장기 판단이 나빠졌습니다. 짧고 제약이 뚜렷한 지시가 더 나은 결과를 냈습니다.

더 큰 모델이나 더 긴 컨텍스트로 해결되는 문제가 아니라는 뜻입니다.

그리고 시뮬레이션과 현실도 다릅니다. 실제 매장을 한 달 맡긴 실험에서, 시뮬레이션에서는 사람을 능가하던 성능이 예측 불가능한 인간 행동에 노출되자 크게 떨어졌습니다. 그때도 재고는 사람이 채웠습니다.

---

6 · 그래서 설계 문제입니다

프런티어 모델은 이미 코딩과 수학과 과학 벤치마크에서 사람 전문가를 넘었습니다. 그런데 자판기를 못 지킵니다.

2026년의 연구 방향이 그것을 말합니다. 계층적 목표 분해, 반성적 검증 루프, 목표 이탈 방지. 전부 모델이 아니라 설계입니다.

그리고 사람이 필요한 이유가 바뀌었습니다.

과거에는 일을 하기 위해 필요했고, 지금은 일이 어긋났는지 알아채기 위해 필요합니다.

---

7 · 저희가 넣는 다섯

위 다섯 가지 실패 원인에 각각 대응하는 설계를 넣습니다.

① 긴 작업을 짧게 끊습니다

오류가 제곱으로 누적되니 걸음 수를 줄입니다. 하나의 세션에 하나의 목표만 둡니다. 목표가 커지면 하위 작업으로 나누고, 각 단계가 끝날 때마다 상태를 확정합니다.

② 상태 확인을 강제합니다

에이전트가 자기 상태를 착각하면 되돌아오지 못합니다. 그래서 완료를 스스로 판단하게 두지 않습니다.

저희 실행 계층의 규칙은 이렇습니다.

빌드 상태가 success로 바뀐 것을 확인한 뒤에만 완료를 보고한다.

배포를 걸어놓고 "됐습니다"라고 말하지 않습니다. 결과가 오고, 그다음에 보고합니다.

③ 롤백 지점을 먼저 정합니다

배포 전에 되돌아갈 지점을 확보해 둡니다. 숫자가 어긋난 뒤에 찾으면 늦습니다.

특히 금액이 걸린 로직은 화면에 값이 뜨는 것과 값이 맞는 것이 다릅니다. 배포 확인과 실사용 검증을 따로 둡니다.

④ 같은 입력을 여러 번 돌려 대조합니다

편차가 크니 한 번의 결과를 믿지 않습니다. 판단이 걸린 자리는 반복 실행하고 결과를 비교합니다.

⑤ 사람이 개입하는 지점을 명시합니다

세 가지는 영구히 사람 자리로 둡니다.

• 초안을 공개로 바꾸는 전환
• 콘텐츠 방향 결정
• 클라이언트를 대면하는 판단

자동화를 못 해서가 아니라 하지 않기로 한 것입니다.

---

8 · Endyma에서 실제로 어떻게 했나

디자이너 브랜드용 시스템에서 위 다섯을 이렇게 적용했습니다.

작업을 다섯 노드로 끊었습니다. 기획에서 재고까지 한 번에 가지 않습니다. 각 노드가 끝나면 상태가 확정되고, 다음 노드는 그 확정된 상태에서 시작합니다.

정확도를 먼저 공개했습니다. 그리고 그 숫자가 무엇인지도 함께 적었습니다.

수요예측 정확도는 78~82%입니다. 다만 이것은 실측이 아니라 공개 자료에 근거한 시뮬레이션 값입니다. 근거는 이렇습니다.

실제 데이터가 쌓이면 91~94%로 오를 것으로 봅니다. 그것도 아직 예상입니다.

⚠️ 숫자를 공개하는 것과 그 숫자가 실측인지 추정인지 밝히는 것은 다릅니다. 앞만 하고 뒤를 안 하면 공개가 오히려 오해를 만듭니다.

승인 없이는 나가지 않습니다. 시스템은 초안을 만들고, 사람이 승인해야 다음으로 갑니다.

디자이너를 대체하지 않습니다. 승인은 항상 사람이 합니다.

이 문장이 마케팅 문구가 아니라 구조입니다. 승인 단계를 빼면 시스템이 동작하지 않습니다.

---

아직 못 푼 것

이 글은 답이 아니라 지금까지의 위치입니다.

• 어디까지가 "판단"인가 — 초안과 결정 사이에 회색 지대가 있습니다. 지금은 사람이 매번 판단하고 있고, 규칙으로 만들지 못했습니다.
• 편차 대조를 자동화하지 못했습니다 — 반복 실행과 비교를 손으로 하고 있습니다.
• 정확도를 공개한 것은 Endyma 하나뿐이고, 그것도 실측이 아니라 시뮬레이션입니다. 실측값을 가진 시스템이 아직 없습니다.

경계는 앞으로도 옮겨질 예정입니다.

---

참고

METR (2026-05) · Stanford AI Index 2026 · Gartner Vending-Bench (Andon Labs) · Project Vend (Anthropic × Andon Labs) τ-bench pass^k · OSWorld · HCAST

Aiges Pontos · 2026