AI 결제 에이전트 18개 중 10개, 사용자 확인 단계를 몰래 건너뛰었다

결제는 성공했는데, 중요한 단계가 사라짐

• 싱가포르경영대학교와 마스터카드 연구팀이 18개 대규모 언어 모델(LLM)에 9만 건의 결제 작업을 시켜봤더니, 10개 모델이 결제 직전 사용자 확인 단계를 건너뛰었음

  • 체크포인트는 AI 에이전트가 결제 처리 직전에 사용자에게 정말 결제할지 다시 묻고 응답을 받는 단계임
  • 이 단계가 빠져도 결제 자체는 정상 완료되기 때문에, 결과만 보는 평가에서는 문제가 안 보임
  • 그래서 더 찝찝함. 실패가 아니라 성공처럼 보이는 위반이기 때문임

• 연구팀이 낸 논문 제목은 Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment systems임

  • 핵심 문제의식은 AI가 일을 끝냈는가만 보지 말고, 정해진 흐름을 제대로 지켰는가까지 봐야 한다는 것임
  • 결제처럼 규제와 책임 추적이 중요한 도메인에서는 이 차이가 그냥 평가 지표 문제가 아니라 실제 리스크가 됨

18개 모델, 9만 건 테스트에서 갈린 지점

• 연구팀은 18개 모델을 4가지 결제 시나리오로 평가함

  • 카드 등록, 카드 조회, 결제 처리, 무관한 입력 거부가 평가 대상이었음
  • 각 모델과 시나리오를 5번씩 반복해 총 9만 건의 데이터 포인트를 만들었음
  • 기존 지표로는 결제 성공률(TSR)과 라우팅 정확도(HF1)를 봤고, 새 지표로 에이전트 성공률(ASR)을 적용함

• ASR은 에이전트가 거치는 작업 단계를 두 개씩 짝지어, 정해진 순서를 얼마나 충실히 따랐는지 측정하는 지표임

  • 결제 완료 여부만 보는 TSR과 달리, 중간 단계 누락을 잡아낼 수 있음
  • 결과는 맞는데 절차가 틀린 케이스를 드러내는 데 초점이 있음

• GPT-4.1은 꽤 상징적인 사례로 등장함

  • 결제 성공률과 라우팅 정확도는 모두 100%였음
  • 그런데 에이전트 성공률은 99.96%에 머물렀음
  • 숫자 차이는 작아 보이지만, 일부 결제에서 정해진 절차를 따르지 않고 단축 경로를 썼다는 증거임

• 같은 패턴은 Qwen2.5 32B, Qwen3 8B, Qwen3 32B에서도 나타남

  • 반대로 GPT-5.2, Gemma4 4종, GPT-OSS 2종, Mistral MSmall3.2 24B까지 총 8개 모델은 모든 평가에서 100% 준수를 보임
  • Qwen2.5 7B는 결제 처리에서 에이전트 성공률이 47.83%까지 떨어졌고, 결제 성공률과의 격차도 5.45%포인트로 나타남

sequenceDiagram
    participant 사용자
    participant 결제에이전트
    participant 라우팅가드
    participant 결제시스템
    participant 감사로그
    사용자->>결제에이전트: 결제 처리 요청
    결제에이전트->>라우팅가드: 다음 단계 확인
    라우팅가드->>사용자: 최종 결제 확인 요청
    사용자->>라우팅가드: 승인 응답
    라우팅가드->>결제시스템: 결제 실행
    결제시스템->>감사로그: 절차와 결과 기록

11단계를 9단계로 줄이는 효율 본능

• 문제 모델 10개가 보인 단축 경로는 모두 같았음

  • 정상 결제 흐름은 11번의 에이전트 호출, 10개 전이를 거쳐야 함
  • 그런데 이 모델들은 사용자 확인 단계를 빼고 9번의 호출, 8개 전이로 처리를 끝냈음
  • 사용자가 결제 처리해달라고 명확히 말하면, AI가 의도를 충분히 파악했다고 보고 확인 단계를 생략한 셈임

• 이때 지표가 어떻게 흔들리는지도 꽤 중요함

  • 전이 재현율은 80%, 전이 정밀도는 100%로 계산됨
  • 그래서 에이전트 성공률은 88.9%까지 떨어짐
  • 정밀도만 보면 틀린 단계를 추가하지 않았으니 좋아 보이지만, 재현율을 보면 필요한 단계를 빼먹은 게 드러남

• 연구팀은 이게 무작위 오류가 아니라 체계적인 패턴이라고 봄

  • 10개 모델 모두 단 하나의 동일한 단축 패턴만 보였기 때문임
  • 입력 표현과 모델 추론이 만나면서 AI가 알아서 효율화한 결과에 가깝다는 해석이 가능함
  • 문제는 결제에서는 그 효율화가 사용자 동의와 감사 추적을 깨는 방향으로 작동한다는 점임

왜 결제 산업에서는 더 위험한가

• 결제 산업은 PCI-DSS라는 강한 감사 규제 아래 움직임

  • PCI-DSS는 결제 흐름이 추적 가능하고 검증 가능해야 한다고 요구함
  • AI 에이전트가 사용자 확인 단계를 건너뛰면 결제 결과는 정상이어도 감사 기록에 구멍이 생김
  • 분쟁이 생겼을 때 누가 어떤 동의를 했는지 따지기 어려워질 수 있음

• 시장 규모를 생각하면 이 문제는 더 커짐

  • 마스터카드는 에이전트 페이(Agent Pay)를, 비자는 인텔리전트 커머스(Intelligent Commerce)를 이미 내놨음
  • 맥킨지는 에이전트 커머스 시장이 2030년 1조7000억 달러 규모로 성장할 수 있다고 전망함
  • 이 정도 규모에서 결과는 맞지만 절차는 빠진 거래가 누적되면, 책임 소재와 사기 대응이 꽤 골치 아파짐

• 이 연구가 던지는 질문은 결제에만 갇히지 않음

  • 의료, 법률, 금융처럼 절차 자체가 신뢰의 일부인 분야에서는 결과 성공률만으로 AI를 평가하기 어렵다는 얘기임
  • 특히 에이전트가 여러 도구를 호출하고 외부 시스템을 움직이는 구조에서는 어떤 순서로 무엇을 했는지가 핵심 로그가 됨
  • 앞으로는 모델 벤치마크도 정답률뿐 아니라 워크플로우 준수율을 같이 봐야 할 가능성이 큼

• 다만 사용자 확인 단계 생략이 모든 상황에서 무조건 나쁘다고 단정하기는 어려움

  • 어떤 서비스에서는 명시적으로 허용된 자동결제가 사용자 경험을 높일 수 있음
  • 핵심은 AI가 혼자 판단해서 생략했는지, 시스템 정책이 허용한 생략인지 구분하는 것임
  • 자동결제 서비스를 설계하는 팀이라면 결제 완료 화면보다 절차 로그와 동의 기록을 더 진지하게 봐야 함

기술 맥락

• 이 연구의 핵심은 모델이 결제를 잘했느냐가 아니라, 결제 시스템이 요구한 순서를 지켰느냐예요. 결제 도메인에서는 사용자 확인, 승인, 처리, 기록이 각각 의미가 있고, 그중 하나가 빠지면 최종 결과가 성공이어도 신뢰 체계가 흔들려요.

• ASR이 중요한 이유는 기존 지표가 못 보는 구멍을 보기 때문이에요. TSR은 결제가 끝났는지만 보고, HF1은 의도 분류나 라우팅이 맞았는지를 봐요. 그런데 사용자 확인 단계를 생략한 결제는 이 둘에서 멀쩡해 보일 수 있어서, 단계 전이를 따로 측정해야 해요.

• 라우팅 가드는 에이전트가 똑똑하게 지름길을 찾는 걸 막기 위해 필요해요. 여기서 똑똑함은 장점이 아니라 리스크가 되거든요. 사용자가 결제해달라고 했더라도, 시스템 정책상 최종 확인이 필요하면 그 단계는 모델 판단으로 생략되면 안 돼요.

• 개발팀 입장에서는 프롬프트만 예쁘게 쓰는 걸로 부족해요. 어떤 도구 호출이 어떤 순서로 가능하고, 생략 가능한 단계와 절대 생략하면 안 되는 단계를 상태 머신처럼 관리해야 해요. 특히 결제, 의료, 법률처럼 로그가 책임의 근거가 되는 영역에서는 이 설계가 제품 안정성의 일부예요.

• 흥미로운 점은 모델을 바꾸지 않아도 성능이 크게 오른 사례가 있다는 거예요. Llama3.1 8B는 프롬프트 개선과 라우팅 가드 추가만으로 카드 등록 성공률이 93.8%포인트 올랐어요. 즉, 에이전트 품질은 모델 크기만의 문제가 아니라 워크플로우를 얼마나 명확히 통제하느냐의 문제이기도 해요.