전사에는 없지만 고객은 말했다

AI 전화 에이전트가 받은 통화 한 건을 다시 살피던 날, 나는 전사를 읽자마자 결론을 냈다. AI가 고객의 반응을 기다리지 않고 자기 말을 혼자 반복했다는 결론이었다. 화면에 보이는 문장 순서도 그럴듯했다. 고객이 말하고 AI가 답한 뒤, 또 AI의 말이 나왔다. 두 AI 발화 사이에 고객의 답은 없었다.

문제는 그 빈칸을 내가 이야기로 채웠다는 것이다. 그날 나는 같은 통화를 세 번 읽고 세 번 틀렸다. 내가 운영하는 전화 에이전트의 품질을 가리는 일에서 이건 해석을 한 번 잘못한 정도의 사건이 아니었다. 무엇을 먼저 믿어야 하는지, 그 순서가 뒤집혀 있었다.

1. 첫 번째 오답은 빈칸에서 시작됐다

전사에는 AI의 발화가 연달아 있었다. 그래서 “AI가 혼자 반복했다”는 판정이 나왔다. 말이 이어져 있으니 그 사이에 아무도 말하지 않았으리라고 가정했다. 그런데 전사는 통화 그 자체가 아니다. 통화 중에 난 소리를 글로 옮긴 결과물이고, 옮기는 과정에서 어떤 발화는 빠질 수 있다.

이 통화에서는 AI가 말하는 도중에 고객이 짧게 끼어 말했다. 짧은 고객 발화를 전사에 올리지 않는 처리 때문에 그 말은 텍스트에 들어오지 않았다. 남은 줄을 읽으면 AI의 말 다음에 곧바로 AI의 말이 온다. 누군가 사이에서 말했다는 걸 알려주는 줄이 없다. 내 첫 결론은 그 줄이 없다는 사실 하나에 전부 기대고 있었다.

그래서 “고객 전사가 없다”와 “고객이 말하지 않았다”를 같은 문장으로 쓰면 안 된다. 어떤 통화에서는 둘이 우연히 일치할 수 있다. 이 통화에서는 달랐다. 무언가 없었다는 주장일수록, 그것을 빠뜨릴 수 있는 기록만으로는 확인할 수 없다.

2. 두 번째와 세 번째 오답은 다른 화면에서 나왔다

첫 판정이 의심스러워지자 이번에는 통화 로그를 봤다. 재생 속도를 관리하는 숫자와 어느 시점에 남아 있던 재생 구간을 읽고, “끝까지 고객에게 전달되지 못한 말이 있었다”고 판단했다. 하지만 그 수치는 통화가 끝날 때 버려진 음성의 길이가 아니었다. 그 시점의 재생 상태를 보여주는 숫자였을 뿐이고, 해당 통화에서 음성이 실제로 버려졌거나 재생이 끊겼다는 표시는 없었다. 숫자가 정밀해 보인다는 이유로, 그 숫자가 뜻하지 않는 사건까지 말하게 한 셈이다.

세 번째에는 과거 조사 기록을 꺼냈다. 예전에 고객이 통화 중 끼어 말하는 기능이 꺼져 있던 시기의 기록을 보고, 이번에도 그 기능을 켜야 한다고 말했다. 하지만 현재 설정은 이미 달라져 있었다. 과거 기록은 그걸 쓴 당시의 사실이지, 지금 돌아가는 상태를 증명하지 않는다. 그 순간의 설정을 다시 확인했더라면 세 번째 오답은 나오지 않았다.

세 번의 실수는 각각 다른 자료에서 나왔다. 전사에게는 소리의 빈자리를, 로그에게는 종료 결과를, 옛 기록에게는 현재 설정을 물었다. 자료가 틀렸던 게 아니다. 자료마다 답할 수 있는 질문이 다른데, 나는 질문을 가리지 않고 답을 받아 적었다.

3. 양쪽 채널을 열었더니 목소리가 있었다

결국 녹음을 다시 열었다. 고객과 AI의 소리를 따로 들을 수 있게 양쪽 채널을 나눠서, AI가 실제로 어느 구간에서 소리를 냈는지, 그 사이에 고객이 무슨 말을 했는지 확인했다. AI가 말하던 도중인 24.2~24.7초에 고객이 “여보세요?”라고 했다. 전사에는 없는 말이었다.

이 발견으로 처음의 “혼자 반복” 판정은 무너졌다. 문장 두 개 사이의 공백이라고 생각했던 자리에 사람의 목소리가 있었다. AI가 실제로 말한 구간도 AI 쪽 채널에서 확인됐다. 로그에 재생 관련 숫자가 있다는 것만으로 “고객에게 말이 전달되지 않았다”고 쓸 수 없었던 이유가 여기 있다.

다만 AI 쪽 채널에 소리가 있다고 해서 고객이 그 말을 분명히 듣고 이해했다는 증명까지 되는 건 아니다. 재생된 소리와 사람이 체감한 통화는 또 다르다. 이 사례에서 확인한 사실은 그보다 좁고 단단하다. AI가 말했고, AI가 말하는 도중에 고객도 말했다. 전사만으로는 두 번째 사실이 보이지 않았다. 그렇다고 짧은 “여보세요?” 하나로 통화 전체의 불만이나 제품 결함을 단정하지도 않는다. 그 말이 나온 위치와 앞뒤 소리를 함께 들어야 한다.

이 한 통화의 결과를 모든 통화의 원인으로 넓힐 생각은 없다. 다만 이 사례는 전사에 없는 말이 녹음에는 있을 수 있다는 걸 직접 보여줬다. 그런 가능성이 있는 시스템을 운영한다면, 고객 말이 빠진 전사 구간을 보고 곧장 무응답이나 자문자답으로 판정해서는 안 된다.

4. 전사의 시계는 통화의 시계가 아니다

함정이 하나 더 있었다. 전사에 찍힌 시각은 발화가 시작된 시각으로 읽기 쉽다. 이 통화에서 그 숫자는 발화 시작이 아니라 전사가 확정된 시각이었다. 실제 소리보다 전사 시각이 늦게 붙은 차이는 +1.84초, +2.84초, +2.52초로 측정됐다. 전사 줄을 초 단위로 늘어놓고 “바로 이어서 말했다”고 해석하면, 실제 겹침과 순서를 거꾸로 읽을 수 있다.

전화 에이전트를 운영하면서 텍스트가 편한 이유는 분명하다. 긴 통화를 빨리 훑고, 특정 말을 검색하고, 수많은 통화 중 다시 볼 건을 고르기 좋다. 전사를 버리자는 얘기가 아니다. 전사는 찾아갈 곳을 가리키는 색인이다. 책 뒤쪽 색인에서 단어를 못 찾았다고 해서 본문에 그 사건이 없었다고 결론 내릴 수는 없다.

로그도 마찬가지다. 어떤 처리가 언제 있었는지 찾는 데는 유용하지만, 고객이 실제로 들은 소리를 로그 문장으로 재생할 수는 없다. 예전 조사 기록은 반복되는 문제를 떠올리는 데 좋지만, 현재 상태는 현재 설정에서 확인해야 한다. 어느 자료든 자기 역할 밖의 질문에 답하기 시작하면 오답이 나온다.

5. 이제 통화를 어떻게 판정하는가

통화 품질을 조사할 때 가장 먼저 바뀐 건 질문의 순서다. “전사에 뭐라고 적혔지?”에서 멈추지 않고, 누가 어느 구간에서 말했고 어떤 소리가 재생됐는가를 먼저 본다. 녹음의 파형과 양쪽 채널 재생이 이 질문에 가장 가까운 증거다. 파형은 시간에 따라 소리의 크기가 어떻게 변했는지 보여주는 모양이다. 텍스트가 빠뜨릴 수 있는 겹친 발화도 파형과 재생에서는 다시 확인할 수 있다.

이 표는 녹음만 들으면 모든 품질 문제가 풀린다는 약속이 아니다. 녹음이 없는 통화라면, 확인할 수 없는 부분을 확인했다고 쓰지 않아야 한다. 스테레오 채널이 각각 누구 소리인지도 먼저 알아야 한다. 고객 쪽과 AI 쪽을 거꾸로 듣고 “고객이 조용했다”고 말하면 출발점부터 틀린다. 파형에 소리가 있다고 그 의미가 저절로 정해지지도 않는다. 소리의 존재와 말의 내용, 재생과 이해를 각각 나눠 확인해야 한다.

이제 전사에서 AI의 말만 연달아 보이면 그 모양을 일단 다시 들어볼 신호로 본다. 이 한 건을 계기로, 그런 구간에 고객 전사가 없을 때 곧바로 무응답이나 자문자답으로 단정하지 않도록 판정 순서에 ‘녹음 다시 듣기’를 넣었다. 이걸로 모든 통화를 완벽하게 가려낼 수 있다는 뜻은 아니다. 적어도 보지 못한 소리를, 보지 못했다는 이유로 없었다고 쓰는 일은 멈추려는 순서다.

6. 틀린 기록을 더 빨리 읽는 것보다

AI 에이전트를 붙이면 통화를 검토하는 속도는 빨라진다. 빨리 훑을 수 있으니 나도 자꾸 전사부터 펼친다. 그 습관 자체가 문제는 아니다. 문제는 듣지 못한 소리를 두고, 잘 정돈된 문장과 숫자를 보며 들었다고 착각하는 순간이다. 이번에는 내 첫 판정 뒤에 로그의 숫자가 붙었고, 그다음엔 과거 기록이 붙었다. 자료를 하나씩 더했는데도 실제 통화에서는 오히려 계속 멀어졌다.

나는 전화 에이전트에게 고객의 말을 듣고 반응하라고 요구한다. 그렇다면 그 에이전트를 평가하는 나도 고객의 말을 먼저 들어야 한다. 전사는 통화를 찾아가게 해준다. 로그는 어떤 처리가 있었는지 좁혀준다. 옛 기록은 지난번에 무엇을 고쳤는지 알려준다. 그러나 그날 고객이 한 말은 그날의 녹음에서 확인해야 한다.

한 통화에서 세 번 틀린 뒤에 남은 문장은 간단하다. 전사에는 없지만 고객은 말했다. 없는 줄을 빈 소리로 읽지 않는 것. 통화 품질을 제대로 판정하는 일은 그 작은 순서 변경에서 시작된다.