한 고객사에 보낼 회신을 짧게 요청해 검색 결과를 살폈다. 거기에는 이미 지나간 미팅에서 이야기한 자료 전달 약속이 다시 나왔다. 그 뒤에 오간 연락이 있었고, 이번 회신에 넣어야 할 사람도 있었다. 그런데 짧은 요청의 검색 결과에서는 그 정정이 빠져 있었다. 오래된 이야기가 그럴듯한 준비물 후보가 된 순간, 이 결과만으로 회신 초안을 만들 수는 없었다. 이번 점검에서 확인한 것은 검색 결과다. 그 약속을 담은 회신이 실제로 발송됐다는 뜻은 아니다.
처음 든 생각은 ‘기억을 안 했나?’였다. 찾아보니 사정이 달랐다. 나와 일하는 에이전트 Joe는 Hindsight라는 장기기억 도구를 쓰고 있었다. 정정이 저장된 사례도 있었고, 정정에서 나온 요약도 있었다. 다만 옛 주장과 새 결정이 함께 살아 있는 곳이 있었다. 저장은 했는데, 다음 일을 준비할 때 어느 쪽을 믿어야 하는지가 정리되지 않은 것이다.
1. 저장은 됐다. 문제는 다음에 꺼내 쓸 때였다
나는 혼자 회사를 운영하면서 고객과 통화하고, 메일을 쓰고, 그 결과를 에이전트와 함께 이어간다. 이때 기억에 필요한 것은 ‘무슨 대화를 나눴다’는 배경만이 아니다. 누가 바꾸자고 했는지, 언제 바뀌었는지, 지난번 안에서 무엇을 버렸는지까지 다음 준비물에 살아 있어야 한다.
그런데 에이전트의 검색은 단어가 닮은 이야기를 잘 데려온다. 옛 미팅도 같은 고객사 얘기이고, 새로운 회신도 같은 고객사 얘기다. 둘 다 관련 있어 보이지만 둘을 같은 다음 행동으로 취급하면 안 된다. 이름이 맞아도 용건이 다르면 틀린 답이고, 용건이 맞아도 나중에 제외한 내용을 다시 넣으면 더 위험하다.
내 기억 저장 상태를 읽기 전용으로 들여다볼 때 문서 1,208개의 메타데이터를 대조하고 원천과 정정이 이어지는 12사례를 자세히 봤다. 기억을 추가하거나 지우지 않는 비교 요청도 13회 했다. 이 숫자는 제품의 정확도 점수가 아니다. 내 운영에서 어떤 단계가 끊겼는지 알아보려 한 점검 범위다.
2. 셋이 어긋나면 오래된 말이 새 결정처럼 보인다
첫째는 누가 한 말인지다. 내가 확정한 변경, 상대가 말한 희망, Joe가 제안한 초안, 실제로 보낸 결과는 서로 다른 기록이다. 초안을 만들었다는 기록이 발송했다는 증거가 될 수 없다. 대화 안에는 사람의 발화처럼 포장된 기계 알림도 섞일 수 있었다. 저장할 때부터 화자와 원천을 붙여두지 않으면, 나중에 문장만 보고 둘을 구별할 길이 없어진다.
둘째는 정정과 옛 주장을 연결하는 일이다. 한 업무에서 제외했다가 나중에 다시 포함하기로 바꾼 결정이 있었다. 두 시점의 내용이 각각 저장됐고, 요약된 기억에도 들어갔다. 그런데 서로 다른 묶음에서 정리되면서 옛 제외 주장과 새 포함 결정이 모두 여전히 쓸 만한 결과로 남았다. 새 문장을 하나 더 적는 것과 옛 문장이 이제는 유효하지 않다고 연결하는 것은 다른 일이다. 이번 사례는 그 차이를 보여준다. 모든 정정에서 같은 일이 생긴다는 말은 아니다.
셋째는 요약의 위치다. 대화 원문에서 뽑은 사실과 여러 사실을 정리한 요약은 용도가 다르다. 배경을 파악할 때는 요약이 빠르다. 하지만 특정 회신에서 누구를 포함해야 하는지, 실제로 보냈는지, 나중에 무엇을 뺐는지처럼 정확한 일을 정할 때는 다시 원래 말과 결과물로 내려가야 한다. 파생된 문장은 검색의 입구이지, 발언과 실행을 증명하는 원본이 아니다.
내 확정, 상대의 말, 에이전트의 제안, 실제 실행을 분리한다.
새 정정을 남기되, 무엇을 더는 쓰면 안 되는지도 연결한다.
배경을 찾는 데 쓰고, 정확한 결론은 원문과 결과물로 확인한다.
3. 짧게 물으면 답은 왔다. 준비물은 완성되지 않았다
평소처럼 짧게 준비를 요청하는 여섯 업무를 골라, 각각 무엇이 반드시 들어가야 하는지 원문과 먼저 대조했다. 모두 검색 결과는 돌아왔다. 그러나 최신 정정, 빼야 할 내용, 실제 사용 상태까지 온전히 회수한 건은 없었다. 어떤 요청에서는 정정의 일부가 나왔고, 어떤 요청에서는 같은 고객사의 과거 배경이 최근 용건보다 먼저 나왔다. 반환이 있다는 것과 지금 보내도 되는 준비물이 나왔다는 것은 다른 일이다.
한 요청에는 사람과 이번 용건을 더 넣어 다시 물었다. 처음엔 보이지 않던 핵심 정정이 그때는 검색 결과에 나왔다. 적어도 이 건에서는 정정이 애초에 저장되지 않았다는 추측이 맞지 않았다. 동시에 질문을 길게 쓰기만 하면 언제나 해결된다는 증거도 아니다. 그 검색에서도 최종 자료가 실제로 사용됐는지까지 확인되지는 않았다.
여섯 건은 내 업무를 골라 본 작은 점검이다. Hindsight의 일반 성능 판정도, 모든 에이전트의 실패율도 아니다. 또 내가 직접 확인한 것은 읽기 전용 검색 응답이다. 그 응답이 평소 매 대화에서 에이전트에게 똑같이 전달됐다고 단정하지 않는다. 다만 한 가지는 분명했다. 검색 결과가 오래된 계획을 끌어올리고 최근 변경을 놓친 상태에서, 바로 회신 초안을 쓰게 해서는 안 된다.
4. 그래서 더 많이 저장하는 대신 확인 순서를 바꿨다
내가 세운 원칙은 기억을 전부 길게 만들자는 게 아니다. 배경을 묻는 일에는 요약을 쓸 수 있다. 그러나 이번 용건의 약속, 제외 조건, 발송 여부 같은 내용은 검색 문장에서 멈추지 않고 원래 대화와 실제 결과물까지 따라간다. 못 찾으면 모른다고 둔다. 옛 요약이 빈칸을 대신 채우게 하지 않는다.
정정이 들어오면 새 버전을 적는 데서 끝내지 않는다. 어느 옛 주장에 대한 변경인지, 같은 사람의 같은 업무인지, 누가 확정했는지 붙여둔다. 두 번 저장된 같은 원문을 서로 독립적인 증거로 세지도 않는다. 이런 구분이 없으면 기억이 많아질수록 ‘어느 쪽이 지금 맞나’를 다시 사람에게 묻는 일이 늘어난다.
주제별로 미리 정리해두는 긴 문서도 조심해서 쓴다. 이번 점검에서는 최근에 갱신된 요약 문서 안에 과거 운영값이 남아 있었다. 그 문서를 포함한 한 번의 비교 실행은 옛 값을 현재처럼 제시했고, 제외한 실행은 더 새 정정을 찾았다. 단 한 번씩의 비교이므로 요약 문서 자체의 결함이라고 결론 낼 수 없다. 그러나 갱신 시각은 문서 안의 모든 문장이 최신이라는 보증이 아니다. 현재 상태가 중요한 일은 지금의 원본을 다시 확인한다.
운영을 다 바꿨다는 얘기는 아니다. 점검 뒤 내가 다음 준비물부터 적용하기로 한 기준이다. 기억을 지우거나 전부 다시 만들지는 않았다. 어떤 문장이 실제 행동까지 건너갔는지 확인하는 일이 먼저다. 특히 고객에게 나갈 글은 검색 결과에서 바로 완성하지 않는다. 빠진 정정을 찾지 못했으면 그 부분을 비워두고, 내가 마지막으로 고친 문장과 실제 보낸 기록을 다시 찾아본다. 시간을 조금 더 쓰더라도 옛 약속을 다시 꺼내는 것보다는 낫다.
5. 내 에이전트에게 던질 세 질문
기억을 잘하는지 묻고 싶다면 ‘지난번 일을 기억하니?’ 대신, 새 일을 주고 아래를 확인하는 편이 낫다. 정답을 먼저 질문에 써주면 시험이 아니다. 같은 유형의 일을 다른 내용으로 시킨 뒤, 그때의 초안과 원래 기록을 나란히 놓고 본다.
- 지난번에 내가 빼라고 한 내용을, 이번의 비슷하지만 다른 준비물에서 먼저 빼두었는가? 뒤늦게 지적하니 찾아온 정정은 저장의 증거일 뿐, 다음 행동에 반영됐다는 증거가 아니다.
- 이번 초안에서 중요한 사실마다 누가 언제 말했고 실제로 무엇이 나갔는지 구별되는가? 에이전트의 제안과 사람의 확정, 작성과 발송이 섞이면 그럴듯한 문장도 멈춰 세워야 한다.
- 옛 결정과 새 정정이 함께 발견되었을 때 무엇을 버렸는지 설명하고, 원래 대화와 결과물을 가리키는가? 답을 못 찾으면 빈칸으로 남기는지도 본다. 최신처럼 보이는 요약 한 줄로 채우지 않는 것이 더 좋은 답일 때가 있다.
내 에이전트도 검색 결과를 받았다. 하지만 그것만으로 고객에게 보낼 준비가 됐다고 말할 수 없었다. 기억이 있는가보다 더 아픈 질문은 이것이다. 내가 바꾼 결정이, 다음번에는 말하지 않아도 초안의 방향을 바꾸는가.