AI가 조사해준 50곳, 다시 세어보니 세 곳이었습니다

안녕하세요, 차분한 개발자입니다.

혼자 일하면서 조사와 정리를 AI에 맡기기 시작하면, 어느 순간부터 결과만 받아보게 됩니다. 저도 그렇습니다. 이번 달에 그렇게 받은 보고서 하나가 크게 틀려 있었는데, 읽을 때는 전혀 이상해 보이지 않았습니다. 오늘은 그 이야기입니다.

---

이달 초 · 많다던 게 세 곳이었습니다

영업용으로 보낼 자료를 만들려고 사이트 50곳의 상태를 조사시켰습니다. 잠시 뒤 보고서가 올라왔고, 거기에 “본문이 검색엔진에 안 잡히는 곳이 꽤 많다”는 항목이 있었습니다.

그럴듯했습니다. 실제로 흔한 문제이기도 합니다. 그대로 메일에 쓰려다가, 숫자가 좀 커 보여서 몇 곳만 열어봤습니다.

정말 그런 곳은 세 곳이었습니다.

나머지는 사이트에 문제가 있는 게 아니었습니다. 제목 태그 앞뒤에 공백이 한 칸씩 들어가 있었고, 확인하는 코드가 그걸 빈 값으로 읽은 것이었습니다. 사람 눈으로 보면 제목이 멀쩡히 있는데, 기계 눈으로는 비어 보인 겁니다. 같은 보고서에 있던 다른 항목 하나도 다시 해보니 재현되지 않았습니다.

여기서 제가 오래 생각한 건 “AI가 틀렸다”가 아니었습니다. 조사 자체는 성실하게 됐습니다. 틀린 건 확인하는 방법이었고, 보고서에는 그 방법이 아니라 결론만 올라옵니다. 읽는 쪽에서 보면 잘 확인해서 나온 결론과 잘못 확인해서 나온 결론이 똑같이 생겼습니다.

이게 사람에게 시켰을 때와 다른 점이라고 느꼈습니다. 사람은 애매하면 “이거 좀 이상한데요” 하고 말을 겁니다. 자동으로 도는 쪽은 애매해도 결론을 냅니다.

---

그래서 무엇을 보나

개발이 아니어도 그대로 쓰실 수 있는 것으로 세 가지만 정리해 두었습니다.

하나, 숫자가 큰 항목부터 표본을 열어봅니다. 전부 확인할 필요는 없습니다. “많다”, “대부분”, “다수” 같은 말이 붙은 항목에서 서너 개만 직접 열어보면 됩니다. 이번에도 세 개째에서 이상하다는 게 드러났습니다. 반대로 “한 곳에서 발견됐다” 같은 항목은 틀려도 손해가 작습니다.

둘, 남에게 나갈 문장만 다시 확인합니다. 내부에서 참고만 하는 자료까지 전부 검증하면 시간이 남지 않습니다. 저는 기준을 하나로 잡았습니다. 이 문장이 남한테 그대로 보이는가. 메일에 들어갈 문장, 고객에게 갈 리포트, 발행할 글은 다시 확인하고, 나머지는 참고로 둡니다.

셋, 결론과 함께 근거를 요구합니다. “몇 곳이 문제였다”만 받지 말고 “어떤 곳이 왜 그렇게 판정됐는지”를 같이 받아 두면, 확인이 몇 분으로 끝납니다. 이번에도 판정 근거가 같이 있었다면 공백 문제라는 걸 훨씬 빨리 봤을 겁니다.

결국 확인하는 데 걸린 시간이 조사시킨 시간보다 길었습니다. 그래도 이 순서가 맞다고 생각합니다. 틀린 문장이 밖으로 나가면 돌려받는 비용이 훨씬 큽니다.

---

이번 주 · 11개가 0개로 보였습니다

지난주에도 비슷한 얼굴을 한 일이 있었습니다.

집에 있는 서버에 원격으로 명령을 보내 컨테이너가 몇 개 도는지 물었더니 0개라고 답했습니다. 실제로는 11개가 멀쩡히 돌고 있었습니다.

원인은 서버가 아니라 물어보는 방식이었습니다. 맥은 사람이 창을 열고 로그인할 때만 프로그램 찾는 경로를 채워줍니다. 원격으로 명령 한 줄만 던지면 그 설정을 안 읽습니다. 그래서 “그런 명령 없다”가 되고, 그 응답이 세는 자리로 흘러가 0이라는 숫자가 됐습니다.

숫자가 나왔으니 정상적인 대답처럼 보였습니다. 앞의 보고서와 정확히 같은 모양입니다. 확인하는 쪽이 어긋났는데 결과는 멀쩡한 얼굴로 나옵니다.

그래서 확인 스크립트를 고칠 때 한 줄을 더 넣었습니다. 명령을 못 찾은 경우와 정말 0개인 경우를 구분해서, 앞의 경우에는 숫자 대신 사람이 읽을 문장이 나오게 했습니다. 별것 아닌데 이런 게 몇 시간을 아낍니다.

---

맺으며

읽어주셔서 감사합니다. AI에 맡겨둔 것 중에 결과만 받아보고 있는 게 있으시다면, 어떤 종류인지 답장으로 들려주시면 반갑겠습니다. 확인할 자리를 같이 잡아보겠습니다.

차분한 개발자 드림