검증 · 읽는 데 약 7분

AI가 쓴 글, 구별할 수 있을까? 탐지기의 한계와 확인법

과제나 보고서, 온라인 글을 보며 'AI가 쓴 거 아니야?' 하고 탐지기를 돌려 보는 사람이 많아요. 그런데 탐지기는 생각보다 자주 틀리고, 사람이 쓴 글을 AI 글로 판정하기도 해요. 탐지기의 한계를 알고, 점수 대신 무엇을 볼지 정리했어요.

AI 글 탐지기는 어떻게 판단할까요?

AI 글 탐지기는 글에 쓰인 단어와 문장의 패턴을 보고, AI가 썼을 가능성을 숫자로 추정해요. 결과가 '87%'처럼 나와도 그것은 짐작한 값이지, 누가 썼는지 보여 주는 증거가 아니에요.

사람도 AI처럼 반듯하게 쓸 수 있고, AI 글도 사람이 고치면 패턴이 바뀌어요. 그래서 탐지기는 맞을 때도 있지만, 결과 하나만으로 결론을 내리기는 어려워요.

탐지기가 틀리는 방식은 두 가지예요. AI가 쓴 글을 놓치는 경우와, 사람이 쓴 글을 AI 글로 잘못 짚는 경우예요. 두 번째 실수는 억울한 사람을 만들 수 있어서 더 조심해야 해요.

만든 회사도 접은 탐지기

유명 AI 챗봇을 만든 한 회사는 2023년 1월 'AI가 쓴 글 판별기'를 내놓았어요. 회사가 직접 시험해 보니 AI가 쓴 글 가운데 26%만 'AI가 썼을 가능성이 높다'고 맞게 찾아냈어요. 사람이 쓴 글의 약 9%는 AI가 쓴 글로 잘못 표시했어요.

이 회사는 2023년 7월 20일 '정확도가 낮다'는 이유로 판별기 서비스를 멈췄어요. AI를 가장 잘 아는 회사도 글만 보고 가려내기가 어렵다고 인정한 셈이에요.

그 뒤에도 여러 탐지 서비스가 나왔어요. 하지만 아래 연구와 사례를 보면 결과를 그대로 믿기는 여전히 어려워요.

사람이 쓴 글을 AI 글로 오해하기도 해요

2023년 미국 스탠퍼드대 연구진은 탐지기 7종에 영어가 모국어가 아닌 사람이 쓴 영어 시험(TOEFL) 에세이 91편을 넣어 봤어요. 탐지기들은 평균 61% 정도를 AI가 쓴 글로 판정했어요. 18편(약 19%)은 7종 모두가 AI 글이라고 했고, 89편(97%)은 적어도 하나의 탐지기가 AI 글로 표시했어요.

반면 미국에서 태어난 중학생(8학년)의 에세이는 거의 정확하게 사람이 쓴 글로 판정했어요. 연구진은 쉬운 단어를 고르고 문장을 단순하게 쓰는 글이 AI 글로 오해받기 쉽다고 봤어요. 외국어로 글을 쓰는 사람이나 글쓰기에 서툰 사람이 억울하게 의심받을 수 있다는 뜻이에요.

이 연구는 영어 글을 대상으로 했지만, 탐지기가 글의 겉모습만 보고 판단한다는 한계는 다른 언어에서도 생각해 볼 만해요. 점수가 높게 나왔다고 곧바로 의심하기보다, 글쓴이의 상황을 먼저 헤아려 보세요.

'정확도 98%' 광고도 확인이 필요해요

2025년 4월 미국 연방거래위원회(FTC, 소비자 보호를 맡은 미국 정부 기관)는 한 AI 글 탐지기 회사에 근거 없는 광고를 멈추라는 명령안을 냈어요. 이 회사는 정확도가 98%라고 광고했지만, 독립 시험에서 일반적인 글에 대한 정확도는 53% 정도였어요.

FTC는 이 탐지기가 사실상 학술 글로만 학습했는데도 여러 종류의 글에 맞는 것처럼 광고했다고 지적했어요. 명령안에 따라 이 회사는 믿을 만한 근거가 있을 때만 성능을 광고할 수 있어요. 탐지기 광고 속 숫자도 그대로 믿지 말아야 하는 이유예요.

탐지기를 고를 때는 광고 문구보다 어떤 글로 시험했는지, 사람 글을 AI 글로 잘못 판정한 비율은 얼마인지를 살펴보세요. 이런 설명이 없다면 결과를 더 조심해서 읽어야 해요.

탐지기 대신 이렇게 확인하세요

누가 썼는지보다 중요한 것은 글의 내용이 맞는지예요. 숫자, 날짜, 인용, 출처가 실제와 같은지 확인하면 AI가 썼든 사람이 썼든 잘못된 부분을 걸러 낼 수 있어요.

우리나라에서는 2026년 1월 22일 인공지능 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)이 시행됐어요. 이 법은 AI 서비스를 제공하는 사업자에게 AI로 만든 결과물이라는 표시를 하게 했어요. 다만 AI 도구로 글을 쓴 개인은 이 법의 표시 의무 대상이 아니어서, 표시가 없다고 사람이 쓴 글이라는 뜻은 아니에요.

  • 내용 확인: 사실, 숫자, 출처가 맞는지 직접 찾아봐요.
  • 과정 확인: 메모, 초안, 수정 기록이 있는지 봐요.
  • 대화 확인: 글쓴이에게 내용을 말로 설명해 달라고 해요.
  • 표시 확인: AI로 만들었다는 표시나 안내 문구가 있는지 봐요.

의심하거나 의심받을 때

학생이나 동료의 글이 의심된다면 탐지기 점수만 내밀지 말고 먼저 이야기를 나눠 보세요. 어떻게 자료를 찾고 썼는지 물어보면 오해가 쉽게 풀리기도 해요. 탐지기를 쓰더라도 결과는 대화를 시작하는 계기 정도로만 쓰세요.

반대로 내가 의심받을 때를 대비해, 글을 쓰는 과정을 남겨 두면 좋아요. 문서 프로그램의 버전 기록, 자료 메모, 초안 파일이 좋은 증거가 돼요. AI의 도움을 받았다면 어디에 어떻게 썼는지 미리 밝혀 두는 것이 가장 깔끔해요.

의심하는 쪽도, 의심받는 쪽도 바라는 것은 결국 정직한 글이에요. 탐지 점수보다 서로의 설명을 듣는 데서 시작하면 오해를 줄일 수 있어요.

오늘부터 해 볼 것

  • 탐지기 점수는 증거가 아니라 짐작한 값으로 읽어요.
  • 누가 썼는지보다 내용이 맞는지부터 확인해요.
  • '정확도 ○○%' 광고는 근거가 있는지 따져 봐요.
  • 의심되면 점수를 내밀기 전에 글쓴이와 먼저 이야기해요.
  • 글을 쓸 때 초안과 수정 기록을 남겨 둬요.
  • AI 도움을 받았다면 어디에 썼는지 미리 밝혀요.

읽은 내용을 글링코에게 가르쳐 줄까요?3분 수업을 풀면 글링코가 배우고 자라요.

「AI의 거짓말 잡기」 수업 풀기

이 글에 나온 용어

자주 묻는 질문

탐지기 여러 개에서 모두 AI라고 나오면 확실한 건가요?

아니에요. 앞의 연구에서 사람이 쓴 에세이 91편 가운데 18편은 탐지기 7종이 모두 AI 글이라고 잘못 판정했어요. 여러 탐지기가 같은 결과를 내도 함께 틀릴 수 있어요. 내용과 작성 과정을 함께 확인하세요.

'AI 티'가 나는 표현이 많으면 AI가 쓴 글 아닌가요?

딱딱한 말투나 비슷한 문장 구조는 사람이 쓴 글에도 흔히 나와요. 문체만으로는 누가 썼는지 단정하기 어려워요. 글이 어색하다면 누가 썼는지보다 내용이 정확하고 근거가 있는지를 보세요. AI가 쓴 글도 사람이 고치면 이런 특징이 사라지기도 해요.

AI로 맞춤법만 고쳤는데 탐지기에 걸릴 수도 있나요?

그럴 수 있어요. AI가 문장을 다듬으면 표현 패턴이 바뀌기 때문이에요. 과제나 업무 규칙에서 AI 사용을 어디까지 허용하는지 먼저 확인하고, 도움을 받은 부분은 솔직하게 밝혀 두세요. 다듬기 전 원래 초안을 저장해 두면 의심받을 때 도움이 돼요.

참고한 자료

함께 읽으면 좋은 글