검증 · 읽는 데 약 7분
AI 환각이란? AI 챗봇이 그럴듯하게 틀리는 이유와 확인법
AI 챗봇에게 물었더니 말투는 자신 있는데 내용이 틀린 경우가 있어요. 이런 현상을 'AI 환각'이라고 해요. 왜 생기는지 알면 언제 의심하고 어떻게 확인할지도 보여요.
AI 환각이란 무엇일까요?
AI 환각은 AI가 사실이 아니거나 근거 없는 내용을 진짜처럼 자신 있게 내놓는 현상이에요. 없는 책 제목, 틀린 날짜, 존재하지 않는 법 조항이 매끄러운 문장 속에 섞여 나오기도 해요.
미국 국립표준기술연구소(NIST)는 2024년 펴낸 생성형 AI 위험 관리 문서에서 이를 '작화(confabulation)'라고 불렀어요. 작화는 없는 이야기를 사실처럼 지어낸다는 뜻이에요. 이 문서는 흔히 '환각'이라고도 부른다고 덧붙이면서, 이런 표현이 AI를 사람처럼 여기게 만든다는 지적도 함께 소개했어요.
AI가 일부러 속이려는 것은 아니에요. AI가 글을 만드는 방식 때문에 생기는 오류예요. 그래서 'AI는 거짓말쟁이'라기보다 '늘 확인하며 써야 하는 도구'로 생각하는 편이 정확해요.
왜 그럴듯하게 틀릴까요?
AI 챗봇은 앞에 나온 말에 이어질 가능성이 높은 단어를 하나씩 골라 문장을 만들어요. NIST 문서는 이런 확률에 따른 예측 방식 때문에 작화가 자연스럽게 생긴다고 설명해요. 같은 방식으로 맞는 문장도, 그럴듯하게 틀린 문장도 나와요.
학습과 평가 방식도 영향을 줘요. 2025년 발표된 한 연구는 AI를 어려운 시험 문제 앞의 학생에 비유했어요. 빈칸으로 두면 점수가 없으니 찍게 되듯, 지금의 학습과 평가가 '모르겠다'는 답보다 추측하는 쪽에 유리하게 짜여 있다는 분석이에요.
질문에 따라 쉽게 흔들리기도 해요. 2023년 한 연구에서는 당시 최신 AI 챗봇 5종이 모두 사실보다 사용자의 생각에 맞춰 답하는 경향을 보였어요. 같은 해 나온 다른 연구는 '해는 눈이 몇 개야?'처럼 전제(질문이 미리 깔고 있는 내용)부터 틀린 질문에 언어 모델이 쉽게 속는다고 지적했어요. 다만 이 연구에서는 이런 질문을 수백 개 정도 따로 학습시키자 틀린 전제를 알아차리는 능력이 좋아졌어요.
AI는 학습을 마친 뒤에 생긴 일을 모를 수 있어요. 이때도 모른다고 하기보다 예전 정보를 바탕으로 답할 수 있어서, 최근 소식일수록 날짜를 꼭 확인해야 해요.
특히 조심해야 할 답
NIST 문서는 길게 풀어 써야 하는 답이나, 상황에 따라 답이 달라지고 깊은 전문 지식이 필요한 분야에서 이런 오류가 특히 문제 될 수 있다고 봤어요. 문서는 의료를 예로 들어, 환자 정보를 잘못 요약하면 의사의 진단이나 치료 판단이 틀어질 수 있다고 설명해요. 법률 분야에서도 이런 오류가 흔하다는 연구를 함께 소개했어요.
출처 목록도 지어낼 수 있어요. 2023년 의학 학술지에 실린 한 연구는 당시 AI 챗봇에게 짧은 의학 글 30편을 쓰게 한 뒤, 거기에 붙은 참고문헌 115개를 하나씩 확인했어요. 47%는 존재하지 않는 문헌이었고, 46%는 실제 문헌이지만 정보가 부정확했어요. 정확한 것은 7%뿐이었어요.
그때 쓰던 AI를 조사한 결과라서, 지금 AI에 이 숫자를 그대로 적용할 수는 없어요. 다만 출처가 붙어 있다는 사실만으로 믿으면 안 된다는 점은 분명히 보여 줘요. 일상에서는 아래 내용이 나오면 한 번 더 확인하세요.
- 숫자: 금액, 비율, 통계, 약의 양
- 날짜: 신청 기간, 시행일, 행사 날짜
- 이름과 연락처: 사람, 기관, 전화번호, 주소
- 인용과 출처: 책, 논문, 기사, 법 조항
- 최근 소식: AI가 학습을 마친 뒤에 생긴 일
환각을 알아차리는 신호
NIST 문서는 AI가 틀린 답을 내면서도 그럴듯한 풀이 과정이나 인용을 붙일 수 있다고 지적해요. 설명이 길고 논리적으로 보여도, 결론이 맞는지는 따로 확인해야 해요.
같은 질문을 여러 번 했을 때 답이 흔들리는지도 단서가 돼요. 2023년 한 연구는 AI가 잘 아는 내용은 여러 번 답하게 해도 비슷하게 나오지만, 지어낸 내용은 답할 때마다 달라지기 쉽다는 점을 이용해 환각을 찾아내는 방법을 제안했어요.
그래도 겉모습만으로 환각을 가려내기는 어려워요. 내가 바라던 답이 그대로 나왔을 때도 한 번 더 조심하세요. 아래 신호가 보이면 확인이 필요하다는 뜻이에요.
- 말투는 딱 잘라 확신하는데 근거나 출처가 없어요.
- 출처 링크를 눌러 보면 없는 페이지이거나 내용이 달라요.
- 같은 질문을 다시 하면 숫자나 이름이 바뀌어요.
- 확인할 길이 없는 아주 구체적인 숫자나 인용이 나와요.
직접 확인하는 방법
먼저 출처를 물어보고 직접 열어 보세요. 링크가 실제로 열리는지, 그 안에 AI가 말한 내용이 정말 있는지 봐야 해요. 질문할 때 '확실하지 않으면 모른다고 말해 줘'라고 부탁해 볼 수도 있지만, 그래도 확인은 따로 해야 해요.
다음으로 공식 자료와 비교하세요. 법은 국가법령정보센터, 통계는 국가통계포털(KOSIS), 건강 정보는 질병관리청 국가건강정보포털, 약 정보는 식품의약품안전처 의약품안전나라에서 찾을 수 있어요.
같은 AI에게 다시 묻는 것만으로는 확인이 되지 않아요. 답이 바뀌면 의심할 신호이지만, 같은 답을 되풀이해도 사실이라는 증거는 아니에요. 건강, 돈, 법처럼 중요한 결정은 의사, 약사, 공공기관 같은 전문가와 공식 창구에서 확인하세요.
AI가 알려 준 전화번호나 계좌번호로 바로 연락하거나 돈을 보내지 마세요. 번호는 기관의 공식 누리집(홈페이지)에서 다시 찾아야 해요. 금융 사기가 걱정되면 금융감독원(1332)에 상담할 수 있어요.
그래도 AI를 써도 될까요?
환각이 있다고 AI를 멀리할 필요는 없어요. 글 다듬기, 아이디어 내기, 어려운 글을 쉽게 풀기처럼 표현을 돕는 일에는 유용하게 쓸 수 있어요.
다만 사실 하나가 결과를 바꾸는 일에서는 AI 답을 초안으로만 보세요. 'AI가 말했으니 맞겠지'가 아니라 'AI가 말했으니 확인해 보자'로 생각을 바꾸면 돼요.
AI와 함께 쓴 글을 다른 사람에게 보내기 전에는 사실이 담긴 문장만 골라 한 번 더 확인해 보세요. 이런 작은 습관이 잘못된 정보가 퍼지는 것을 막는 데 도움이 돼요.
오늘부터 해 볼 것
- 숫자·날짜·이름·출처가 나오면 '확인 필요'로 표시하기
- AI가 준 출처 링크는 직접 열어 내용까지 대조하기
- 법·통계·건강·약 정보는 공식 누리집에서 다시 찾기
- 같은 AI에게 다시 묻는 것은 확인이 아님을 기억하기
- AI가 알려 준 전화번호·계좌로 바로 연락하거나 송금하지 않기
- 건강·돈·법 문제는 전문가나 공식 창구에서 최종 확인하기
읽은 내용을 글링코에게 가르쳐 줄까요?3분 수업을 풀면 글링코가 배우고 자라요.
「AI의 거짓말 잡기」 수업 풀기이 글에 나온 용어
자주 묻는 질문
최신 AI에도 환각이 있나요?
줄이려는 연구는 계속되고 있지만, 완전히 사라졌다고 볼 근거는 없어요. 2025년 발표된 한 연구도 최신 AI에서 환각이 여전히 나타난다고 짚었어요. 같은 해 유럽방송연맹(EBU)이 조율한 여러 나라 공영방송의 공동 조사에서는 AI 챗봇 뉴스 답변의 20%에 지어낸 세부 내용이나 오래된 정보 같은 큰 정확성 문제가 있었어요. 새로운 AI를 쓰더라도 중요한 내용은 확인하는 습관을 지켜 주세요.
출처를 달아 주면 믿어도 되나요?
출처가 있으면 확인하기 쉬워질 뿐, 그것이 정답을 보증하지는 않아요. 앞에서 본 연구처럼 AI가 없는 문헌을 출처로 내놓은 경우도 있었어요. 링크를 직접 열어 내용이 정말 같은지 확인하세요.
AI에게 '정말이야?'라고 다시 물으면 되지 않나요?
다시 물어서 답이 바뀌는지 보는 것은 의심의 실마리가 될 수 있지만, 확인 방법으로는 부족해요. 같은 AI는 같은 방식으로 답을 만들기 때문에 틀린 답을 고집할 수도 있고, 사용자 말에 맞춰 답을 바꿀 수도 있어요. 사실 확인은 AI 바깥의 믿을 만한 자료로 하세요.
참고한 자료
- https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
- https://arxiv.org/abs/2509.04664
- https://arxiv.org/abs/2310.13548
- https://arxiv.org/abs/2307.02394
- https://arxiv.org/abs/2303.08896
- https://pmc.ncbi.nlm.nih.gov/articles/PMC10277170/
- https://www.ebu.ch/news/2025/10/ai-s-systemic-distortion-of-news-is-consistent-across-languages-and-territories-international-study-by-public-service-broadcaste
- https://www.law.go.kr
- https://kosis.kr
- https://health.kdca.go.kr
- https://nedrug.mfds.go.kr
