AI 환각

AI Hallucination

한 줄로 말하면

AI가 사실이 아니거나 근거 없는 내용을 진짜처럼 자신 있게 지어내는 현상이에요.

'환각'은 원래 없는 것을 보거나 듣는 증상을 뜻해요. AI가 있지도 않은 책이나 기사, 틀린 날짜와 숫자를 그럴듯하게 말하는 모습을 여기에 빗댄 말이에요. 영어를 그대로 읽어 '할루시네이션'이라고도 해요. 미국 국립표준기술연구소(NIST)는 2024년 7월 낸 생성형 AI 위험 관리 안내서에서 이 현상을 '지어내기(confabulation)'라고 부르고, 생성형 AI의 12가지 위험 가운데 하나로 꼽았어요.

대규모 언어 모델은 기본적으로 사실을 찾아보는 대신, 배운 자료의 패턴에 따라 다음에 올 그럴듯한 말을 이어 붙여 답을 만들어요. 그래서 모르는 내용도 '모른다'고 하기보다 그럴듯한 답을 내놓을 수 있어요. NIST는 AI가 틀린 답을 뒷받침하려고 그럴듯한 이유나 출처까지 지어낼 수 있다고 설명해요. 말투가 자신 있다고 맞는 답이라는 보장은 없어요.

환각을 걸러 내는 단계예요. ① AI에게 출처를 물어요. ② 그 출처를 직접 열어 정말 있는지, 같은 내용인지 확인해요. ③ 건강·법·돈 문제는 공공기관이나 전문가에게 다시 물어요. ④ 다른 자료 두세 곳과 견주어 보는 '교차 검증'을 해요.

생활 속 예시

AI 챗봇이 알려 준 지원금 제도를 해당 기관 누리집(홈페이지)에서 찾아봤는데 그런 제도가 없다면, AI 환각일 가능성이 있어요.

주의할 점

AI가 출처나 링크를 함께 보여 줘도 가짜이거나 내용이 다를 수 있으니, 직접 열어 보기 전에는 믿지 마세요.

관련 용어

이 용어를 다룬 가이드

이 용어, 글링코에게도 알려 줄까요? 실제 상황 문제로 연습해 봐요.

3분 수업 시작

참고한 자료