설명 가능한 AI
Explainable AI (XAI)
한 줄로 말하면
AI가 왜 그런 결과를 냈는지 사람이 이해하고 따져 볼 수 있도록 근거를 보여 주려는 기술과 연구 분야예요.
많은 AI는 결과를 내놓아도 그 이유를 알기 어려워요. 속을 들여다볼 수 없는 상자 같다고 해서 '블랙박스'라고 불러요. 설명 가능한 AI는 어떤 정보가 결과에 영향을 줬는지 보여 주는 등, 사람이 AI의 판단을 살피고 바로잡을 수 있게 돕는 방법을 연구하는 분야예요.
우리 법에도 관련 권리가 있어요. 개인정보 보호법은 2024년 3월부터, AI를 포함해 완전히 자동화된 시스템이 개인정보를 처리해 내린 결정에 대해 설명을 요구할 수 있게 했어요. 그 결정이 내 권리나 의무에 중대한 영향을 주면 일부 예외를 빼고 거부할 수도 있어요. 이런 요구를 받은 곳은 정당한 사유가 없으면 그 결정을 적용하지 않거나, 사람이 개입해 다시 처리하거나 설명하는 등 필요한 조치를 해야 해요. 2026년 1월 시행된 AI 기본법도 기본원칙으로, AI의 영향을 받는 사람이 결과를 낸 주요 기준과 원리를 기술적·합리적으로 가능한 범위에서 설명받을 수 있어야 한다고 밝혀요.
이렇게 해 보세요. ① 대출·채용 심사 등에 AI나 자동 심사가 쓰였는지 물어봐요. ② 결과가 이상하면 어떤 기준으로 판단했는지 설명해 달라고 요청해요. ③ 필요하면 사람이 다시 살펴봐 달라고 요청해요.
생활 속 예시
온라인 대출 심사에서 자동으로 거절됐다면, 금융회사에 자동 평가를 했는지와 주요 기준이 무엇인지 설명해 달라고 할 수 있어요. 평가에 쓰인 정보가 틀렸다면 바로잡고 다시 평가해 달라고 요구할 수도 있어요.
주의할 점
AI가 내놓은 설명도 실제 판단 과정을 정확히 반영하지 않을 수 있으니, 설명이 그럴듯하다고 그대로 믿지는 마세요.