AI 편향
AI Bias
한 줄로 말하면
AI가 성별·나이·인종·지역 같은 특정 집단에 치우치거나 불공정한 결과를 되풀이해 내는 현상이에요.
AI 편향은 학습 데이터에서 생기기도 하고, 설계 과정에서 생기기도 해요. 과거 기록에 사람들의 편견이 담겨 있거나 어떤 집단의 자료가 적으면, AI도 그 치우침을 그대로 배워요. 무엇을 기준으로 판단하게 할지 정하는 단계에서 특정 집단이 뜻하지 않게 불리해지기도 해요.
2019년 미국 국립표준기술연구소(NIST)가 얼굴 인식 알고리즘(정해진 계산 방법) 189개를 시험했더니, 절반이 넘는 알고리즘에서 인종이나 성별 같은 집단에 따라 오류율이 달랐어요. 서로 다른 두 사람을 같은 사람으로 잘못 판정하는 비율이, 알고리즘에 따라 집단 사이에서 10배에서 100배까지 차이 나는 경우가 많았어요. 다만 정확도는 알고리즘마다 크게 달라서, 가장 정확한 알고리즘들은 오류가 훨씬 적었어요.
AI의 결정이 불공정하다고 느껴지면 이렇게 하세요. ① 어떤 기준으로 결정됐는지 설명을 요청해요. ② 사람 담당자에게 다시 검토해 달라고 해요. ③ 사람 손을 거치지 않고 시스템이 완전히 자동으로 내린 결정이라면, 개인정보 보호법 제37조의2에 따라 결정을 내린 곳에 설명을 요구할 수 있어요. ④ 그 결정이 내 권리나 의무에 큰 영향을 준다면 거부할 수도 있어요. 다만 내가 미리 동의했거나 계약 때문에 필요한 경우 등은 거부권의 예외이고, 행정기관의 자동 처분은 이 조항의 대상이 아니에요.
생활 속 예시
대출 심사 AI가 특정 지역 주민의 대출을 적게 승인한 과거 기록을 배웠다면, 조건이 같은 사람도 그 지역에 산다는 이유로 불리한 결과를 받을 수 있어요.
주의할 점
컴퓨터가 계산했다고 해서 중립적이라고 단정하지 말고, 결과가 이상하면 이유를 물어보세요.