윤리 · 읽는 데 약 6분
AI 편향이란? 데이터가 치우치면 생기는 일
AI는 사람이 만든 데이터를 배워서 답하고 판단해요. 그래서 데이터가 한쪽으로 치우치면 AI의 판단도 한쪽으로 기우는데, 이것을 AI 편향이라고 해요. 편향이 어떻게 생기고 우리 생활과 어떤 관련이 있는지 연구와 법을 바탕으로 정리했어요.
AI 편향은 무엇일까요
AI 편향은 AI가 성별, 나이, 피부색, 사는 지역 같은 특정 집단에 대해 되풀이해서 불리하거나 치우친 결과를 내는 현상이에요. 누가 일부러 나쁘게 만들지 않아도 생길 수 있어요.
미국 국립표준기술연구소(NIST)는 2022년 AI 편향 보고서를 소개하며 편향을 빙산 그림으로 설명했어요. 데이터와 계산의 문제는 물 위에 보이는 일부일 뿐이고, 물 아래에는 사람의 편견과 사회 제도가 만든 편향이 함께 있다는 뜻이에요. 쉽게 나누면 이래요.
- 데이터와 계산의 치우침: 학습 자료에 어떤 집단이 너무 적게 담기는 것처럼, 자료나 계산 방식에서 생겨요.
- 사람의 치우침: 사람이 빈 정보를 짐작으로 채우거나 자료를 고르고 결과를 해석할 때, 선입견이 끼어들어 생겨요.
- 제도의 치우침: 기관이나 제도가 특정 집단에 불리하게 운영되어 온 결과가 쌓여 생겨요. 예를 들어 한 성별을 주로 뽑아 온 회사의 채용 기록을 그대로 배우면 AI도 그 성별을 더 높게 평가할 수 있어요.
데이터가 치우치면 이런 일이 생겨요
2018년에 발표된 한 연구는 얼굴 사진으로 성별을 맞히는 판매용 프로그램 3개를 시험했어요. 피부색이 밝은 남성은 오류율(틀리는 비율)이 가장 높아도 0.8%였어요. 그런데 피부색이 어두운 여성은 최대 34.7%였어요.
같은 연구는 당시 널리 쓰이던 얼굴 데이터 모음 두 개가 피부색이 밝은 사람 위주(각각 79.6%, 86.2%)라는 점도 짚었어요. 배운 얼굴이 한쪽에 몰려 있으면 덜 배운 얼굴에서 더 자주 틀릴 수 있어요.
2019년 NIST는 얼굴 인식 알고리즘 189개를 시험했어요. 사진 두 장이 같은 사람인지 확인하는 시험에서, 서로 다른 두 사람을 같은 사람으로 잘못 판단하는 비율이 아시아인과 아프리카계 미국인 얼굴에서 더 높았어요. 백인 얼굴과 비교하면 알고리즘에 따라 10~100배 차이가 나는 경우가 많았어요.
다만 아시아 국가에서 개발된 일부 알고리즘에서는 아시아인과 백인 얼굴 사이에 이런 큰 차이가 없었어요. NIST는 원인을 밝히려는 시험은 아니었다고 하면서도, 학습 데이터와의 관련성을 더 연구해 볼 부분으로 꼽았어요. 그리고 더 다양한 학습 데이터가 더 공정한 결과로 이어질 수 있다는 신호로 봤어요.
글을 쓰는 AI에도 고정관념이 스며요
글을 만드는 AI는 인터넷의 방대한 글을 배워요. 그 글에 담긴 사회의 고정관념도 함께 배울 수 있어요.
유네스코가 2024년 3월 발표한 연구는 여러 언어 모델(글을 만드는 AI의 바탕이 되는 프로그램)에 여러 사람에 관한 이야기를 쓰게 했어요. 그 결과 한 모델은 여성을 가사 일을 하는 사람으로 남성보다 4배 더 자주 묘사했어요. 여성은 '집', '가족', '아이' 같은 말과 자주 함께 나왔고, 남성 이름은 '사업', '임원', '월급', '경력' 같은 말과 이어졌어요.
그래서 AI가 쓴 글이나 그린 그림 속 인물이 한쪽 모습으로만 나오는지 살펴봐야 해요. 직업 그림을 부탁했는데 한 성별만 나온다면 데이터가 치우쳤다는 신호일 수 있어요.
생활 속 중요한 결정에 AI가 쓰일 때
편향이 특히 문제가 되는 곳은 삶에 큰 영향을 주는 결정이에요. 2026년 1월 22일 시행된 인공지능 기본법은 이런 AI를 '고영향 인공지능'으로 따로 정했어요. 채용, 대출 심사, 유치원과 초·중·고교의 학생 평가 같은 영역에서 쓰이면서 사람의 생명·안전·기본권에 중대한 영향을 줄 수 있는 AI가 여기에 들어가요.
이런 AI를 제공하는 사업자는 여러 조치를 해야 해요. 위험 관리 방안을 세우고, 기술적으로 가능한 범위에서 결과와 주요 판단 기준을 설명할 방안을 마련해야 해요. 이용자를 보호할 방안과 사람의 관리·감독도 갖춰야 해요.
개인정보 보호법에는 내가 쓸 수 있는 권리도 있어요. 2024년 3월 15일부터 사람의 개입 없이 완전히 자동화된 시스템이 내린 결정에 대해 설명을 요구할 수 있어요(제37조의2). 그 결정이 내 권리나 의무에 중대한 영향을 주면 거부할 수도 있어요. 다만 내가 동의했거나, 법률에 근거했거나, 계약을 맺고 지키는 데 필요해서 내려진 결정은 거부할 수 없어요. 이때도 설명은 요구할 수 있어요.
요구를 받은 곳은 정당한 사유가 없으면 그 결정을 적용하지 않거나, 사람이 다시 처리하고 설명하는 등의 조치를 해야 해요. 궁금하다면 '이 결정에 자동화된 시스템이 쓰였나요? 어떤 기준이었나요?'라고 물어보세요.
편향을 알아차리고 줄이는 습관
AI 편향을 완전히 없애기는 어렵지만, 쓰는 사람이 알아차리면 잘못된 판단을 줄일 수 있어요.
편향을 알아보는 눈은 AI를 쓸 때만이 아니라 사람의 판단을 살필 때도 도움이 돼요. AI의 치우침은 우리 사회의 치우침이 데이터에 남긴 흔적이기도 해요. 아래 방법부터 하나씩 해 보세요.
- 질문을 바꿔 다시 묻기: '다른 나이대와 성별의 예도 들어 줘'
- AI 답 속 인물이 한쪽 모습으로만 그려지는지 살펴보기
- 건강·돈·일자리 같은 중요한 판단은 전문가나 공식 기관에 확인하기
- AI가 쓰인 결정이라면 어떤 기준으로 판단했는지 물어보기
- 치우친 답을 보면 서비스의 의견 보내기 기능으로 알리기
오늘부터 해 볼 것
- AI 답이 특정 성별·나이·지역을 한쪽으로만 그리는지 살펴봤어요.
- 질문을 바꿔 다른 관점의 답도 받아 봤어요.
- 건강·돈·일자리 판단은 AI 답만 믿지 않고 사람이나 공식 기관에 확인했어요.
- 채용·대출 같은 결정에 AI가 쓰였는지 궁금하면 직접 물어봤어요.
- 완전히 자동화된 결정에는 설명을 요구할 수 있다는 것을 기억해요.
- 치우친 답을 발견하면 서비스에 의견을 보냈어요.
읽은 내용을 글링코에게 가르쳐 줄까요?3분 수업을 풀면 글링코가 배우고 자라요.
「AI와 저작권·정직」 수업 풀기이 글에 나온 용어
자주 묻는 질문
AI는 감정이 없는데 어떻게 편향될 수 있나요?
AI는 감정 대신 데이터로 판단해요. 그런데 데이터는 사람이 남긴 기록이라 사회의 고정관념과 불균형이 담겨 있을 수 있어요. 그래서 누구도 의도하지 않았는데 치우친 결과가 나올 수 있어요.
데이터를 많이 넣으면 편향이 사라지나요?
양만 늘린다고 해결되지는 않아요. 여러 집단을 고르게 담는 것이 중요해요. NIST도 더 다양한 학습 데이터가 더 공정한 결과로 이어질 수 있다고 봤어요. 다만 사람과 제도의 편향도 함께 작용하므로, 만든 뒤에도 꾸준히 점검해야 해요.
AI가 내린 결정이 불공정하다고 느껴지면 어떻게 하나요?
먼저 결정을 내린 곳에 AI가 쓰였는지, 어떤 기준이었는지 설명을 요청하세요. 완전히 자동화된 결정이라면 개인정보 보호법에 따라 설명을 요구할 수 있어요. 권리나 의무에 중대한 영향을 주는 결정은 법이 정한 예외가 아니라면 거부할 수도 있어요. 개인정보 침해가 의심되면 118(한국인터넷진흥원), 대출 같은 금융 관련 결정은 1332(금융감독원)에 상담할 수 있어요.
참고한 자료
- https://www.nist.gov/news-events/news/2022/03/theres-more-ai-bias-biased-data-nist-report-highlights
- https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence
- https://proceedings.mlr.press/v81/buolamwini18a.html
- https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software
- https://www.unesco.org/en/articles/generative-ai-unesco-study-reveals-alarming-evidence-regressive-gender-stereotypes
- https://www.law.go.kr/법령/인공지능발전과신뢰기반조성등에관한기본법
- https://www.law.go.kr/법령/개인정보보호법/제37조의2
