기초 · 읽는 데 약 7분
멀티모달 AI란? 글·사진·목소리를 함께 다루는 AI 쉽게 알기
요즘 AI에게는 글만 쓰는 게 아니라 사진을 찍어 보여 주거나 말로 물어볼 수도 있어요. 이렇게 여러 형태의 정보를 함께 다루는 AI를 '멀티모달 AI'라고 해요. 편리한 만큼 알아 두면 좋은 주의점도 함께 살펴봐요.
멀티모달 AI는 무엇일까요?
'모달'은 정보가 담긴 형태를 말해요. 글, 사진, 소리, 영상이 각각 하나의 형태예요. '멀티'는 여럿이라는 뜻이니, 멀티모달 AI는 여러 형태의 정보를 함께 받아들이고 만들어 내는 AI예요.
예를 들어 냉장고 안을 찍어 보여 주고 '이걸로 무슨 반찬을 만들 수 있을까?' 하고 말로 물으면, AI가 사진과 말을 함께 이해해 글로 답해 줘요. 반대로 글로 설명하면 그림이나 목소리를 만들어 주는 AI도 있어요.
사람이 눈으로 보고 귀로 들으며 말로 답하듯, 멀티모달 AI도 여러 형태의 정보를 함께 쓰는 셈이에요. 그래서 글로만 설명하기 어려운 상황에서 특히 쓸모가 있어요.
AI는 어떻게 사진과 글을 함께 알아볼까요?
핵심은 사진과 그 사진을 설명하는 글을 짝지어 많이 보여 주는 거예요. 2021년 발표된 한 연구에서는 인터넷에서 모은 사진과 설명글 4억 쌍으로 AI를 학습시켰어요. AI는 어떤 사진에 어떤 설명이 어울리는지 맞히는 연습을 되풀이하며 둘의 관계를 익혔어요.
이렇게 배우면 '강아지', '바닷가', '빨간 우산' 같은 말과 사진 속 모습을 연결할 수 있어요. 목소리를 알아듣는 AI도 많은 말소리 예시로 배워요. 다만 많이 본 것은 잘 알아보고, 드물게 본 것은 헷갈릴 수 있어요.
그래서 사진이 어둡거나 흔들렸다면 밝은 곳에서 다시 찍어 보여 주는 것만으로도 답이 나아질 수 있어요.
이런 데 써 보세요
멀티모달 AI는 글로 설명하기 어려운 것을 물을 때 특히 편해요. 사진 한 장으로 질문이 끝나니 자판이 불편한 분에게도 쓸모가 있어요. 아래처럼 써 볼 수 있어요.
결과는 '먼저 훑어보는 도우미'로 쓰세요. 사진 속 정보를 바탕으로 무언가를 결정해야 한다면 원본을 직접 확인하는 단계를 꼭 거치세요.
- 외국어 간판이나 안내문을 찍어 뜻 물어보기
- 가전제품 버튼 사진을 보여 주고 쓰는 법 묻기
- 그래프나 표 사진을 쉬운 말로 풀어 달라고 하기
- 말로 묻고 소리로 답을 들으며 대화하기
사진·목소리 AI가 틀리기 쉬운 곳
AI는 사진 속 작은 글씨, 비슷하게 생긴 숫자, 흐릿한 부분을 잘못 읽을 수 있어요. 미국 국립표준기술연구소(NIST)가 설명하는 '작화(지어내기)'는 사진에 대한 답에서도 생겨요. 보이지 않는 내용을 그럴듯하게 채워 넣을 때가 있다는 뜻이에요.
그래서 약 이름과 복용량, 버섯이나 식물이 먹어도 되는지, 서류의 금액과 날짜처럼 틀리면 위험한 내용은 AI 답만 믿지 마세요. 약은 약사에게, 서류는 발급한 기관에 확인하는 것이 안전해요.
AI가 사진을 제대로 읽었는지 알고 싶다면 '사진 속 글자를 그대로 옮겨 적어 줘'라고 먼저 부탁해 보세요. 옮겨 적은 글자를 원본과 내 눈으로 비교하면 잘못 읽은 곳을 찾기 쉬워요.
사진 한 장에 담긴 개인정보
사진에는 생각보다 많은 정보가 담겨요. 얼굴, 집 주소가 적힌 택배 상자, 신분증, 자동차 번호판, 아이 학교 이름표가 함께 찍힐 수 있어요. 사진 파일에는 찍은 장소 정보가 함께 저장되기도 해요.
개인정보보호위원회는 생성형 AI를 쓸 때 주민등록번호, 계좌번호 같은 중요한 정보는 입력하지 말고, 가족이나 동료 같은 다른 사람의 정보도 조심하라고 안내해요. 사진을 올리기 전에 필요 없는 부분은 잘라 내고, 다른 사람 얼굴이 담긴 사진은 허락 없이 올리지 마세요.
만들어 내는 AI: 딥페이크와 표시
멀티모달 AI는 진짜 같은 사진, 목소리, 영상을 만들 수도 있어요. NIST는 멀티모달 모델이 글로 된 허위 정보뿐 아니라 실제와 구별하기 어려운 딥페이크(AI로 만든 가짜 영상·음성)도 만들 수 있게 한다고 경고했어요.
우리나라 인공지능기본법은 2026년 1월 22일부터 시행돼, 생성형 AI 결과물에 AI로 만들었다는 표시를 하고 딥페이크는 이용자가 분명히 알아볼 수 있게 표시하도록 했어요. 정부는 사업자의 혼란을 줄이려고 과태료 부과 등을 최소 1년 미루는 계도 기간을 두기로 했어요. 표시가 없다고 진짜라는 뜻은 아니니, 놀라운 사진이나 영상일수록 처음 올린 곳과 공식 발표를 확인하세요.
오늘부터 해 볼 것
- AI에 사진을 올리기 전에 얼굴·주소·서류가 찍혔는지 살펴봐요.
- 필요 없는 부분은 잘라 내고 올려요.
- 다른 사람 얼굴이 담긴 사진은 허락 없이 올리지 않아요.
- 약·금액·날짜는 AI 답 대신 원본과 전문가로 확인해요.
- 놀라운 사진·영상은 처음 올린 곳을 찾아봐요.
- AI로 만든 사진을 공유할 때는 AI로 만들었다고 밝혀요.
읽은 내용을 글링코에게 가르쳐 줄까요?3분 수업을 풀면 글링코가 배우고 자라요.
「AI는 무엇일까」 수업 풀기이 글에 나온 용어
자주 묻는 질문
AI에 올린 사진은 어떻게 되나요?
서비스마다 보관 기간과 학습 활용 여부가 달라요. 설정에서 내 자료가 학습에 쓰이는지 확인하고, 원하지 않으면 제한하세요. 대화 기록 삭제 기능과 보관 정책도 함께 확인해 두면 좋아요.
말로 대화하는 AI는 내 목소리를 저장하나요?
서비스와 설정에 따라 달라요. 음성 기록을 저장하거나 품질 개선에 쓰는 경우가 있으니 개인정보 처리방침과 음성 기록 설정을 확인하세요. 필요 없으면 기록을 지우거나 저장을 끌 수 있는지 살펴보세요.
AI 표시가 없으면 진짜 사진인가요?
꼭 그렇지는 않아요. 표시가 지워졌거나 표시 의무가 없는 경로로 퍼졌을 수 있어요. 처음 올린 사람과 날짜, 믿을 만한 언론이나 공식 기관의 발표가 있는지 함께 확인하세요.
