토큰
Token
한 줄로 말하면
AI 언어 모델이 글을 읽고 쓸 때 쓰는 작은 조각 단위로, 단어 하나일 수도, 단어의 일부나 글자·기호일 수도 있어요.
AI는 글을 통째로 읽지 않고 토큰이라는 조각으로 잘라 숫자로 바꿔 처리해요. 자주 붙어 나오는 글자 묶음은 한 조각이 되고, 드물게 쓰이는 말은 여러 조각으로 나뉘기도 해요. 대규모 언어 모델은 앞의 토큰들을 보고 다음 토큰을 예측하며 답을 만들어요. AI가 한 번에 다룰 수 있는 글의 양이나 이용 요금도 토큰 수로 세는 경우가 많아요.
같은 내용이라도 언어에 따라 토큰 수가 달라요. 2023년에 발표된 한 연구에서는 같은 글을 여러 언어로 옮겼을 때 토큰 수가 많게는 15배까지 차이 났어요. 그래서 언어에 따라 같은 내용을 처리하는 데 드는 비용이나 시간이 달라질 수 있어요. 글을 자르는 방식도 AI마다 달라서, 같은 글이라도 서비스마다 토큰 수가 다를 수 있어요.
토큰을 알면 이렇게 쓸 수 있어요. ① 대화가 아주 길어지면 AI가 앞부분 내용을 놓칠 수 있으니, 중요한 조건은 다시 적어 줘요. ② 긴 문서는 몇 부분으로 나눠서 맡겨요. ③ 주제가 바뀌면 새 대화로 시작해요.
생활 속 예시
'안녕하세요'라는 인사말 하나도 AI 안에서는 여러 개의 토큰으로 나뉘어 처리될 수 있어요.
주의할 점
여기서 말하는 토큰은 은행 인증용 보안 토큰(OTP)이나 가상자산 토큰과는 다른 뜻이니 헷갈리지 마세요.