GPT-4o, 한국어에도 효율적인 생성형 언어모델의 탄생
*이 글은 외부 필자인 성원용님의 기고입니다. 얼마 전에 OpenAI에서 GPT-4o를 발표했습니다. 이름에 사용된 omni라는 단어처럼 문장(text)뿐 아니라 음성인식과 음성합성, 이미지 인식과 생성 기능을 모두 수행합니다. 그리고 새로운 토큰화 방법을 채용하여 50개의 다국어를 처리할 수 있고 또 효율을 높였다고 합니다. 작년에 제가 아웃스탠딩에 '왜 한국어 중심 ChatGPT가 필수적인가?'라는 글을 기고했습니다. (참조 - 왜 한국어 중심 ChatGPT가 필수적인가) 그때 내용을 보면, ChatGPT에 사용된 한국어 표시 방법, 또는 토큰화 방법이 영어에 비해 매우 불리하다고 하였습니다. 일례로, "He is a very famous geographer."라는 영어 문장을 표현하는 데 단 8개의 토큰이 사용된 반면에, 비슷한 뜻의 "그는 매우 유명한 지리학자입니다."라는 문장을 표현하는 데는 무려 39개의 토큰이 필요합니다. 토큰의 길이가 길어지면 여러 가지로 불리합니다. OpenAI의 모델을 보면 처리할 수 있는 토큰의 길이 한계가 아래 사진과 같이 나옵니다. (참조 - Models - OpenAI API). 여기에 보이는 컨텐스트 길이(context length)라는 뜻은 입출력 합쳐서 허용 가능한 문장 내 토큰의 길이입니다. 그리고 개별 응용 프로그램에서 GPT를 API(Application Programming Interface)로 불러서 사용하는 경우는 종량제로 토큰의 개수에 비례한 돈을 내는데 위의 그림에 입력과 출력 토큰 100만개당의 가격도 나옵니다.