*이 글은 외부 필자인

성원용님의 기고입니다.

OpenAI가 작년 말에 ChatGPT를 내놓은 후

아주 폭발적 인기를 모으자,

구글도 서둘러서 비슷한 대형언어모델 기반의

인공지능 챗봇 BARD를 내놓았습니다.

물론 시작은 순탄치 않았습니다.

올해 2월에 선보인 시연에서

우주 망원경 James Webb에 관한 질문에

살짝 엉터리 답변을 내놓는 바람에

하루 사이에 구글의 시가총액이

거의 1000억달러(한화 거의 130조원)나

증발하기도 했습니다.

그래도 BARD는 미국을 비롯하여

우리나라에서도 출시가 되어

많은 분들이 잘 이용하고 있습니다.

[caption id="attachment_834746" align="alignnone" width="600"]

(출처=구글)[/caption]

BARD는 ChatGPT와 마찬가지로

대형언어모델 기반의 대화형 챗봇이지만

ChatGPT와 근본적으로 다른 점이 있습니다.

간단히 말하면 BARD는

사실 확인을 위한 외부 검색 등의

툴셋(tool set)을 사용하고 있습니다.

BARD는 구글이 2022년 2월에 발표한 논문

LaMDA(Language Models for Dialog Applications)에

기반을 두고 있습니다.

이번 글에서는

LaMDA 논문을 바탕으로

설명을 하겠습니다.

(참조 - LaMDA: Language Models for Dialog Applications)

LaMDA의 학습법

구글의 LaMDA는

인공신경망의 복잡도를 의미하는

파라미터(parameter)의 숫자가

2B(2Billion, 20억)과 137B(1370억) 모델이 있고,

가장 큰 모델을 기준으로 하면

ChatGPT의 175B보다 좀 작습니다.

그리고 LaMDA는 파라미터 숫자가

1T(1Tera, 1조) 정도로 알려져 있는

GPT-4보다는 꽤 작다 할 수 있습니다.

LaMDA의 경우에도 ChatGPT 또는

사전학습모델인 GPT3.0과 마찬가지로

인터넷과 책의 많은 텍스트 데이터를 이용하여

단방향 언어모델로

사전학습(pretrain) 훈련을 시킵니다.

단방향 언어모델은 글을 읽으면서

다음에 나올 단어(정확히는 토큰)를

예측하도록 훈련을 합니다.

대부분의 훈련시간은 이 사전학습에 소요가 되고,

미세조정은 비교적 쉽게 끝이 납니다.

구글 BARD가 ChatGPT와 근본적으로 다른 점

이 기사에 나온 회사·투자사