Skip to main
강화학습
챗GPT는 어떻게 공부했나.. 3단계 학습법
*이 글은 외부 필자인 성원용님의 기고입니다. 이전 글에서 챗GPT는 트랜스포머 구조의 인공신경망을 이용하고, 그 모델에 이용되는 파라미터(인공시냅스)의 개수가 1750억개라 하였습니다. (참조 - 챗GPT에서 G와 T는 무엇인가) 그런데 "구슬이 서 말이라도 꿰어야 보배"라는 속담처럼 인공신경망은 훈련을 제대로 시켜야만 쓸모가 있습니다. 그리고 모델의 사이즈가 크면 그것에 비례해서 훈련데이터의 크기도 커야 합니다. 오늘은 챗GPT의 훈련법을 관련 논문을 바탕으로 설명해 보겠습니다. 3단계 학습 가장 기본적인 인공신경망 훈련 방법은 감독학습 (supervised learning)인데, 이것은 인공신경망의 입력에 문제를 주고 출력에는 답을 준 후에 인공신경망이 그 답을 잘 맞히도록 훈련하는 방법입니다. 일례로 영한 번역기를 훈련한다면, 입력에 "I am going to school now"라는 텍스트를 주면서 출력에 "나는 지금 학교에 가고 있어"라는 답이 나오게 하는 것입니다. 이때 훈련 초기에는 답이 이렇게 안 나오니까, 정확한 답과 틀린 답의 차이 또는 오차를 이용하여 내부의 파라미터 값을 조금씩 바꿉니다. 즉 정확한 답이 안 나오면 내부 시냅스의 연결강도를 조금씩 바꾸는데, 당연히 이 오차가 줄어드는 방법으로 값을 바꾸어야 합니다. 이때 사용하는 알고리즘이 역전파(back propagation) 방법입니다. 내부의 1750억개 파라미터를 전부 다 제대로 바꾸려면 당연히 이 과정을 엄청 많이 수행해야 합니다. 모델의 크기가 매우 크지 않은 대부분의 인공신경망은 이렇게 문제와 정답을 쌍으로 주는 감독학습을 이용하여 훈련을 합니다. 이미지 인식, 글자 인식, 음성 인식, 번역 등 많은 응용은 현재 주로 감독학습을 이용하여 훈련이 되었습니다.
성원용
서울대 전기정보공학부 명예교수
2023-03-27
인공지능은 인간에게서 배운다
15일 오후 판교에서 NC AI 미디어 토크에 참석했습니다! 사내에서 2011년부터 진행해온 다양한 인공지능 연구 활동과 현황을 공유하는 자리였습니다. 게임 관련 인공지능뿐 아니라 스피치, 이미지 인식, 자연어 처리, 지식 추론 인공지능까지 연구해서 기반을 다지는 게 목표라고 하네요. 또한 게임 속 NPC, 자동 리그와 함께 게임을 만드는 제작 환경에서도 AI가 효율적으로 활용될 예정이라 합니다. 한 마디로 “인간적인 인공지능”을 문제 해결을 위한 좋은 도구로 개발해 현장과 제품에 활용하겠다는 얘깁니다. (참조 - 엔씨 "인공지능 투자 강화한다") 1.‘인간에게 잘 맞는 AI?’ 앗. 일단 제 표현에 대해 먼저 설명해 드려야겠네요..! NC 인공지능 미디어 토크에서 ‘인간적인 AI’란 말이 떠오른 건 아래와 같은 멘트 때문이었습니다. “유저와 전투를 벌이는 인공지능의 경우 앞으로 사람과 더 비슷한 느낌을 줄 겁니다” “지금까지는 인공지능이 대련 중에 비인간적인 행동을 보이곤 했습니다. 예컨대 AI가 전투에 임할 때 오직 이기려는 목적으로 끝없이 공격합니다” “헌데 실제 사용자들은 비무(전투)할 때 일단 탐색전부터 하는 경향이 있습니다. 일단 뒤에서 배회하면서 살피는 식이죠” “(그렇다고) 이런 인간적인 패턴들을 시나리오로 집어넣으면 금방 읽힙니다. AI가 필살기를 쓰는 규칙을 집어넣으면 유저가 이걸 파악해서 써먹더라고요ㅠ”
김지윤
스텔러스(Stellers) 창업자
2018-03-15
1
;