AI 모델을

학습시키는 방법

AI 모델은

'강화 학습(Reinforcement Learning)'이라는

방식으로 학습됩니다.

강화 학습이란

올바른 행동을 한 경우에는 보상을 부여하고,

잘못된 행동을 했을 때는

처벌을 가하는 식의 학습 기법을 말합니다.

어떤 행동이 옳고 그른지 판단하는 함수를

'보상 함수(Cost Function)'이라고 부릅니다.

[caption id="attachment_966796" align="alignnone" width="600"]

(출처=게티이미지뱅크)[/caption]

AI는 디지털 정보로만 세상을 인식합니다.

AI에게 보상 함수는 절대적인 기준점이 됩니다.

만약 게임에서 승리하는지에 따라

보상을 주겠다고 하면,

AI 모델은 수단과 방법을 가리지 않고

높은 점수를 획득하려 할 수 있습니다.

트롤링을 해서라도

게임에서 이기려 할 수 있습니다.

그래서 보상 함수를 설정할 때에는

단지 문제를 풀어내는 것뿐만 아니라

윤리적인 기준점을 준수하는지 등

모델의 사회성 부분도 고려하게 됩니다.

사람은 눈치를 보며 상황을 둘러볼 수 있지만

AI 모델은 그럴 수 없기 때문에,

명시적으로 어떤 행동이 올바른지를

보상 함수가 알려주는 것입니다.

2024년 12월, 앤트로픽(Anthropic)은

LLM이 보상 함수를

속이는 현상을 발견했다고 말했습니다.

앤트로픽의 클로드(Claude)는

AI 모델의 윤리적 안정성에 집중한

헌법적(Constitutional) 구조를 갖는데,

이러한 원칙을 어기는 현상이 발견되었습니다.