*이 글은 외부 필자인

강병호님의 기고입니다.

9월 25일, 메타 (Meta)는

Llama 3.2를 발표했습니다.

Llama(Large Language Model Meta AI)는

메타가 만드는 대형 언어 모델로,

누구나 사용할 수 있는

완전 공개 정책과 경량화 구조를 특징으로 합니다.

[caption id="attachment_941787" align="alignnone" width="600"]

(2024년 9월 25일 발표한 메타의 Llama 3.2. 출처= Meta)[/caption]

Llama 3.2는

1B(10억개)와 3B(30억개)의 경량 모델,

텍스트와 이미지를 모두 처리할 수 있는

11B(110억개)와 90B(900억개)의

모델 총 4개로 구성되어 있습니다.

종전 버전 대비

우수한 벤치마크 수치를 보여주며,

파라메터당 성능 효율이

더욱 높아졌다는 것을 알 수 있었고요.

파라메터의 규모를

조금 더 현실적으로 말씀드리자면,

1B와 3B 모델은 온디바이스로

사용할 수 있는 수준의 경량 모델이고,

11B와 90B 모델은

비교적 간단한 GPU 구성으로도

사용할 수 있는 규모입니다.

활용성이 꽤 높은 사이즈의 모델들이죠.

또한 마이크로소프트는

최근 모델 경량화를 위한

BitNet 소스코드를 공개했습니다.

BitNet은 파라메터 하나당 1비트를 사용하고,

활성화 함수에서는

8비트를 사용하는 경량화 기법으로,

메모리 사용량을 8배에서 최대 32배까지

줄일 수 있는 경량화 기술입니다.

이를 통해 CPU에서도 LLM이

빠른 속도로 구동 가능한 것을 보이기도 했죠.

[caption id="attachment_941788" align="alignnone" width="600"]

(Microsoft의 BitNet 경량화 기법을 사용하면 100B(1000억개) 규모의 모델도 CPU로 구동할 수 있다.)[/caption]