코딩,

이제는 AI가 더 잘한다.

AI 산업이 빠르게 발전하고 있습니다.

근래 공개된 OpenAI의 최신 모델 o3는

소프트웨어 개발 능력을 평가하는

벤치마크 "SWE-bench"에서

71.7점을 받아 신기록을 경신했습니다.

프로그래밍 대회 "Codeforces"에서는

2727점을 기록하며

상위 0.2% 수준의 점수를 획득했는데,

일반적인 개발자가

도달할 수 없는 수준의 점수입니다.

o3가 획득한 점수 자체도 매우 높지만,

o1 대비 성능 개선폭도

상당히 크다는 점이 인상적이고요.

o3는 이 둘의 벤치마크에서

각각 40% 이상의 점수 상승폭을 보였는데

(참고: 점수 상승폭 40%는

모델 성능 향상폭 40%를 의미하지는 않음),

절대적인 성능 외에도 발전 속도 또한

놀라울 정도로 빠르다는 것을 알 수 있습니다.

[caption id="attachment_951699" align="alignnone" width="600"]

[o3의 SWE-bench, Codeforces 점수 (출처=OpenAI)][/caption]

다만 높은 점수를 획득한 것이

소프트웨어 개발자를 AI가 대체한다는 걸

의미하지는 않습니다.

소프트웨어를 개발하는 과정에서 코드 작성은

전체 프로세스 중 일부이기 때문입니다.

소프트웨어를 개발할 때는

프로젝트의 목표에 맞게

개발이 이루어지고 있는지 살펴보고,

요구사항 명세서가 올바르게 작성되었고

빠지거나 수정이 필요한 내용은 없는지 점검하고,

필요하다면 전체 개발 과정 전반에 대해

논의하고 협상하는 일이 필수이기 때문입니다.

따라서 o3의 코드 작성 능력이

우수한 것은 사실이지만

소프트웨어 개발 과정을 모두

AI가 대체하기는 아직 어려우며,

주어진 명세에 맞는 코드 개발의 상당 부분을

AI가 수행해 낼 수 있다고 판단하는 게 적절합니다.