법률 AI '슈퍼로이어' 변호사 시험 첫 합격권‥정답률 74%
이승아
2025-03-12
법률 플랫폼 로앤컴퍼니의 인공지능(AI) 법률 비서 '슈퍼로이어'가 제14회 대한민국 변호사시험 선택형 시험에서 74%의 정답률을 기록하며 합격점을 넘겼다.
로앤컴퍼니는 슈퍼로이어가 지난 1월 치러진 14회 변호사시험 선택형 시험에서 이 같은 성과를 냈다고 12일 밝혔다. 특히 비영어권에서 해당 국가 언어로 AI 서비스를 활용해 변호사시험 객관식 전체 영역을 풀어 합격권에 든 것은 슈퍼로이어가 최초다.
슈퍼로이어의 74% 정답률 달성은 국내 법률 AI 기술 발전에 있어 획기적인 이정표로 평가된다. 종전 최고 성적은 로앤컴퍼니가 지난 2023년 기록했던 정답률 53.3%였다. 슈퍼로이어는 공법과 민사법, 형사법 등 총 150개 문항에서 111개를 맞혔다. 이는 최근 5년 변호사시험 선택형 평균 합격 개수(103개)를 넘긴 수준이며 변호사시험 전문 기관 예측 기준으로 올해 상위 30% 정도에 해당하는 점수다.
이번 성과는 오픈AI의 GPT-4.5와 앤트로픽의 클로드 3.7 소넷 등 글로벌 빅테크 최신 AI 모델들의 정확도와 견주어도 월등히 앞선다. 해당 모델에 동일한 시험 문제를 입력해 평가한 결과, GPT-4.5는 정답률 49.3%, 앤트로픽의 최신형 모델 클로드 3.7 소넷은 45.3%를 기록해 합격선에 미치지 못했다.
슈퍼로이어는 지난해 7월 법률가 대상으로 출시한 생성형 AI 기반 법률 비서 서비스다. 상용 거대언어모델(LLM)을 이용해 구현됐으며, 로앤컴퍼니가 자체 설계한 아키텍처를 활용하고 있다. 로앤컴퍼니가 보유한 495만 건의 판례 데이터 포함해 법령, 결정례, 행정심판례, 행정규칙, 유권해석 등 방대한 법률 데이터를 답변에 활용하고 있다. 최근 리걸테크 업계 최초이자 유일하게 법률서적 출판사 박영사의 600여권에 달하는 서적을 슈퍼로이어 활용하면서 답변의 정확도를 획기적으로 향상시켰다.
김본환 로앤컴퍼니 대표는 “슈퍼로이어는 법률가들의 업무 효율성과 전문성을 극대화하기 위해 탄생한 서비스”라며, “법률가들이 보다 핵심적이고 창의적인 업무에 집중할 수 있도록 돕는 슈퍼로이어의 뛰어난 기술력을 입증하게 되어 매우 뜻깊게 생각한다”고 말했다.
로앤컴퍼니는 슈퍼로이어가 지난 1월 치러진 14회 변호사시험 선택형 시험에서 이 같은 성과를 냈다고 12일 밝혔다. 특히 비영어권에서 해당 국가 언어로 AI 서비스를 활용해 변호사시험 객관식 전체 영역을 풀어 합격권에 든 것은 슈퍼로이어가 최초다.
슈퍼로이어의 74% 정답률 달성은 국내 법률 AI 기술 발전에 있어 획기적인 이정표로 평가된다. 종전 최고 성적은 로앤컴퍼니가 지난 2023년 기록했던 정답률 53.3%였다. 슈퍼로이어는 공법과 민사법, 형사법 등 총 150개 문항에서 111개를 맞혔다. 이는 최근 5년 변호사시험 선택형 평균 합격 개수(103개)를 넘긴 수준이며 변호사시험 전문 기관 예측 기준으로 올해 상위 30% 정도에 해당하는 점수다.
이번 성과는 오픈AI의 GPT-4.5와 앤트로픽의 클로드 3.7 소넷 등 글로벌 빅테크 최신 AI 모델들의 정확도와 견주어도 월등히 앞선다. 해당 모델에 동일한 시험 문제를 입력해 평가한 결과, GPT-4.5는 정답률 49.3%, 앤트로픽의 최신형 모델 클로드 3.7 소넷은 45.3%를 기록해 합격선에 미치지 못했다.
슈퍼로이어는 지난해 7월 법률가 대상으로 출시한 생성형 AI 기반 법률 비서 서비스다. 상용 거대언어모델(LLM)을 이용해 구현됐으며, 로앤컴퍼니가 자체 설계한 아키텍처를 활용하고 있다. 로앤컴퍼니가 보유한 495만 건의 판례 데이터 포함해 법령, 결정례, 행정심판례, 행정규칙, 유권해석 등 방대한 법률 데이터를 답변에 활용하고 있다. 최근 리걸테크 업계 최초이자 유일하게 법률서적 출판사 박영사의 600여권에 달하는 서적을 슈퍼로이어 활용하면서 답변의 정확도를 획기적으로 향상시켰다.
김본환 로앤컴퍼니 대표는 “슈퍼로이어는 법률가들의 업무 효율성과 전문성을 극대화하기 위해 탄생한 서비스”라며, “법률가들이 보다 핵심적이고 창의적인 업무에 집중할 수 있도록 돕는 슈퍼로이어의 뛰어난 기술력을 입증하게 되어 매우 뜻깊게 생각한다”고 말했다.