AI가 일하다 사고를 치면, 책임은 누가 질까요?
*이 글은 외부 필자인 안희철님의 기고입니다. 요즘 기업들을 만나면 거의 빠지지 않고 등장하는 단어가 바로 AX(AI Transformation), 즉 인공지능 전환이에요. 기업들은 직원들에게 생성형 AI를 사용하게 하고, 사내 문서를 검색하거나 요약하는 AI를 만들고 있어요. 고객 상담을 AI 챗봇으로 바꾸거나 상품 추천과 마케팅에도 AI를 적극적으로 활용하고 있기도 하고요. 최근에는 여기서 한 단계 더 나아가고 있어요. AI가 이메일을 읽고 답장을 작성하는 정도를 넘어 일정을 잡고, 회사의 데이터베이스를 검색하고, 외부 서비스에 접속해서 실제 업무까지 처리하는 AI 에이전트가 등장하고 있어요. 제조업에서는 AI가 로봇, 센서, 기계설비와 연결되어 현실 세계에서 직접 움직이는 Physical AI도 확산되고 있고요. 그러다 보니 기업들은 자연스럽게 이런 질문을 많이 해요. "우리 회사도 AI를 어디까지 도입해야 할까요?" "어떤 AI 모델을 쓰는 게 좋을까요?" "업무의 몇 퍼센트까지 자동화할 수 있을까요?" 그런데 법률가 입장에서는 그보다 먼저 물어야 할 질문이 있어요. 바로 "그 AI에게 무슨 일을 어디까지 어떤 권한을 부여해서 시킬 건가요?"이지요. 왜냐하면 AX는 단순히 ChatGPT나 다른 생성형 AI를 직원들에게 사용하게 하는 것만을 의미하지 않기 때문이에요. 기업의 데이터와 업무 절차를 AI에 맞게 재편하고, AI가 임직원의 판단을 보조하고, 고객에 관한 의사결정에 관여하고, 심지어 외부 시스템에 접속해서 일정한 행동을 수행하게 만드는 과정 전체가 AX라고 보는 것이 더 정확해요. 그리고 이 순간부터 AI의 문제는 기술의 문제가 아니라 권한과 책임의 문제가 되기 시작해요. AI가 틀린 답을 하는 것과 틀린 결정을 하는 것은 전혀 달라요. 예를 하나 들어볼게요.

