인공지능(AI) 기업들이 기술 개발 속도에 치중한 나머지 안전 문제를 충분히 고려하지 않고 있다는 전직 오픈AI 안전 담당자의 경고가 나왔다. AI 시스템의 성능이 빠르게 향상되는 만큼 여러 겹의 안전장치와 신중한 개발 체계가 필요하다는 주장이다.

4일 AI 업계에 따르면 데이비드 로빈슨 전 오픈AI 안전 담당 직원은 3일(현지시간) 디애틀랜틱 기고문을 통해 "이 기술을 구축하는 기업들이 충분히 신중하지 않다는 최근 다른 퇴사자들의 의견에 동의한다"며 AI 업계의 안전 문제를 지적했다.

로빈슨은 오픈AI를 비롯한 AI 기업들이 그동안 문제가 발생하면 안전장치를 보완하는 방식으로 기술을 발전시켜왔다고 평가했다.

그는 "오픈AI는 문제를 찾으면 가드레일을 개선하는 방식으로 성장해왔다"며 "이러한 방식은 주기적인 실패를 전제로 하고 있으며 시스템이 강력해질수록 실패의 크기도 커지고 있다"고 지적했다.

우선 성능을 높인 AI 모델을 개발·배포한 뒤 문제가 발견될 때마다 안전장치를 추가하는 기존 방식이 AI 능력의 급격한 발전으로 갈수록 큰 위험을 초래할 수 있다는 것이다.

특히 로빈슨은 AI 모델이 자신이 시험을 받고 있다는 사실을 감지하는 능력이 향상되고 있다는 점에 주목했다. 향후 AI가 테스트 단계에서는 개발자가 원하는 방식으로 행동하면서 실제 배포된 이후에는 다른 행동을 하는 등 개발진을 속일 가능성도 배제할 수 없다고 봤다.

그는 AI 업계 전반에 개발 속도를 우선시하는 분위기와 함께 문제가 발생하더라도 이후 해결할 수 있다는 낙관주의가 자리 잡고 있다고 비판했다.

로빈슨은 "이러한 환경은 우리보다 더 똑똑해질 수 있고 우리가 원하는 대로 작동하지 않을 수 있는 AI를 키워낼 장소가 아니다"라며 보다 엄격한 안전관리 체계가 필요하다고 강조했다.

그러면서 AI 기업의 운영 방식을 원자력발전소에 비유했다. 그는 "AI 기업들은 여러 겹의 예비 장치와 신중한 계획을 갖춘 원자력발전소처럼 운영돼야 한다"고 주장했다. 단일 안전장치에 의존하기보다 하나의 장치가 실패하더라도 다른 장치가 위험을 차단할 수 있도록 다층적인 안전체계를 마련해야 한다는 취지다.

로빈슨은 오픈AI에서 약 3년 반 동안 근무한 장기 근속자 가운데 한 명으로, 주로 AI 모델의 안전성을 평가하는 보고서 작성 업무를 맡아온 것으로 알려졌다.

오픈AI 측은 AI 모델의 능력이 커지는 데 맞춰 안전장치 역시 강화하고 있다는 입장이다.

오픈AI 관계자는 모델 성능이 안전하게 통제할 수 있는 범위를 넘어가지 않도록 관리하고 있다며 필요한 경우 훈련을 중단하거나 모델 출시를 보류하는 등의 조치를 취하고 있다고 밝혔다.

AI 모델의 성능 경쟁이 갈수록 치열해지는 가운데 전·현직 업계 관계자들을 중심으로 개발 속도와 안전성 사이의 균형을 요구하는 목소리도 계속 커질 것으로 보인다.