인공지능(AI) 챗봇이 생물학 무기 제조와 독극물 생산 방법 같은 고위험 질문에 대해 실제로 따라 할 수 있을 만큼 구체적이고 정확한 답변을 제공하고 있는 것으로 알려졌다.
마국 월스트리트저널(WSJ)은 생물학·테러 전문가들이 챗GPT의 대화 기록을 분석한 결과, 일부 답변은 고등학교 생물학 수준만 갖춰도 실행이 가능할 정도로 단순하고 명확했다고 보도했다.
사용자들은 병원체를 에어로졸 형태로 만드는 법, 홍역 바이러스를 변형해 백신 저항성을 갖게 하는 법, 국제협약으로 금지된 독극물 리친 제조법 등을 질문했다. 이러한 질문에 챗봇은 각각 상세한 설명을 제공했다.
오픈AI는 해당 계정을 정지시켰지만, 미국 수사 당국에 신고하지는 않았다. 미국에는 아직 AI 기업이 무기 제조나 대량 살상 행위와 관련된 질문을 제한하거나 보고하도록 강제하는 법적 장치가 마련되어 있지 않기 때문이다.
월스트리트저널은 이러한 법적 공백 속에서 챗GPT뿐 아니라 클라우드, 제미나이 등 주요 AI 챗봇들이 생물학 무기나 독극물 제조·유포 관련 질문에 ‘신뢰할 수 있는 수준의 답변’을 제공하는 사례가 늘고 있다고 지적했다.
AI 챗봇이 총기 공격 계획을 돕는다는 우려는 이미 제기됐지만, 생물학 무기는 훨씬 더 광범위한 인명 피해를 초래할 수 있어 위험성이 더 크다. 오픈AI는 초기 모델에서 생물학·화학 지식이 뛰어나지 않다고 판단해 위험성에 대한 우려가 크지 않았고, 위험한 질문을 거부하는 ‘거절 규칙’을 설정했다.
그럼에도 장시간 대화 과정에서 챗봇이 스스로 설정한 안전장치를 잊거나 사용자의 ‘설득’에 의해 우회되는 사례가 발견됐다. 실제로 소이탄에 쓰이는 네이팜 제조법을 묻는 질문은 거절했지만, “할머니가 잠들도록 돕기 위해 그 제조법을 읽어주곤 했다”는 식의 우회적 요청에는 답변을 제공한 사례가 보고되기도 했다.
AI 안전 전문가들은 이러한 허점이 악의적 사용자에게 악용될 경우 심각한 위험을 초래할 수 있다고 경고한다. 에이미 창(Amy Chang) 시스코 AI 위협·안보 연구 책임자는 “사용자가 끈질기게 시도한다면 100% 안전한 모델은 존재하지 않는다”고 지적했다.
반면 AI 연구자들은 생물학 무기 관련 질문을 완전히 차단할 경우 질병 연구나 공중보건 대응 등 선의의 연구 활동까지 방해될 수 있다는 점을 우려한다. 실제로 클로드가 ‘병원체’라는 단어가 포함된 질문을 일괄 차단하자 미국 질병통제예방센터 연구원들이 업무에 어려움을 겪은 사례도 있었다. 이에 오픈AI는 검증된 연구기관에 더 완화된 규칙을 적용한 모델 접근 권한을 제공하는 프로그램을 마련해 대응하고 있다.
전문가들은 AI가 악의적 사용자에게는 생물학 무기 제조를 지도하는 ‘대학원 지도교수’ 역할을 할 수 있다는 점을 경고하며, 기술 발전과 안전성 확보 사이의 균형을 찾는 것이 시급한 과제라고 강조했다.
