MS CEO “AI 통제 벗어날 위험 대비해야”...‘비상 브레이크’ 도입 촉구

  • 등록 2026.10.12 07:29:56
크게보기

 

사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)가 인공지능(AI) 모델이 인간의 의도와 통제를 벗어나 행동할 가능성에 대비해 언제든 작동을 중단할 수 있는 '비상 브레이크' 체계를 마련해야 한다고 강조했다.

 

AI 에이전트의 자율성이 높아지는 만큼 정보 접근과 작업 수행 권한을 엄격히 관리하고, 인간이 최종 통제권을 유지할 수 있도록 보안 체계를 강화해야 한다는 주장이다.

 

11일(현지시간) 나델라 CEO는 사회관계망서비스(SNS) 엑스(X·옛 트위터)에 게시한 '슈퍼지능 시대 내부자 위험으로서의 모델'이라는 제목의 글에서 "새로운 시대에 걸맞은 신뢰 체계를 재검토해야 할 때"라며 이같이 밝혔다.

 

나델라 CEO는 "AI의 행동을 관찰할 수 있고, 한계를 검증할 수 있으며, 행동을 항상 통제할 수 있는 시스템을 구축해야 한다"며 "정보의 제공과 정보에 대한 통제권을 분리해야 한다"고 제안했다.

 

특히 폐쇄형 AI 모델과 개방형(오픈소스) 모델을 구분하지 않고 첨단 AI 모델을 기업의 '내부자 위험'과 같은 관점에서 관리해야 한다고 강조했다.

 

이는 기업 내부에서 중요한 정보와 시스템에 접근할 수 있는 직원들에게 신원 확인, 접근 권한 제한, 활동 기록 관리 등 보안 원칙을 적용하는 것처럼 AI 모델에도 동일한 관리 체계를 도입해야 한다는 의미다.

 

나델라 CEO는 "모델이 어떤 정보에 접근할 수 있고 어떤 작업을 수행할 수 있는지 통제하는 제어장치는 모델 외부에 있어야 한다"고 밝혔다.

 

AI 모델 자체에 통제 기능을 맡기는 대신 외부 시스템을 통해 접근 권한과 행동 범위를 제한해야 한다는 것이다. 그는 이러한 방식이 1970년대부터 이어져 온 정보 보안의 기본 원칙이라고 설명했다.

 

무엇보다 AI가 예상하지 못한 행동을 하거나 허용된 권한을 넘어서는 상황에 대비해 인간이 언제든 개입할 수 있는 비상 정지 장치의 필요성을 강조했다.

 

그는 "권한이 있는 사람은 언제든지 작업 도중 모델을 일시 중지하거나 종료할 수 있어야 한다"며 "더 정교한 모델일수록 더 발전된 차단 기술이 필요하다"고 말했다.

 

이어 "우리는 이를 표준화해야 한다"며 AI 모델의 성능과 자율성이 높아질수록 통제 기술 역시 함께 발전해야 한다는 점을 강조했다.

 

이번 발언은 AI 에이전트가 복잡한 업무를 독립적으로 수행하는 방향으로 발전하면서 인간의 감독과 통제 범위를 벗어날 수 있다는 우려가 커지는 가운데 나왔다.

 

다리오 아모데이 앤트로픽 CEO를 비롯한 주요 AI 기업 경영진도 AI 기술의 급속한 발전에 따른 잠재적 위험을 경고하며 안전장치와 관리 체계 마련의 중요성을 강조하고 있다.

 

한편 나델라 CEO가 이번 글에서 기존의 '인공지능(AI)' 대신 '슈퍼지능(SI·Super Intelligence)'이라는 표현을 사용한 점도 주목된다.

 

반면, 도널드 트럼프 미국 대통령은 '인공(Artificial)'이라는 단어가 AI 기술에 부정적인 인식을 준다고 주장하며 관련 용어를 '슈퍼지능'으로 변경하도록 하는 행정명령에 서명했다. AI라는 용어를 사용하는 이들을 적으로 간주하겠다는 취지의 발언도 한 것으로 전해졌다.

임수민 기자 lsm89@m-economynews.com
Copyright @2012 M이코노미뉴스. All rights reserved.



회사명 (주)방송문화미디어텍|사업자등록번호 107-87-61615 | 등록번호 서울 아02902 | 등록/발행일 2012.06.20 발행인/편집인 : 조재성 | 서울시 영등포구 국회대로72길 4. 5층 | 전화 02-6672-0310 | 팩스 02-6499-0311 M이코노미의 모든 컨텐츠(기사)는 저작권법의 보호를 받으며,무단복제 및 복사 배포를 금합니다.