미국 버클리(UC Berkeley) 대학 교수이며 AI 및 기계 학습과 관련된 보안 위험을 연구 전문가인 던 송(Dawn Song) 박사는 “‘적대적인 기계 학습(Adversarial machine learning)’이 국토방위에서 사용되는 시스템을 포함해 AI를 활용하는 모든 시스템을 리버스 엔지니어링하는 데 사용될 수 있다”고 경고했다. 사진=MIT(메사추세츠공과대학교) 테크놀 러지 리뷰 캡처
미국 버클리(UC Berkeley) 대학 교수이며 AI 및 기계 학습과 관련된 보안 위험을 연구 전문가인 던 송(Dawn Song) 박사는 “‘적대적인 기계 학습(Adversarial machine learning)’이 국토방위에서 사용되는 시스템을 포함해 AI를 활용하는 모든 시스템을 리버스 엔지니어링하는 데 사용될 수 있다”고 경고했다. 사진=MIT(메사추세츠공과대학교) 테크놀 러지 리뷰 캡처

[비즈월드] 미국 버클리(UC Berkeley) 대학 교수이며 AI 및 기계 학습과 관련된 보안 위험을 연구 전문가인 던 송(Dawn Song) 박사는 “‘적대적인 기계 학습(Adversarial machine learning)’이 국토방위에서 사용되는 시스템을 포함해 AI를 활용하는 모든 시스템을 리버스 엔지니어링하는 데 사용될 수 있다”고 경고해 주목을 받고 있습니다.

‘MIT(메사추세츠공과대학교) 테크놀 러지 리뷰’에 따르면 적대적인 기계 학습이란 스팸 차단, 악성코드 탐색 등 적대적 환경에서 기계 학습의 안전한 적용을 목적으로 하는 기계학습과 컴퓨터 보안을 연구하는 학문을 의미합니다.

던 송 박사는 "인공 지능은 해커가 그걸 망칠 수 있다면 그 어떤 혁명을 일으키지 못할 것"이라고 경고했습니다.

그는 MIT 테크놀러지 리뷰가 주최한 미국 샌프란시스코 'EmTech Digital' 컨퍼런스에 참석해 기계 학습 시스템을 입증 및 조작하는 새로운 기법인 ‘적대적 기계 학습’이 비즈니스에서 AI의 파워를 확산시키려고 하는 사람들에게 커다란 문제를 일으킬 수 있다고 경고했습니다.

적대적인 기계 학습이 이 기술로 구축된 시스템을 공격하는 데 사용될 수 있기 때문이라는 것입니다.

적대적 기계 학습은 알고리즘을 통해 입력된 정보를 실험적으로 입력해 훈련된 정보를 나타내거나 입력을 왜곡하여 시스템 오작동을 유발시킬 수 있다는 것입니다.

예를 들어 컴퓨터 시각 알고리즘에 많은 양의 이미지를 입력할 경우 기능을 리버스 엔지니어링해 잘못된 종류의 출력을 포함하여 특정 종류의 출력이 가능하다는 것입니다.

송 박사는 그녀의 연구 그룹이 탐구한 적대적 학습 속임수의 몇 가지 예를 제시했습니다.

구글과 공동으로 진행된 프로젝트 중 하나는 전자 메일 메시지(이 경우 엔론 전자메일 데이터 세트Enron email dataset)에서 자동 응답을 생성하도록 훈련된 기계 학습 알고리즘을 입증하는 것이었습니다.

이 연구에서는 올바른 메시지를 생성함으로써 기계 모델이 신용카드 번호와 같은 민감한 데이터를 추출해 낼 수 있음을 보여주었습니다. 이 프로젝트에서 발견된 결과는 Gmail에서 텍스트를 자동 생성하는 도구인 스마트 문장 작성기(Smart Compose)가 악용되는 것을 방지하기 위해 구글 Gmail에 채택됐습니다.

또 다른 프로젝트는 AI시스템을 채택한 많은 차량에 사용되는 컴퓨터 비전 시스템을 속일 수있는 무해한 모양의 스티커로 도로 표지판을 수정하는 것이었습니다. 비디오 데모에서 송 박사는 이 시스템이 정지신호를 시속 45마일 속도제한 신호라고 실제로 판단할 수 있는 방법을 보여주었습니다. 이런 정보에 의존하는 자동화된 주행 시스템의 경우 큰 문제가 될 수 있다는 것입니다.

'적대적인 기계 학습'은 많은 기계 학습 연구자들이 관심을 갖기 시작하는 분야입니다. 지난 몇 년 동안 다른 연구 그룹은 온라인 기계 학습 API를 탐색해 이를 속이거나 민감한 정보를 공개하는 방법을 고안하는 방법을 보여주었습니다.

적대적인 기계 학습은 또한 방위 분야에 커다란 관심거리입니다. 감지 및 무기 시스템이나 기계 학습을 활용하는 군사 시스템의 수가 증가함에 따라 이런 기술이 방어적으로나 공격적으로 사용될 수 있는 잠재력이 커집니다.

저작권자 © 비즈월드 무단전재 및 재배포 금지