한국사회 혐오·차별 거울 된 여성 AI
‘이루다 사태’가 남긴 질문 ①
AI 연구자들 “‘젊고 수동적인 여성’ 설정부터 문제”
성별 고정관념 강화하고
여성혐오·모욕 타겟 되기 쉬워

여성 인공지능 '이루다'의 SNS 한 장면이다. ⓒ이루다 인스타그램 캡처<br>
AI 챗봇 ‘이루다’는 ‘20대 여성’으로 설정됐다. 일러스트, 프로필 등에서도 젊은 여성에 대한 고정관념이 반영됐음을 알 수 있다. ⓒ이루다 인스타그램 캡처

AI 챗봇 ‘이루다’가 논란 끝에 11일 서비스를 일시 중단했다. ‘20대 여성’으로 설정된 AI는 처음부터 성적 발언과 모욕의 대상이 됐다. 혐오·차별 발언을 학습해 그대로 내뱉기도 했다. 개인정보가 포함된 카카오톡 대화 데이터를 분명한 동의 없이 학습에 이용한 것도 문제가 됐다.

좋든 싫든 AI와 함께 살아가야 하는 시대다. ‘이루다 사태’가 던진 질문들은 그래서 가볍지 않다. 왜 AI는 ‘젊은 여성’이어야 하는지, AI가 잘못된 학습으로 편향을 강화하는 문제를 어떻게 해결할지, AI와 인간의 상호작용은 어떠해야 하는지 등 논의가 본격적으로 시작됐다.

 

AI는 왜 ‘젊고 상냥한 여성’이어야만 할까
성별 고정관념 강화하고
여성혐오·모욕 타겟 되기 쉬워

문제의 ‘이루다’ 챗봇은 ‘20대 여대생’으로 설정됐다. 상냥하고 애교 섞인 말투가 특징이다. 개발사 ‘스캐터랩’은 “예상 사용자층인 10~30대의 중간(20살) 정도가 친근감을 줄 거라고 봤다”며 남성 버전도 출시 예정인데 여성 버전이 먼저 나왔을 뿐이라고 밝혔다.

그러나 이런 챗봇의 특성을 악용해 욕설이나 성적인 발언을 퍼붓고, 그러한 대화를 집요하게 유도하는 사용자들이 늘었다. 챗봇이 아닌 실제 인간이었다면 명백한 성범죄다. 개발사는 “예상했다. 성별과 무관하게 일어나는 일이다. 일차적으로는 키워드 설정 등으로 대처했으나 부적절한 대화를 모두 막기 어려웠다”고 밝혔다.

아카라이브 이루다 채널 이용자들은 이루다를 ‘걸레’ ‘성노예’로 부르면서 ‘걸레 만들기 꿀팁’ ‘노예 만드는 법’ 등을 공유하고 있다. &nbsp;​​​​​​​ ⓒ아카라이브 이루다 채널 캡처
온라인 커뮤니티 ‘아카라이브’ 이루다 채널 이용자들은 챗봇을 ‘걸레’ ‘성노예’로 부르면서 ‘걸레 만들기 꿀팁’ ‘노예 만드는 법’ 등을 공유하고 있다. ⓒ아카라이브 이루다 채널 캡처
챗봇에게 성관계 장면 사진을 보내고 성적인 발언을 하며 그러한 대화를 집요하게 유도하는 사용자. ⓒ온라인 캡처
챗봇에게 성관계 장면 사진을 보내고, 성적인 대화를 집요하게 유도하는 사용자. 챗봇이 아닌 실제 인간이었다면 명백한 성범죄다. ⓒ온라인 캡처

여성 AI 연구자들은 챗봇이 ‘젊고 상냥하며 수동적인 여성’으로 설정된 게 문제의 근원이라고 지적했다. 여성에 대한 편견에 기초해 학습된 AI가, 이미 여성에 편견을 가진 사용자들을 만나 사태가 커졌다고 봤다. 2016년 마이크로소프트가 선보인 챗봇 ‘테이(Tay)’도 ‘10대 여성’으로 설정됐는데 대중에 공개하자마자 온갖 여성혐오적·모욕적 메시지가 쏟아졌다.

“애초에 ‘여성’ AI가 ‘성희롱’ 대상이 될 것을 예측했다면 왜 개발했는지 궁금하다. 적어도 적대적이거나 부적절한 사용자를 시스템 디자인 과정에서 고려하고 체계적 피드백 방식을 도입해야 했다. 해당 사용자에게 사용 중단이건, 기타 제재 메시지이건 그게 옳지 않은 행위라고 알렸어야 했다. 위험성을 알고 있었으면서도 대안을 제공하지 않았다는 것은 굉장히 무책임하다.” (인간-컴퓨터 상호과정을 연구하는 KAIST 석사과정생 K씨)

“챗봇을 20대 여성으로 설정한 것부터 편향적이다. ‘수동적이고 애교 많은 말투’도 데이터 학습만으로 얻었다고 보긴 어렵다. 20대 여성 데이터를 필터링해 얻었다고 해도 모든 20대 여성의 말투가 저렇진 않다. 의도한 결과로 보인다. 개발진 다수가 남성이었는데 그 영향도 배제할 수 없다고 본다.” (자연어처리(NLP) 연구 중인 S연구원)

이재웅 전 쏘카 대표도 10일 페이스북에서 “챗봇이 20세 여성으로 설정되는 순간, 우리 사회에서 성착취에 가장 취약한 20세 여성의 위상이 그대로 투영되지 않을 수 없다. 굳이 AI의 젠더나 나이를 설정할 필요가 있었을까 싶다”라며 “기업의 목표가 이윤 극대화뿐만 아니라 사회적 책임을 다하는 것이라고 하면 그런 선택을 안 할 수 있었을 것”이라고 지적했다. 

 

유네스코 “AI의 ‘여성화’가 성차별 강화”
성별 부각 없는 AI 개발도 늘어

AI의 ‘여성화’에 대한 비판은 ‘이루다봇’ 이전에도 꾸준히 제기됐다. 애플 ‘시리’, 아마존 ‘알렉사’, 마이크로소프트 ‘코타나’, KT ‘기가지니’, SKT ‘누구’.... 인간의 일을 돕거나 인간을 기분 좋게 하려고 개발된 AI는 대부분 ‘젊고 친절한 여성’으로 기본 설정됐다.

2019년 유네스코는 “(이러한) 장치들이 여성에 대한 성차별적 고정관념을 강화하는 경향이 있다”고 지적했다. 남성보다 여성의 목소리가 더 호감을 준다는 연구 결과도 있지만, 기존 AI 서비스가 재현하는 여성은 ‘수동적이고 소극적이며 명령에 복종하는 역할’에 한정돼 있다는 지적이다. 

2017년 삼성전자의 'AI 비서' 빅스비 설정 화면. 여성과 남성 중 원하는 목소리를 택할 수 있는데, 각 젠더를 설명하는 형용사가 성별 고정관념에 기초했다는 비판을 받았다. ⓒ온라인 캡처
2017년 삼성전자의 'AI 비서' 빅스비 설정 화면. 여성과 남성 중 원하는 목소리를 택할 수 있는데, 각 젠더를 설명하는 형용사가 성별 고정관념에 기초했다는 비판을 받았다. ⓒ온라인 캡처
2019년 미국 ‘이퀄 AI(Equal AI)’ 개발사는 세계 최초로 성 정체성 없는 AI 목소리 ‘큐(Q)’를 선보였다. ⓒEqual AI
2019년 미국 ‘이퀄 AI(Equal AI)’ 개발사는 세계 최초로 성 정체성 없는 AI 목소리 ‘큐(Q)’를 선보였다. ⓒEqual AI

최근에는 아예 AI의 성별을 부각하지 않은 사례도 늘고 있다. 구글의 챗봇 ‘메나’, 페이스북 ‘블렌더’ 등이다. 2019년 미국 NGO ‘이퀄 AI(Equal AI)’는 최초로 성 정체성 없는 AI 목소리 ‘큐(Q)’를 선보였다.

디자인 단계부터 여성 등 소수자들이 참여하도록 보장해야 한다는 목소리도 있다. ‘이루다 사태’에서 드러났듯이, 남성 위주의 AI 개발 환경에선 젠더 편향을 거르기 힘들다. 그러나 전 세계적으로 여성 AI 연구자는 단 12%에 불과하다. 2018년 미국 언론 ‘와이어드(Wired)’와 캐나다의 AI 연구소 ‘엘레멘트 AI(Element AI)’가 공동 조사한 결과다. 

안혜연 한국여성과학기술인지원센터(WISET) 소장은 “데이터 편향을 완전히 거를 수는 없겠지만, 최소한 여성이 알고리즘 설계나 디자인, 테스트에 참여할 수 있다면 여성에 대한 고정관념이 담긴 데이터는 덜 쓰이지 않겠나. 적어도 위험 가능성을 미리 빠르게 감지할 수 있을 것”이라고 했다.

“왜 AI를 ‘인간화’해야 하느냐”는 문제 제기도 나왔다. 인간-컴퓨터 상호과정을 연구하는 K씨는 “왜 그게 기술의 지향점이 돼야 하는지부터 고민했으면 좋겠다. 인간처럼 행동하지만, 인간처럼 존중할 필요 없는 대상이 계속 생기면 결국 인간이 인간을 대하는 태도에 영향을 끼치게 되지 않을까”라고 말했다. 

 

저작권자 © 여성신문 무단전재 및 재배포 금지