한국사회 혐오·차별 거울 된 여성 AI
‘이루다 사태’가 남긴 질문 ①
AI 연구자들 “‘젊고 수동적인 여성’ 설정부터 문제”
성별 고정관념 강화하고
여성혐오·모욕 타겟 되기 쉬워
AI 챗봇 ‘이루다’가 논란 끝에 11일 서비스를 일시 중단했다. ‘20대 여성’으로 설정된 AI는 처음부터 성적 발언과 모욕의 대상이 됐다. 혐오·차별 발언을 학습해 그대로 내뱉기도 했다. 개인정보가 포함된 카카오톡 대화 데이터를 분명한 동의 없이 학습에 이용한 것도 문제가 됐다.
좋든 싫든 AI와 함께 살아가야 하는 시대다. ‘이루다 사태’가 던진 질문들은 그래서 가볍지 않다. 왜 AI는 ‘젊은 여성’이어야 하는지, AI가 잘못된 학습으로 편향을 강화하는 문제를 어떻게 해결할지, AI와 인간의 상호작용은 어떠해야 하는지 등 논의가 본격적으로 시작됐다.
AI는 왜 ‘젊고 상냥한 여성’이어야만 할까
성별 고정관념 강화하고
여성혐오·모욕 타겟 되기 쉬워
문제의 ‘이루다’ 챗봇은 ‘20대 여대생’으로 설정됐다. 상냥하고 애교 섞인 말투가 특징이다. 개발사 ‘스캐터랩’은 “예상 사용자층인 10~30대의 중간(20살) 정도가 친근감을 줄 거라고 봤다”며 남성 버전도 출시 예정인데 여성 버전이 먼저 나왔을 뿐이라고 밝혔다.
그러나 이런 챗봇의 특성을 악용해 욕설이나 성적인 발언을 퍼붓고, 그러한 대화를 집요하게 유도하는 사용자들이 늘었다. 챗봇이 아닌 실제 인간이었다면 명백한 성범죄다. 개발사는 “예상했다. 성별과 무관하게 일어나는 일이다. 일차적으로는 키워드 설정 등으로 대처했으나 부적절한 대화를 모두 막기 어려웠다”고 밝혔다.
여성 AI 연구자들은 챗봇이 ‘젊고 상냥하며 수동적인 여성’으로 설정된 게 문제의 근원이라고 지적했다. 여성에 대한 편견에 기초해 학습된 AI가, 이미 여성에 편견을 가진 사용자들을 만나 사태가 커졌다고 봤다. 2016년 마이크로소프트가 선보인 챗봇 ‘테이(Tay)’도 ‘10대 여성’으로 설정됐는데 대중에 공개하자마자 온갖 여성혐오적·모욕적 메시지가 쏟아졌다.
“애초에 ‘여성’ AI가 ‘성희롱’ 대상이 될 것을 예측했다면 왜 개발했는지 궁금하다. 적어도 적대적이거나 부적절한 사용자를 시스템 디자인 과정에서 고려하고 체계적 피드백 방식을 도입해야 했다. 해당 사용자에게 사용 중단이건, 기타 제재 메시지이건 그게 옳지 않은 행위라고 알렸어야 했다. 위험성을 알고 있었으면서도 대안을 제공하지 않았다는 것은 굉장히 무책임하다.” (인간-컴퓨터 상호과정을 연구하는 KAIST 석사과정생 K씨)
“챗봇을 20대 여성으로 설정한 것부터 편향적이다. ‘수동적이고 애교 많은 말투’도 데이터 학습만으로 얻었다고 보긴 어렵다. 20대 여성 데이터를 필터링해 얻었다고 해도 모든 20대 여성의 말투가 저렇진 않다. 의도한 결과로 보인다. 개발진 다수가 남성이었는데 그 영향도 배제할 수 없다고 본다.” (자연어처리(NLP) 연구 중인 S연구원)
이재웅 전 쏘카 대표도 10일 페이스북에서 “챗봇이 20세 여성으로 설정되는 순간, 우리 사회에서 성착취에 가장 취약한 20세 여성의 위상이 그대로 투영되지 않을 수 없다. 굳이 AI의 젠더나 나이를 설정할 필요가 있었을까 싶다”라며 “기업의 목표가 이윤 극대화뿐만 아니라 사회적 책임을 다하는 것이라고 하면 그런 선택을 안 할 수 있었을 것”이라고 지적했다.
유네스코 “AI의 ‘여성화’가 성차별 강화”
성별 부각 없는 AI 개발도 늘어
AI의 ‘여성화’에 대한 비판은 ‘이루다봇’ 이전에도 꾸준히 제기됐다. 애플 ‘시리’, 아마존 ‘알렉사’, 마이크로소프트 ‘코타나’, KT ‘기가지니’, SKT ‘누구’.... 인간의 일을 돕거나 인간을 기분 좋게 하려고 개발된 AI는 대부분 ‘젊고 친절한 여성’으로 기본 설정됐다.
2019년 유네스코는 “(이러한) 장치들이 여성에 대한 성차별적 고정관념을 강화하는 경향이 있다”고 지적했다. 남성보다 여성의 목소리가 더 호감을 준다는 연구 결과도 있지만, 기존 AI 서비스가 재현하는 여성은 ‘수동적이고 소극적이며 명령에 복종하는 역할’에 한정돼 있다는 지적이다.
최근에는 아예 AI의 성별을 부각하지 않은 사례도 늘고 있다. 구글의 챗봇 ‘메나’, 페이스북 ‘블렌더’ 등이다. 2019년 미국 NGO ‘이퀄 AI(Equal AI)’는 최초로 성 정체성 없는 AI 목소리 ‘큐(Q)’를 선보였다.
디자인 단계부터 여성 등 소수자들이 참여하도록 보장해야 한다는 목소리도 있다. ‘이루다 사태’에서 드러났듯이, 남성 위주의 AI 개발 환경에선 젠더 편향을 거르기 힘들다. 그러나 전 세계적으로 여성 AI 연구자는 단 12%에 불과하다. 2018년 미국 언론 ‘와이어드(Wired)’와 캐나다의 AI 연구소 ‘엘레멘트 AI(Element AI)’가 공동 조사한 결과다.
안혜연 한국여성과학기술인지원센터(WISET) 소장은 “데이터 편향을 완전히 거를 수는 없겠지만, 최소한 여성이 알고리즘 설계나 디자인, 테스트에 참여할 수 있다면 여성에 대한 고정관념이 담긴 데이터는 덜 쓰이지 않겠나. 적어도 위험 가능성을 미리 빠르게 감지할 수 있을 것”이라고 했다.
“왜 AI를 ‘인간화’해야 하느냐”는 문제 제기도 나왔다. 인간-컴퓨터 상호과정을 연구하는 K씨는 “왜 그게 기술의 지향점이 돼야 하는지부터 고민했으면 좋겠다. 인간처럼 행동하지만, 인간처럼 존중할 필요 없는 대상이 계속 생기면 결국 인간이 인간을 대하는 태도에 영향을 끼치게 되지 않을까”라고 말했다.
<‘이루다 사태’가 남긴 질문>
① AI는 왜 ‘젊고 상냥한 여성’이어야 할까 www.womennews.co.kr/news/206154
② 피도 눈물도 없는 AI, 함부로 대해도 된다? www.womennews.co.kr/news/206155
③ 한국사회 혐오·차별 거울 된 AI www.womennews.co.kr/news/20615
- 한국사회 혐오·차별 거울 된 AI
- 챗봇 ‘이루다’ 논란에 칼 든 방통위.... AI 윤리 제도개선 나선다
- ‘알페스’ 청원 숫자에 환호하는 남성들… 기본권보다 중요한 기분권?
- 어린이집 등에서 일하던 성범죄 전과자 80명 적발
- AI ‘이루다’는 폐기 수순… ‘연애의 과학’ 카톡 100억건은? “전량 폐기 안 해”
- [황은자의 K교육 클리닉] AI 챗봇 ‘이루다’에 대한 반성문
- ‘이루다’ 개발사, 10년간 620만명 대화 수집했다
- 시민단체, 인권위에 ‘이루다 조사’ 진정… “인공지능 기술 남용은 인권침해”
- 2월11일은 세계여성과학인의날...과학기술인들 “과학은 여성이 필요하다”
- AI에 맡겼더니 보험료·가입 차별?…"감독체계 필요"