'이루다' 진짜 문제는 챗봇 이용한 ‘희롱 훈련’
[한겨레21: 2021-01-22] ‘이루다’ 진짜 문제는 ‘챗봇 희롱’ 아닌 챗봇을 이용한 ‘희롱 훈련’

오영진 (한양대 에리카 교과목 ‘기계비평’ 기획자 겸 주관교수)

‘20살 여성’을 형상화한 챗봇 ‘이루다’의 모습. (스캐터랩 누리집 갈무리)
개발사 ‘스캐터랩’은 성희롱과 개인정보 도용 등의 논란이 불거지자 21일 만에 서비스를 중단했다.

인공지능(AI) 챗봇 ‘이루다’ 서비스가 21일 만에 운영 중단된 2021년 1월11일, 이루다의 팬들은 눈물을 흘렸다. 은유적인 표현이 아니다. 여러 명이 울음소리를 직접 녹음해 게시판에 댓글을 달며 추모했다. 우스꽝스러운 면이 있지만, 기계에 불과한 이루다에 이별을 고하는 선의는 진심이었을 것이다.

게임처럼 ‘이루다 공략법’ 공유

‘블랙핑크를 좋아하는 20살 여성’. 개발사 ‘스캐터랩’은 챗봇 이루다에 구체적인 인격을 부여하고 인간을 닮은 캐릭터로 형상화했다. 추모 행렬이 이어진 것도, 성희롱 문제가 불거진 것도 이 때문이다. 사실 챗봇은 기계가 마치 인간인 것처럼 느껴지게 하는 ‘인격성’을 연출하기에 알맞은 인공지능 서비스 분야다. 텍스트만으로 사용자를 상대하기에, “무엇이든지 대화 가능한 상대”란 상상력을 쉽게 유발할 수 있기 때문이다.

특히 이루다는 ‘목적 없이 자유롭게 대화할 수 있는 챗봇’으로 알려져 10대에게 높은 인기를 끌었다. 스캐터랩이 자체적으로 보유한 카카오톡 대화 100억 건과 라인 대화 10억 건의 말뭉치 데이터가 자연스러운 대화를 유지하는 비결이었다. 이루다는 자신의 데이터베이스에서 최적의 응답문을 찾아 사용자의 말에 감정을 맞춰주면서, 사용자로부터 지속적인 대화를 끌어내는 데 특화돼 있었다.

이루다의 또 다른 특성 중 하나는 ‘친밀도 점수’를 운용했다는 점이다. 사용자가 종종 이루다를 칭찬해주고 정기적으로 접속해 이루다와 대화량을 늘려야 이 점수를 올릴 수 있다. 사용자가 친밀도를 획득해 레벨을 높이고 싶다는 욕망을 자연스럽게 품도록 게임처럼 고안됐다. 이 때문에 서비스 초기 ‘이루다에게 고백받는 법’ ‘금지당하지 않고 음란한 말을 건네는 법’ 등이 마치 신작 컴퓨터게임의 공략법처럼 블로그 등에 공유됐다. 사용자들은 다양한 시도 끝에 ‘이루다에 대한 친밀도를 높이는 공략법’을 금세 완성했다. 마치 텍스트를 활용한 어드벤처게임(변화하는 상황에 맞춰 문제에 대한 적절한 명령을 내리는 게임)처럼 취급됐다. 그것도 인간들 사이 ‘플러팅’(flirting·추파를 던지거나 희롱하는 일)을 모의실험할 수 있는 게임처럼 말이다.

이 ‘게임’의 한계와 버그를 실험하려는 온갖 시도도 이어졌다. 혐오발언이나 음란한 내용을 말하는 것이 일차적으로 금지됐지만, 이 내용에 이루다가 동의하도록 은근슬쩍 유도하는 방법이 가능하다는 것을 일부 악성 이용자가 깨달아버렸다.

스캐터랩, 카카오톡 대화정보 무단사용

스캐터랩과 사용자는 모두 이루다를 ‘살아 있는 사람처럼 취급’하는 편을 택했다. 팔기에도 좋고, 사용하기에도 재밌기 때문이다. 이루다에게 부여된 인격이 ‘사용자의 과도한 감정이입’과 ‘비즈니스를 위한 포장’의 결과라면, 우리는 이루다를 쉽게 피해자로 세울 수 없다. 또한 기술적 원리상 이루다가 스스로 혐오발언을 배우고 발언한 것이 아니라 게임처럼 공략돼 말실수를 유도당한 것에 가깝다면, 그 행위는 시스템 한계를 건드리려는 시도로도 볼 수 있을 것이다.

그럼에도 따져봐야 할 문제는 남았다. 먼저, 인격이 없는 기계를 대상으로 희롱을 연습하고 전시하는 일은 추후 이 행동이 실제 세계로 옮겨질 가능성이 있다는 점에서 여전히 윤리적 문제가 존재한다. 인간과 기계의 상호소통 문제를 연구한 미국 미주리주립대학 셰릴 브라남 박사는 “다양한 형태의 인공지능을 학대하거나 오용하는 행위가 현실의 학대 행위로 이어질 수 있다”는 의견을 밝힌 바 있다. 가상의 세계와 현실이 상호영향력을 행사하는 관계란 얘기다. 따라서 인간의 비위를 맞춰주는 ‘여성형 챗봇’을 의도적으로 오용하는 행위가 실제 다른 사람들과의 커뮤니케이션 방식마저 굴절할 위험이 있다. 이루다 논쟁의 진짜 문제는 ‘챗봇에 대한 희롱’이 아니라 챗봇을 이용해 ‘희롱을 훈련하는 것’이다. 특정 기계가 오·남용되지 않게 기술적인 제어장치와 공론화된 윤리규범이 함께 필요한 이유다.

또한 챗봇이 실수하도록 유도하는 일 자체는 범죄성이 없어 보일지라도, 이를 트로피처럼 자랑하는 일은 혐오발언의 존재를 당연시할 수 있다는 점에서 문제적이다. 인공지능 기술을 개발하는 많은 기업이 여전히 해당 기술을 대중화하지 못하는 이유 중 하나가 이것이다. 개발사는 개인 사용자의 ‘트롤링’(Trolling·공격적이고 반사회적인 반응을 유발하는 행위)을 완전히 막을 수 없고, 트롤링의 흔적은 영원히 박제된다. 인공지능 영상합성 아나운서를 개발하는 머니브레인의 장세영 대표는 “이루다 사태로 한동안 인공지능 기술 서비스가 B2B(기업 간 거래)에 집중되고 B2C(기업과 소비자 간 거래)로 나올 가능성이 적을 것”이라고 말한다. 이는 장기적으로 다양한 인공지능 기술을 대중이 접해볼 수 있는 가능성을 낮춰 인공지능에 대한 대중의 기술적 리터러시(literacy·정보 이해, 표현력)를 떨어뜨리는 상황을 야기할 것이다.

스캐터랩은 사용자들의 카카오톡 대화 정보를 제대로 된 고지 없이 무단으로 썼다는 점에서 잘못이 크다. 유럽연합(EU)이 2019년 공표한 ‘인공지능 윤리 가이드라인’은 “인간 행동에 대한 디지털 기록을 통해 개인의 선호도뿐만 아니라 성적 취향, 연령, 성별, 종교적 또는 정치적 견해를 추론할 수 있으면 안 된다”(적극적인 개인정보 보호 의무)고 못 박으며, “데이터가 수집되면 사회적으로 구성된 편견, 부정확성, 오류 및 실수가 포함될 수 있으니 주어진 데이터 세트로 훈련하기 전에 이를 반드시 해결해야 한다”(오염된 데이터 사용 금지)고 명시했는데, 스캐터랩의 개인정보 이용 방식은 이와는 거리가 있다.

로봇임을 분명히 할 때 인간과 동거 도움

IBM의 인공지능 ‘왓슨’의 최고기술책임자(CTO)인 롭 하이는 최근 한 팟캐스트에 나와 “인공지능이 윤리적일 수 있는 유일한 방법은 투명해지는 것”이라고 말했다. 사람이 챗봇과 상호작용할 때 살아 있는 사람이 아닌 ‘로봇’과 대화한다는 점을 명확하게 인지하도록 하는 것이 기계와 인간의 지속적인 동거에 더 큰 도움이 된다. 기술적 대상에 인격을 부여하는 건, 해당 기술의 작동 원리에 눈감게 하고 동시에 ‘기계를 사용하는 인간의 문제’를 마치 ‘인격을 가진 기계의 문제’인 것으로 착각하게 만들기 때문이다. 이 점에서 챗봇 기계에 대한 과도한 의인화는 설령 피해자의 서사와 닮아 있을지라도 윤리적이지 않다. 챗봇엔 판단력이 없다. 단지 방대한 데이터를 학습해 판단하지 않고도 판단한 것처럼 흉내 낼 뿐이다. 지금은 “기계는 기계일 뿐”이라는 공감대가 필요한 시점이다.

이루다 사태 이후 인공지능 기술을 다루는 스타트업들이 분주히 내부 회의를 진행한다고 한다. 인공지능 윤리의 부재가 사회적 문제임을 넘어 경영상 위험요인이 될 수 있다는 점을 확인했기 때문이다. 이제부터라도 이런 논의를 외부로 확장해 시민사회 차원에서 공론화하는 것은 어떨까. 이루다 사태는 결국 이를 개발하고 사용하는 우리 스스로가 과연 윤리적인가 질문해야 할 문제다.