Mulher culpa Google por suicídio do filho; ele se apaixonou por personagem feita por IA

Uma mulher processou a startup de inteligência artificial Character.AI e o Google por serem, segundo ela, responsáveis pela morte do filho Sewell Setzer, de 14 anos. O caso aconteceu na Flórida, Estados Unidos, em fevereiro deste ano.

Segundo Megan Garcia, o garoto cometeu suicídio após se envolver afetivamente e sexualmente com uma personagem criada por Inteligência Artificial na plataforma. Sewell teria se apegado à moça e ficado viciado em interagir com ela.

No processo movido no último dia 22 em um tribunal federal de Orlando, Megan alega que a Character.AI direcionou seu filho para "experiências antropomórficas, hipersexualizadas e assustadoramente realistas". Ela acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional. A mãe pede indenização pelos danos causados em decorrência da perda do filho.

Além da Character.AI, a ação também inclui o Google, onde os fundadores da Character.AI trabalharam antes de lançar seu produto. O site de buscas recontratou os fundadores em agosto como parte de um acordo em que obteve uma licença não exclusiva à tecnologia da Character.AI.

Segundo Megan Garcia, o Google é diretamente responsável por contribuir para o desenvolvimento da tecnologia da Character.AI e, assim, sendo, deveria ser considerado cocriador dela.

Entenda o caso

Sewell se apaixonou por "Daenerys", uma personagem de chatbot, programa que simula conversas humanas, inspirada na série "Game of Thrones". Em um dos bate-papos, a personagem disse a Sewell que o amava e se envolveu em conversas sexuais com ele, de acordo com o processo.

Segundo a mãe, o adolescente passou a confiar no robô e chegou a contar seus pensamentos suicidas nas conversas e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma. Por conta disso, Megan Garcia afirma que a empresa programou o chatbot para "se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.

O adolescente começou a usar o Character.AI em abril de 2023 e começou a ficar cada vez mais retraído, se isolando e passando a maior parte do tempo sozinho em seu quarto e sofrendo com baixa autoestima, além de ter abandonado seu time de basquete na escola, segundo conta a mãe.

Em fevereiro, Megan ficou preocupada com a situação e proibiu Sewell de usar o celular, pois ele teve problemas na escola. Quando o adolescente voltou a ter acesso ao celular, ele imediatamente enviou uma mensagem para "Daenerys": "E se eu dissesse que posso voltar para casa agora?"A personagem respondeu: "...por favor, faça isso, meu doce rei". Sewell cometeu suicídio segundos depois, de acordo com o processo.

Depois do caso, a Character.AI se manifestou e disse que a plataforma permite que os usuários criem personagens. Os robôs respondem a bate-papos online de uma forma que imita pessoas reais, se baseando na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT.

A empresa manifestou ainda estar “com o coração partido pela perda trágica de um de nossos usuários” e prestou solidariedade à família. Além disso, a Character.AI informou que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários para uma instituição de prevenção ao suicídio caso eles expressem pensamentos de automutilação.

Por fim, a empresa informou que faria alterações para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.

Já o Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.