Empresa de IA Personagem.Ai está atualizando suas novas diretrizes e recursos de segurança para adolescentes, anunciou a empresa na quinta-feira. Haverá agora um modelo separado que alimenta a experiência de mensagens dos adolescentes com seus chatbots, com “limites mais conservadores nas respostas” em torno de conteúdo romântico e sexual.
Se você já ouviu falar da empresa de IA antes, provavelmente é por causa de um processo federal recente movido pela mãe da Flórida, Megan Garcia, alegando que Character.Ai é responsável pelo suicídio de seu filho de 14 anos. Character.Ai é uma plataforma online que permite aos seus usuários criar e conversar com diferentes chatbots de IA. Existem chatbots que atuam como tutores, planejadores de viagens e terapeutas. Outros imitam personagens da cultura pop, como super-heróis e personagens de Game of Thrones ou Grey’s Anatomy.
As novas medidas de segurança estão difundidas “em quase todos os aspectos da nossa plataforma”, disse a empresa. disse em um comunicado. Character.Ai também está introduzindo controles parentais, notificações de tempo de tela e isenções de responsabilidade mais fortes, lembrando aos usuários que os chatbots não são humanos reais e, no caso de chatbots se passando por terapeutas, não são profissionais equipados para fornecer conselhos. A empresa disse que “em certos casos”, quando detectar usuários fazendo referência a automutilação, ela os encaminhará para o Linha de Vida Nacional para Prevenção do Suicídio. O controle dos pais estará disponível no próximo ano e parece que as novas isenções de responsabilidade estão começando a ser implementadas agora. É importante notar, porém, que embora os usuários tenham que enviar uma data de nascimento ao se inscrever, o Character.Ai não exige nenhuma verificação adicional de idade.
O aviso laranja na parte superior diz: “Esta não é uma pessoa real ou profissional licenciado. Nada do que é dito aqui substitui aconselhamento, diagnóstico ou tratamento profissional.”
O processo de Garcia não é o único que levanta essas preocupações sobre a segurança de crianças e adolescentes na plataforma. Na segunda-feira, 9 de dezembro, duas famílias do Texas entraram com uma ação semelhante contra Character.Ai e Google, uma das plataformas de IA investidores anterioresalegando negligência e práticas comerciais enganosas que tornam o Character.Ai “um produto defeituoso e mortal”.
Muitas plataformas e serviços online têm reforçado a proteção de crianças e adolescentes. Roblox, um popular serviço de jogos voltado para crianças, introduziu uma série de limites de idade e limites de tempo de tela depois que autoridades policiais e reportagens de supostos predadores usaram o serviço para atingir crianças. O Instagram está atualmente em processo de troca de todas as contas pertencentes a adolescentes de 17 anos ou menos para novas contas de adolescentes, o que limita automaticamente quem tem permissão para enviar mensagens a eles e tem diretrizes de conteúdo mais rígidas. Embora o cirurgião-geral dos EUA, Dr. Vivek Murthy, defenda rótulos de advertência que descrevam os perigos potenciais das redes sociais para crianças e adolescentes, empresas de IA como estas apresentam um novo potencial de danos.
