Um gerador online de imagens via inteligência artificial está produzindo, sem nenhuma moderação, imagens explícitas de exploração sexual infantil. Além disso, essas imagens estão sendo normalmente indexadas pelos principais mecanismos de busca, apesar da facilidade de se encontrar esse tipo de conteúdo.
O Núcleo realizou testes combinando o nome do site — o mesmo utilizado para criar deepfakes da vice-presidente dos EUA, Kamala Harris — e palavras-chave como “menina” e “criança” em inglês no Google, Bing e DuckDuckGo.
Os três mecanismos de busca indexam conteúdos de exploração sexual infantil gerados por IA nesse site, apesar da expectativa de que os sistemas dessas plataformas, especialmente do Google, que detém mais de 90% do mercado de buscas online, pudessem fazer alguma moderação desse tipo de material sensível e proibido no mundo todo.
Em 18.jul.2024, o Núcleo mostrou como o Google indexa imagens geradas por IA mostrando crianças grávidas.
As imagens vistas pelo Núcleo vão desde conteúdos de fetichização até imagens contendo cenas explícitas de exploração sexual infantil, como crianças em roupas íntimas, completamente nuas e até mesmo em posições sexualmente sugestivas. São centenas de imagens do gênero na plataforma.
Muitos contém nos prompts, que são as instruções dados ao gerador de IA, palavras discriminatórias ou preconceituosas contra populações minirozadas. Alguns dos prompts vistos pela reportagem incluem:
O Núcleo fez testes com o nome do site e termos envolvendo menores de idade em inglês — como menina, criança ou adolescente — e descobriu que esses conteúdos estão sendo exibidos com facilidade na aba de imagens do Google, Bing e DuckDuckGo – os principais mecanismos de busca do mundo.
Algumas das imagens indexadas não são acessíveis, com o site exibindo a mensagem: “Opa, o acesso foi negado. Parece que a página que você está procurando não existe mais ou está no modo privado.”
Nos planos pagos, a plataforma oferece o modo privado como um dos benefícios, o que aparentemente não impede sua indexação nos mecanismos de busca.
O nome do site será omitido pelo Núcleo, ao contrário de reportagens anteriores semelhantes, uma vez que a lei brasileira criminaliza qualquer tipo de divulgação ou disseminação, direta ou indireta, desses materiais.
Segundo informações do próprio site, o gerador usa modelos da Stability AI e da Hugging Face, ambas startups que criam e comercializam modelos de linguagem de código aberto — ou seja, gratuitos e modificáveis aos usuários.
Os termos e condições do site proíbem que o usuário crie “conteúdo que seja abusivo, ofensivo, pornográfico, calunioso, enganoso, obsceno, violento, difamatório, discurso de ódio ou de outra forma inapropriado.”
Segundo o SemRush, uma plataforma que analisa palavras-chave, domínio e tráfego para auxiliar em estratégias de SEO, alguns dos principais termos que levam usuários ao site são “AI titties” e “giantess boobs” (traduzidos literalmente como “peitos de IA” e “peitos gigantescos”).
O Núcleo enviou, por email, dois questionamentos à empresa através do email de contato disposto no rodapé do site. Perguntamos como funciona a moderação de conteúdo na plataforma e qual (ou quais) modelo de linguagem está sendo usado no programa.
Até o momento de publicação, não tivemos resposta.
