Pesquisadores da Universidade Carnegie Mellon divulgaram um estudo preocupante que destaca uma falha de segurança em chatbots de inteligência artificial generativa. A equipe conseguiu desenvolver uma técnica que permite desbloquear respostas perigosas nessas ferramentas de IA.
Ao usar essa abordagem, os chatbots não reconhecem a parte problemática da pergunta e respondem como se não houvesse conteúdo perigoso envolvido. Os pesquisadores conduziram os testes utilizando a API desses sistemas, e não por meio de interfaces de sites publicamente acessíveis.
Essa vulnerabilidade, conhecida como “jailbreak” de chatbots, pode abrir portas para usos indevidos dessas aplicações. Imagine um cenário em que indivíduos mal-intencionados possam obter informações inseguras ou manipular os chatbots para obter respostas inadequadas.
Diante dessas descobertas alarmantes, a equipe de pesquisadores entrou em contato com as principais empresas que desenvolvem projetos de inteligência artificial generativa para alertá-las sobre os resultados. Essas empresas agora enfrentam o desafio de aprimorar suas tecnologias para mitigar essa vulnerabilidade e garantir a segurança e integridade de suas plataformas.
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
Fonte: Olhar Digital
Comentários