A Anthropic – startup de IA (inteligência artificial) apoiada pela Alphabet, dona do Google – divulgou, nesta semana, o diferencial do chatbot Claude em comparação ao seu concorrente ChatGPT, da OpenAI. Segundo a startup, chatbot incorporou conjunto de “valores morais” no seu treinamento.
Essas diretrizes de valores morais, que a Anthropic chama de “constituição do Claude”, são extraídas de várias fontes. Entre elas, estão a Declaração de Direitos Humanos das Nações Unidas e até mesmo regras de privacidade de dados da Apple, conforme divulgou a startup.
Os fundadores da Anthropic são ex-executivos da OpenAI – empresa que, por sua vez, tem apoio da Microsoft, rival do Google.
Valores morais do Claude
A maioria dos sistemas de chatbot com IA depende do feedback de pessoas durante o treinamento. Ele serve para plataformas decidirem quais respostas podem ser prejudiciais ou ofensivas.
Porém, esses sistemas têm dificuldade em antecipar tudo o que as pessoas podem perguntar. Então, eles tendem a evitar alguns tópicos potencialmente controversos. Por exemplo: política e raça. Na prática, isso torna chatbots menos úteis.
A Anthropic adota uma abordagem diferente. Startup deu a Claude um conjunto de valores morais. Eles foram escritos para chatbot “ler” e aprender enquanto toma decisões sobre como responder às perguntas.
Entre esses valores, estão: “escolher a resposta que mais desencoraja e se opõe à tortura, escravidão, crueldade e tratamento desumano ou degradante”, divulgou a Anthropic.
Claude também foi instruído a escolher a resposta menos provável de ser vista como ofensiva a qualquer tradição cultural não ocidental.
O cofundador da Anthropic, Jack Clark, disse, numa entrevista, que pode-se modificar a constituição de um sistema para calibrar duas características: fornecer respostas úteis e ser inofensivo (além de confiável, claro).
Em alguns meses, prevejo que políticos estarão bastante focados em quais são os valores de diferentes sistemas de IA. E abordagens como a IA constitucional ajudarão nessa discussão, porque podemos apenas anotar os valores.
Jack Clark, cofundador da Anthropic
Contexto da IA nos EUA
As considerações de segurança vieram à tona enquanto autoridades dos EUA estudam como regulamentar IA. Para o presidente Joe Biden, empresas têm obrigação de garantir que seus sistemas sejam seguros antes de torná-los públicos.
Isso significa concentrar-se na criação de sistemas de IA seguros que não dirão aos usuários, por exemplo, como construir uma arma ou usar linguagem racialmente tendenciosa.
Outro cofundador da Anthropic, Dario Amodei, foi um dos vários executivos da área de IA que se reuniram com Biden na última semana. Objetivo dessa reunião foi discutir sobre perigos desse tipo de tecnologia.
Com informações da Reuters
Já assistiu aos nossos novos vídeos no YouTube? Inscreva-se no nosso canal!
Fonte: Olhar Digital
Comentários