A OpenAI, startup que criou o ChatGPT, anunciou hoje a criação de uma nova equipe dedicada a avaliar, analisar e investigar modelos de inteligência artificial (IA) para proteger contra o que descreve como “riscos catastróficos”. A equipe de Preparedness (algo como “prevenção”) será liderada por Aleksander Madry, diretor do Centro de Aprendizado Máquina Implementável do MIT.
Madry ingressou na OpenAI em maio como “diretor de Preparedness”, de acordo com o LinkedIn. As principais responsabilidades da equipe serão rastrear, prever e proteger contra os perigos dos futuros sistemas de IA, que vão desde sua capacidade de persuadir e enganar humanos (como em ataques de phishing) até suas capacidades de geração de código malicioso.
Algumas das categorias de risco que o grupo foi encarregado de estudar parecem mais distantes do que outras. Por exemplo, em um post no blog, a OpenAI lista ameaças “químicas, biológicas, radiológicas e nucleares” como áreas de grande preocupação quando se trata de modelos de IA. O CEO da OpenAI, Sam Altman, é conhecido por expressar preocupações sobre a IA, muitas vezes mencionando que a IA “pode levar à extinção humana”, seja por razões de imagem ou convicção pessoal.
A OpenAI afirma que a equipe também será encarregada de formular uma “política de desenvolvimento informada por riscos”, que detalhará a abordagem da OpenAI para a construção de avaliações de modelos de IA e ferramentas de monitoramento, as ações de mitigação de riscos da empresa e sua estrutura de governança para supervisão ao longo do processo de desenvolvimento do modelo.
Isso visa complementar o trabalho da OpenAI na disciplina da segurança da IA, com foco nas fases pré e pós-implantação do modelo.
Acreditamos que modelos de IA, que excederão as capacidades atualmente presentes nos modelos mais avançados existentes, têm o potencial de beneficiar toda a humanidade. Mas também apresentam riscos cada vez mais graves… Precisamos garantir que tenhamos o entendimento e a infraestrutura necessários para a segurança de sistemas de IA altamente capazes.
OpenAI em post de blog
O lançamento ocorre durante uma importante cúpula do governo do Reino Unido sobre segurança da IA, o que não parece ser uma coincidência. Isso vem após a OpenAI anunciar que formaria uma equipe para estudar, direcionar e controlar formas emergentes de IA “superinteligente”.
Altman acredita, juntamente com Ilya Sutskever, cientista-chefe da OpenAI e co-fundador, que a IA com inteligência superior à dos humanos poderá surgir dentro da próxima década e que essa IA não necessariamente será benevolente, tornando necessário pesquisas sobre maneiras de limitá-la e controlá-la.
OpenAI oferece recompensa por ideias
Fonte: Olhar Digital
Comentários