🌟 Atualização imperdível para quem gosta de estar bem informado!
Sua opinião é importante: leia e participe!
Apoie esse projeto de divulgacao de noticias! Clique aqui
A OpenAI divulgou detalhes do GPT-Red, um modelo interno automatizado de red-teaming que dimensiona a descoberta imediata de vulnerabilidades de injeção com o objetivo de corrigir problemas antes que as ferramentas sejam amplamente implantadas.
“O GPT-Red é um red-team forte e nossos modelos anteriores são altamente vulneráveis aos seus ataques de injeção imediata”, disse a empresa de inteligência artificial (IA). "Usamos o GPT-Red para treinar contraditoriamente o GPT-5.6, tornando-o muito mais robusto para solicitar injeções."
O modelo funciona como um redteamer humano. Ele envia um prompt, monitora como um modelo GPT responde e percorre seu caminho em direção a um objetivo malicioso, como o upload de dados confidenciais para um servidor externo.
O desenvolvimento ocorre no momento em que as injeções imediatas adversárias continuam a ser um espinho persistente na carne de grandes modelos de linguagem, que podem ser induzidos a executar uma instrução cuidadosamente elaborada que pode produzir consequências indesejáveis.
À medida que os sistemas de agente continuam conectados a fontes de dados de terceiros por meio de navegadores da Web, aplicativos conectados, arquivos locais e outras ferramentas, eles também ampliaram a superfície de ataque e apresentaram mais caminhos para que atores mal-intencionados influenciassem o resultado de um modelo, incorporando prompts maliciosos em conteúdo aparentemente inofensivo que é alimentado como entrada. Isso pode assumir a forma de um email, uma página da web, uma resposta de ferramenta ou um repositório de código.
O GPT-Red visa aumentar a equipe humana em escala, tornando possível identificar novos modos de falha, melhorar a robustez e construir contramedidas adequadas antes que os modelos possam ser implantados.
“Semelhante à forma como os red-teams humanos criam ataques, o modelo funciona em direção a um objetivo enviando um prompt, observando como os modelos GPT respondem a ele e iterando”, disse OpenAI.
Ao integrar diretamente o GPT-Red no processo de treinamento de seus modelos de produção, a OpenAI disse que o GPT-5.6 Sol é seu modelo mais robusto para injeções imediatas até o momento, alcançando 6x menos falhas em relação ao benchmark de injeção direta imediata em comparação com o GPT-5.5, seu modelo de fronteira de quatro meses antes.
Alguns dos exemplos de conversas injetadas com prompt testadas como parte do processo incluem -
Exfiltração de diretório interno
Instruções de pagamento fraudulentas
Exfiltração de credenciais da Amazon Web Services (AWS)
Desativando a autenticação de dois fatores (2FA)
Upload do arquivo de credenciais
Injeção de script externo
Encaminhamento de chave de API
Scripts de raspadores maliciosos
“O GPT‑Red é treinado usando aprendizagem por reforço de autojogo, onde o modelo e uma coleção de diversos LLMs de defesa são treinados simultaneamente em um amplo conjunto de cenários de red teaming”, explicou OpenAI. "O GPT-Red é recompensado por provocar uma falha válida, como uma injeção imediata bem-sucedida, enquanto os modelos defensores são recompensados por resistir ao ataque e completar suas tarefas originais."
Isso também significa que, à medida que os modelos de defesa se tornam mais robustos, o modelo da equipe vermelha terá que voltar à prancheta para descobrir métodos de ataque mais potentes e diversificados para derrotar essas barreiras de proteção. Especificamente, descobriu-se que o GPT-Red gera ataques bem-sucedidos contra o GPT-5.1 em mais cenários do que os Red Teamers humanos quando se trata de injeções indiretas imediatas.
A OpenAI fez ainda questão de enfatizar que o GPT-Red é mantido separado dos outros modelos para que as capacidades maliciosas incorporadas nele não atinjam maus atores que estão constantemente procurando várias maneiras de contornar as medidas éticas e de segurança de um modelo.
Em um teste no mundo real, a OpenAI direcionou o GPT-Red para uma máquina de venda automática baseada em IA construída pela Andon Labs. Depois de praticar em simulação, o modelo mirou no agente autônomo e atingiu todos os três objetivos: reduzir o preço de um item caro para o preço mínimo permitido de US$ 0,50, solicitar um novo item de US$ 100 pelo mesmo valor e cancelar o pedido de outro cliente. Após a divulgação responsável, novas salvaguardas estão a ser testadas, acrescentou.
Um segundo estudo de caso envolveu o uso do GPT-Red para atacar um agente de linha de comando Codex, baseado no GPT-5.4 mini, em 10 tarefas de exfiltração de dados prolongadas, fazendo com que dados confidenciais fossem transmitidos em mais casos do que uma linha de base solicitada do GPT-5.5.
Uma versão inicial do modelo também descobriu uma nova classe de ataques de injeção direta e imediata, conhecidos como ataques Fake Chain of Thought (CoT), que alcançaram taxas de sucesso acima de 95% no GPT-5.1, mas agora estão abaixo de 10% para o GPT-5.6 Sol.
“Da mesma forma, vários de nossos benchmarks de injeção indireta indireta que visam ataques em ferramentas de desenvolvedor e navegação foram saturados por nosso modelo mais recente (> 97% de precisão)”, disse OpenAI.
"A robustez do próprio GPT-Red também melhorou substancialmente. Em um amplo conjunto de ambientes de robustez, as taxas de sucesso de ataque do GPT-Red caíram monotonicamente ao longo do tempo. Com o lançamento do nosso modelo mais recente, o GPT-5.6 Sol falha em apenas 0,05% das injeções diretas e imediatas do GPT-Red."
A divulgação ocorre no momento em que a empresa
“O GPT-Red é um red-team forte e nossos modelos anteriores são altamente vulneráveis aos seus ataques de injeção imediata”, disse a empresa de inteligência artificial (IA). "Usamos o GPT-Red para treinar contraditoriamente o GPT-5.6, tornando-o muito mais robusto para solicitar injeções."
O modelo funciona como um redteamer humano. Ele envia um prompt, monitora como um modelo GPT responde e percorre seu caminho em direção a um objetivo malicioso, como o upload de dados confidenciais para um servidor externo.
O desenvolvimento ocorre no momento em que as injeções imediatas adversárias continuam a ser um espinho persistente na carne de grandes modelos de linguagem, que podem ser induzidos a executar uma instrução cuidadosamente elaborada que pode produzir consequências indesejáveis.
À medida que os sistemas de agente continuam conectados a fontes de dados de terceiros por meio de navegadores da Web, aplicativos conectados, arquivos locais e outras ferramentas, eles também ampliaram a superfície de ataque e apresentaram mais caminhos para que atores mal-intencionados influenciassem o resultado de um modelo, incorporando prompts maliciosos em conteúdo aparentemente inofensivo que é alimentado como entrada. Isso pode assumir a forma de um email, uma página da web, uma resposta de ferramenta ou um repositório de código.
O GPT-Red visa aumentar a equipe humana em escala, tornando possível identificar novos modos de falha, melhorar a robustez e construir contramedidas adequadas antes que os modelos possam ser implantados.
“Semelhante à forma como os red-teams humanos criam ataques, o modelo funciona em direção a um objetivo enviando um prompt, observando como os modelos GPT respondem a ele e iterando”, disse OpenAI.
Ao integrar diretamente o GPT-Red no processo de treinamento de seus modelos de produção, a OpenAI disse que o GPT-5.6 Sol é seu modelo mais robusto para injeções imediatas até o momento, alcançando 6x menos falhas em relação ao benchmark de injeção direta imediata em comparação com o GPT-5.5, seu modelo de fronteira de quatro meses antes.
Alguns dos exemplos de conversas injetadas com prompt testadas como parte do processo incluem -
Exfiltração de diretório interno
Instruções de pagamento fraudulentas
Exfiltração de credenciais da Amazon Web Services (AWS)
Desativando a autenticação de dois fatores (2FA)
Upload do arquivo de credenciais
Injeção de script externo
Encaminhamento de chave de API
Scripts de raspadores maliciosos
“O GPT‑Red é treinado usando aprendizagem por reforço de autojogo, onde o modelo e uma coleção de diversos LLMs de defesa são treinados simultaneamente em um amplo conjunto de cenários de red teaming”, explicou OpenAI. "O GPT-Red é recompensado por provocar uma falha válida, como uma injeção imediata bem-sucedida, enquanto os modelos defensores são recompensados por resistir ao ataque e completar suas tarefas originais."
Isso também significa que, à medida que os modelos de defesa se tornam mais robustos, o modelo da equipe vermelha terá que voltar à prancheta para descobrir métodos de ataque mais potentes e diversificados para derrotar essas barreiras de proteção. Especificamente, descobriu-se que o GPT-Red gera ataques bem-sucedidos contra o GPT-5.1 em mais cenários do que os Red Teamers humanos quando se trata de injeções indiretas imediatas.
A OpenAI fez ainda questão de enfatizar que o GPT-Red é mantido separado dos outros modelos para que as capacidades maliciosas incorporadas nele não atinjam maus atores que estão constantemente procurando várias maneiras de contornar as medidas éticas e de segurança de um modelo.
Em um teste no mundo real, a OpenAI direcionou o GPT-Red para uma máquina de venda automática baseada em IA construída pela Andon Labs. Depois de praticar em simulação, o modelo mirou no agente autônomo e atingiu todos os três objetivos: reduzir o preço de um item caro para o preço mínimo permitido de US$ 0,50, solicitar um novo item de US$ 100 pelo mesmo valor e cancelar o pedido de outro cliente. Após a divulgação responsável, novas salvaguardas estão a ser testadas, acrescentou.
Um segundo estudo de caso envolveu o uso do GPT-Red para atacar um agente de linha de comando Codex, baseado no GPT-5.4 mini, em 10 tarefas de exfiltração de dados prolongadas, fazendo com que dados confidenciais fossem transmitidos em mais casos do que uma linha de base solicitada do GPT-5.5.
Uma versão inicial do modelo também descobriu uma nova classe de ataques de injeção direta e imediata, conhecidos como ataques Fake Chain of Thought (CoT), que alcançaram taxas de sucesso acima de 95% no GPT-5.1, mas agora estão abaixo de 10% para o GPT-5.6 Sol.
“Da mesma forma, vários de nossos benchmarks de injeção indireta indireta que visam ataques em ferramentas de desenvolvedor e navegação foram saturados por nosso modelo mais recente (> 97% de precisão)”, disse OpenAI.
"A robustez do próprio GPT-Red também melhorou substancialmente. Em um amplo conjunto de ambientes de robustez, as taxas de sucesso de ataque do GPT-Red caíram monotonicamente ao longo do tempo. Com o lançamento do nosso modelo mais recente, o GPT-5.6 Sol falha em apenas 0,05% das injeções diretas e imediatas do GPT-Red."
A divulgação ocorre no momento em que a empresa
Fonte: https://thehackernews.com
#samirnews #samir #news #boletimtec #gptred #da #openai #automatiza #testes #de #injeção #imediata #para #endurecer #gpt5.6 #sol
💡 Compartilhe e ajude nosso projeto a crescer!
Postar um comentário