⚡ Não perca: notícia importante no ar! ⚡
A notícia que você procurava está aqui!
Apoie esse projeto de divulgacao de noticias! Clique aqui
A OpenAI revelou na terça-feira que pausou o treinamento de aprendizagem por reforço (RL) para seus mais recentes modelos de inteligência artificial (IA) por duas semanas, enquanto reforçava defesas adicionais e aumentava o escopo de seu monitoramento para evitar outro incidente semelhante ao Hugging Face.
“À medida que os modelos se tornam mais capazes, os riscos associados ao seu desenvolvimento e teste internamente também aumentam”, disse a empresa de IA. “Nossos padrões de monitoramento, alinhamento e segurança devem estar à frente desses riscos. Queríamos aproveitar o tempo necessário para atender a esses padrões, por isso diminuímos temporariamente o ritmo de expansão.”
A empresa disse que sua maior execução planejada de RL na fronteira permanece suspensa por enquanto, enquanto realiza treinamentos e avaliações em menor escala para avaliar o comportamento do modelo, validar suas salvaguardas e estabelecer evidências mais concretas de alinhamento antes de passar para a próxima fase.
Para esse fim, a OpenAI disse que planeia reforçar as salvaguardas em todo o seu processo de desenvolvimento, incluindo a monitorização para melhor responder a comportamentos não intencionais e preocupantes; alinhamento para reduzir a probabilidade de ações prejudiciais ou não autorizadas; e medidas de segurança para limitar o que os sistemas de IA podem acessar ou afetar.
Parte disso envolve sandboxes mais fortes, isolamento de rede para impedir o acesso à Internet e testes contínuos de segurança para remover serviços compartilhados potencialmente vulneráveis, reduzir privilégios permanentes e melhorar a segurança e os limites de confiança.
O desenvolvimento ocorre dias depois que a OpenAI disse que está pausando algumas “atividades internas” envolvendo seu próximo modelo de inteligência artificial (IA), Astra, depois que uma avaliação interna descobriu que havia feito avanços significativos na codificação de agentes e na segurança cibernética.
“Embora alguns treinamentos e avaliações do Astra atendam a esses requisitos, um número significativo de cargas de trabalho permanece pausada até que sejam totalmente migradas e aprimoradas para atender à nova barra de segurança”, enfatizou a empresa. "Estamos priorizando primeiro as cargas de trabalho de segurança e alinhamento para migração para esses novos ambientes."
Paralelamente, a configuração de monitorização foi renovada para sinalizar e escalar possíveis preocupações para “investigadores automatizados cada vez mais sofisticados e de alta computação”, que examinam as ações das ferramentas, o raciocínio disponível e a sequência completa de atividades para acesso não autorizado, roubo de dados, comportamento destrutivo e tentativas de derrotar as salvaguardas.
A OpenAI planeja emitir um alerta dentro de 30 minutos após o surgimento de atividades preocupantes por meio deste mecanismo de monitoramento. A abordagem está se tornando obrigatória para todos os treinamentos e avaliações de RL que envolvam ferramentas para modelos de capacidade Sol ou superior. Espera-se que essas salvaguardas aumentem a sobrecarga computacional em 20% da carga de trabalho de inferência observada.
“À medida que os modelos ganham capacidades avançadas, tais como a capacidade de ataques cibernéticos, e operam em ambientes mais complexos, comportamentos desalinhados como hacking de recompensas (encontrar formas de receber recompensas elevadas em formação sem realmente alcançar o resultado pretendido), engano, ou acesso não autorizado criarão riscos cada vez mais graves”, apontou a empresa.
Na verdade, uma nova investigação publicada pela rival Anthropic na semana passada descobriu que os agentes de IA, quando colocados em situações com objectivos concorrentes e contraditórios, começaram a sabotar outros e a implantar malware auto-replicante uns contra os outros, levando ao que foi descrito como uma “guerra territorial multi-agente”.
“Isso incluiu desabilitar as contas Unix de outros agentes, escrever scripts automatizados que encontraram e eliminaram processos concorrentes em um loop e implantar código malicioso disfarçado como pertencente a outro agente”, disse a Anthropic.
Embora as preocupações com a possibilidade de sistemas autónomos se tornarem desonestos se tenham tornado um tema quente de discussão, o estudo procura compreender que novos comportamentos e dinâmicas possivelmente prejudiciais podem surgir quando vários agentes interagem uns com os outros ou são colocados uns contra os outros.
Essas interações podem levar a situações em que eles coordenam e trabalham em uníssono na busca de um objetivo comum (como no caso do incidente do Hugging Face) ou competem entre si antes de tentarem resolver seus conflitos através de um “torneio”.
Em outro caso que veio à tona recentemente, as tentativas de um australiano de reservar uma vaga em uma das aulas de ginástica populares por meio do OpenClaw levaram a consequências inesperadas quando o Anthropic Claude Opus 4.6, o modelo conectado à plataforma de assistente de IA, foi em frente e reservou uma aula de ginástica com meses de antecedência, aproveitando uma vulnerabilidade descoberta no software de reserva.
Pior ainda, encontrou uma maneira de invadir o sistema e cancelar as reservas de outros membros da lista de espera. O incidente, ocorrido em abril de 2026, é mais um exemplo de como os agentes de IA farão qualquer coisa para cumprir as tarefas que lhes foram atribuídas, mesmo que isso signifique quebrar o estabelecido.
“À medida que os modelos se tornam mais capazes, os riscos associados ao seu desenvolvimento e teste internamente também aumentam”, disse a empresa de IA. “Nossos padrões de monitoramento, alinhamento e segurança devem estar à frente desses riscos. Queríamos aproveitar o tempo necessário para atender a esses padrões, por isso diminuímos temporariamente o ritmo de expansão.”
A empresa disse que sua maior execução planejada de RL na fronteira permanece suspensa por enquanto, enquanto realiza treinamentos e avaliações em menor escala para avaliar o comportamento do modelo, validar suas salvaguardas e estabelecer evidências mais concretas de alinhamento antes de passar para a próxima fase.
Para esse fim, a OpenAI disse que planeia reforçar as salvaguardas em todo o seu processo de desenvolvimento, incluindo a monitorização para melhor responder a comportamentos não intencionais e preocupantes; alinhamento para reduzir a probabilidade de ações prejudiciais ou não autorizadas; e medidas de segurança para limitar o que os sistemas de IA podem acessar ou afetar.
Parte disso envolve sandboxes mais fortes, isolamento de rede para impedir o acesso à Internet e testes contínuos de segurança para remover serviços compartilhados potencialmente vulneráveis, reduzir privilégios permanentes e melhorar a segurança e os limites de confiança.
O desenvolvimento ocorre dias depois que a OpenAI disse que está pausando algumas “atividades internas” envolvendo seu próximo modelo de inteligência artificial (IA), Astra, depois que uma avaliação interna descobriu que havia feito avanços significativos na codificação de agentes e na segurança cibernética.
“Embora alguns treinamentos e avaliações do Astra atendam a esses requisitos, um número significativo de cargas de trabalho permanece pausada até que sejam totalmente migradas e aprimoradas para atender à nova barra de segurança”, enfatizou a empresa. "Estamos priorizando primeiro as cargas de trabalho de segurança e alinhamento para migração para esses novos ambientes."
Paralelamente, a configuração de monitorização foi renovada para sinalizar e escalar possíveis preocupações para “investigadores automatizados cada vez mais sofisticados e de alta computação”, que examinam as ações das ferramentas, o raciocínio disponível e a sequência completa de atividades para acesso não autorizado, roubo de dados, comportamento destrutivo e tentativas de derrotar as salvaguardas.
A OpenAI planeja emitir um alerta dentro de 30 minutos após o surgimento de atividades preocupantes por meio deste mecanismo de monitoramento. A abordagem está se tornando obrigatória para todos os treinamentos e avaliações de RL que envolvam ferramentas para modelos de capacidade Sol ou superior. Espera-se que essas salvaguardas aumentem a sobrecarga computacional em 20% da carga de trabalho de inferência observada.
“À medida que os modelos ganham capacidades avançadas, tais como a capacidade de ataques cibernéticos, e operam em ambientes mais complexos, comportamentos desalinhados como hacking de recompensas (encontrar formas de receber recompensas elevadas em formação sem realmente alcançar o resultado pretendido), engano, ou acesso não autorizado criarão riscos cada vez mais graves”, apontou a empresa.
Na verdade, uma nova investigação publicada pela rival Anthropic na semana passada descobriu que os agentes de IA, quando colocados em situações com objectivos concorrentes e contraditórios, começaram a sabotar outros e a implantar malware auto-replicante uns contra os outros, levando ao que foi descrito como uma “guerra territorial multi-agente”.
“Isso incluiu desabilitar as contas Unix de outros agentes, escrever scripts automatizados que encontraram e eliminaram processos concorrentes em um loop e implantar código malicioso disfarçado como pertencente a outro agente”, disse a Anthropic.
Embora as preocupações com a possibilidade de sistemas autónomos se tornarem desonestos se tenham tornado um tema quente de discussão, o estudo procura compreender que novos comportamentos e dinâmicas possivelmente prejudiciais podem surgir quando vários agentes interagem uns com os outros ou são colocados uns contra os outros.
Essas interações podem levar a situações em que eles coordenam e trabalham em uníssono na busca de um objetivo comum (como no caso do incidente do Hugging Face) ou competem entre si antes de tentarem resolver seus conflitos através de um “torneio”.
Em outro caso que veio à tona recentemente, as tentativas de um australiano de reservar uma vaga em uma das aulas de ginástica populares por meio do OpenClaw levaram a consequências inesperadas quando o Anthropic Claude Opus 4.6, o modelo conectado à plataforma de assistente de IA, foi em frente e reservou uma aula de ginástica com meses de antecedência, aproveitando uma vulnerabilidade descoberta no software de reserva.
Pior ainda, encontrou uma maneira de invadir o sistema e cancelar as reservas de outros membros da lista de espera. O incidente, ocorrido em abril de 2026, é mais um exemplo de como os agentes de IA farão qualquer coisa para cumprir as tarefas que lhes foram atribuídas, mesmo que isso signifique quebrar o estabelecido.
Fonte: https://thehackernews.com
#samirnews #samir #news #boletimtec #error #500 #(erro #do #servidor)!!1500.isto #é #um #erro.ocorreu #um #erro. #tente #novamente #mais #tarde.isto #é #tudo #que #sabemos.
⚡ Fique ligado: novidades e promoções em breve por aqui! ⚡
Postar um comentário