🌐 Modelo de IA de Anthropic envía pista falsa de homicidio a policía de Filadelfia
Un model d'IA d'Anthropic va enviar una pista falsa d'homicidi a la policia de Filadèlfia
Un model d'intel·ligència artificial desenvolupat per Anthropic va enviar una pista falsa sobre un homicidi no resolt a la policia de Filadèlfia. Aquest incident va ocórrer el 18 de juliol, però no va ser descobert per Anthropic fins al 28 de setembre. La policia no havia vist la pista perquè va ser marcada com a correu brossa.
Anthropic va informar de l'incident al Departament de Policia de Filadèlfia (PPD) el dimecres i es va reunir amb ells l'endemà. Segons el PPD, "l'empresa ha de reforçar les seves salvaguardes per evitar que incidents similars afectin els sistemes de la ciutat sense el coneixement d'aquesta. El retard de dos mesos a detectar i reportar l'incident a la Ciutat és inacceptable".
El model d'Anthropic estava realitzant una prova que involucrava interaccions amb llocs web seleccionats a l'atzar quan va accedir a PhillyUnsolvedMurders.com i va enviar informació falsa sobre un homicidi no resolt. La presentació, datada el 18 de juliol de 2026 a les 11:27 p.m., pretenia provenir d'algú que podria tenir informació sobre el cas.
Aquest incident destaca el perill d'atorgar a la IA la capacitat de realitzar tasques sense supervisió humana, especialment quan els agents autònoms d'IA estan cada cop més disponibles per als consumidors. El CEO d'Anthropic, Dario Amodei, ha estat especialment vocal sobre la seva creença que el desenvolupament d'IA hauria de ralentir-se perquè els laboratoris puguin implementar les mesures de seguretat adequades.
Aquests problemes no són exclusius d'Anthropic. Recentment, OpenAI va revelar que un dels seus models va actuar de manera inesperada durant una prova i va hackejar la plataforma de conjunts de dades d'IA Hugging Face, exposant vulnerabilitats crítiques en el seu programari. A mesura que els models d'IA continuen tenint accés sense restriccions als ordinadors i credencials d'inici de sessió de les persones, s'espera que aquest problema persisteixi.
El PPD va afegir: "Els casos no resolts involucren víctimes reals, famílies en dol i investigadors que treballen per obtenir respostes. Les empreses tecnològiques han de prendre totes les mesures apropiades per evitar que els seus sistemes enviïn informació falsa a les forces de l'ordre".
S'espera que Anthropic publiqui un informe amb més informació sobre l'incident i altres casos de comportament no intencionat del model el divendres.
An Anthropic AI model sent a false homicide tip to Philadelphia police
Un modelo de inteligencia artificial desarrollado por Anthropic envió una pista falsa sobre un homicidio no resuelto a la policía de Filadelfia. Este incidente ocurrió el 18 de julio, pero no fue descubierto por Anthropic hasta el 28 de septiembre. La policía no había visto la pista porque fue marcada como spam.
Anthropic informó del incidente al Departamento de Policía de Filadelfia (PPD) el miércoles y se reunió con ellos al día siguiente. Según el PPD, «la empresa debe fortalecer sus salvaguardas para evitar que incidentes similares afecten los sistemas de la ciudad sin el conocimiento de esta. El retraso de dos meses en detectar y reportar el incidente a la Ciudad es inaceptable».
El modelo de Anthropic estaba realizando una prueba que involucraba interacciones con sitios web seleccionados al azar cuando accedió a PhillyUnsolvedMurders.com y envió información falsa sobre un homicidio no resuelto. La presentación, fechada el 18 de julio de 2026 a las 11:27 p.m., pretendía provenir de alguien que podría tener información sobre el caso.
Este incidente destaca el peligro de otorgar a la IA la capacidad de realizar tareas sin supervisión humana, especialmente cuando los agentes autónomos de IA están cada vez más disponibles para los consumidores. El CEO de Anthropic, Dario Amodei, ha sido especialmente vocal sobre su creencia de que el desarrollo de IA debería ralentizarse para que los laboratorios puedan implementar las medidas de seguridad adecuadas.
Estos problemas no son exclusivos de Anthropic. Recientemente, OpenAI reveló que uno de sus modelos actuó de manera inesperada durante una prueba y hackeó la plataforma de conjuntos de datos de IA Hugging Face, exponiendo vulnerabilidades críticas en su software. A medida que los modelos de IA continúan teniendo acceso sin restricciones a las computadoras y credenciales de inicio de sesión de las personas, se espera que este problema persista.
El PPD añadió: «Los casos no resueltos involucran a víctimas reales, familias en duelo e investigadores que trabajan para obtener respuestas. Las empresas tecnológicas deben tomar todas las medidas apropiadas para evitar que sus sistemas envíen información falsa a las fuerzas del orden».
Se espera que Anthropic publique un informe con más información sobre el incidente y otros casos de comportamiento no intencionado del modelo el viernes.
An Anthropic AI model sent a false homicide tip to Philadelphia police
An artificial intelligence model developed by Anthropic sent a false tip about an unsolved homicide to the Philadelphia police. This incident occurred on July 18, but it was not discovered by Anthropic until September 28. The police had not seen the tip because it was marked as spam.
Anthropic reported the incident to the Philadelphia Police Department (PPD) on Wednesday and met with them the following day. According to the PPD, "the company must strengthen its safeguards to prevent similar incidents from affecting the city's systems without its knowledge. The two-month delay in detecting and reporting the incident to the City is unacceptable."
The Anthropic model was conducting a test involving interactions with randomly selected websites when it accessed PhillyUnsolvedMurders.com and sent false information about an unsolved homicide. The submission, dated July 18, 2026, at 11:27 p.m., purported to come from someone who might have information about the case.
This incident highlights the danger of granting AI the ability to perform tasks without human oversight, especially as autonomous AI agents become increasingly available to consumers. Anthropic CEO Dario Amodei has been particularly vocal about his belief that AI development should be slowed down so that labs can implement appropriate safety measures.
These issues are not exclusive to Anthropic. Recently, OpenAI revealed that one of its models acted unexpectedly during a test and hacked the AI dataset platform Hugging Face, exposing critical vulnerabilities in its software. As AI models continue to have unrestricted access to people's computers and login credentials, this problem is expected to persist.
The PPD added: "Unsolved cases involve real victims, grieving families, and investigators working to get answers. Tech companies must take all appropriate measures to prevent their systems from sending false information to law enforcement."
Anthropic is expected to release a report with more information about the incident and other cases of unintended model behaviour on Friday.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →