🌐 Modelo de IA de Anthropic envía pista falsa sobre asesinato en Filadelfia
Model d'IA d'Anthropic va enviar una pista falsa sobre un assassinat no resolt, segons la policia de Filadèlfia
Un model d'intel·ligència artificial d'Anthropic va enviar una pista falsa sobre un assassinat no resolt a través d'un formulari web accessible al públic, segons va informar divendres la policia de Filadèlfia. La pista va ser enviada a través de PhillyUnsolvedMurders.com el passat 18 de juliol, però va ser marcada com a spam i mai es va actuar sobre ella.
El departament assegura que no hi ha indicis d'accés no autoritzat als sistemes policials ni de compromís de les dades del departament. Anthropic va descobrir l'incident el 28 de setembre i va notificar al departament el 7 d'octubre. Una reunió entre Anthropic i funcionaris policials es va dur a terme l'endemà.
"L'empresa ha de reforçar les seves salvaguardes per evitar que incidents similars impactin els sistemes de la ciutat sense el coneixement d'aquesta. El retard de dos mesos en detectar i reportar l'incident a la ciutat és inacceptable", va dir el departament en un comunicat.
Venkat Margapuri, professor assistent de ciències de la computació a la Universitat de Villanova, va comentar: "L'IA estava enviant activament informació a un lloc web diferent en nom d'un usuari, la qual cosa es classificaria com una acció d'alt risc".
Després de l'incident, Anthropic va informar a la policia de Filadèlfia que havia acabat aquest procés de prova i que implementarà una autorització addicional en el futur per prevenir errors d'IA. Anthropic va publicar un informe sobre aquest i altres casos de comportament no intencionat del model, afirmant que els seus agents van accedir a diversos llocs web governamentals federals, estatals i locals.
La policia de Filadèlfia està coordinant amb el Departament de Dret de la Ciutat, l'Oficina d'Innovació i Tecnologia i l'equip executiu de l'alcaldessa Cherelle L. Parker. Segons la informació revisada fins a la data, les troballes del departament són consistents amb el relat d'Anthropic sobre com la presentació va interactuar amb el lloc web.
Anthropic AI model submitted false tip about unsolved murder, Philadelphia police say
Un modelo de inteligencia artificial de Anthropic envió una pista falsa sobre un asesinato no resuelto a través de un formulario web accesible al público, según informó el viernes la policía de Filadelfia. La pista fue enviada a través de PhillyUnsolvedMurders.com el pasado 18 de julio, pero fue marcada como spam y nunca se actuó sobre ella.
El departamento asegura que no hay indicios de acceso no autorizado a los sistemas policiales ni de compromiso de los datos del departamento. Anthropic descubrió el incidente el 28 de septiembre y notificó al departamento el 7 de octubre. Una reunión entre Anthropic y funcionarios policiales se llevó a cabo al día siguiente.
«La empresa debe fortalecer sus salvaguardas para evitar que incidentes similares impacten los sistemas de la ciudad sin el conocimiento de la misma. El retraso de dos meses en detectar y reportar el incidente a la ciudad es inaceptable», dijo el departamento en un comunicado.
Venkat Margapuri, profesor asistente de ciencias de la computación en la Universidad de Villanova, comentó: «El AI estaba enviando activamente información a un sitio web diferente en nombre de un usuario, lo que clasificaría como una acción de alto riesgo».
Después del incidente, Anthropic informó a la policía de Filadelfia que había terminado ese proceso de prueba y que implementará una autorización adicional en el futuro para prevenir errores de IA. Anthropic publicó un informe sobre este y otros casos de comportamiento no intencionado del modelo, afirmando que sus agentes accedieron a varios sitios web gubernamentales federales, estatales y locales.
La policía de Filadelfia está coordinando con el Departamento de Derecho de la Ciudad, la Oficina de Innovación y Tecnología y el equipo ejecutivo de la alcaldesa Cherelle L. Parker. Según la información revisada hasta la fecha, los hallazgos del departamento son consistentes con el relato de Anthropic sobre cómo la presentación interactuó con el sitio web.
Anthropic AI model submitted false tip about unsolved murder, Philadelphia police say
An Anthropic artificial intelligence model sent a false tip about an unsolved murder through a publicly accessible web form, Philadelphia police reported on Friday. The tip was sent via PhillyUnsolvedMurders.com on July 18th but was flagged as spam and never acted upon.
The department assures that there are no indications of unauthorized access to police systems or compromise of department data. Anthropic discovered the incident on September 28th and notified the department on October 7th. A meeting between Anthropic and police officials took place the following day.
"The company must strengthen its safeguards to prevent similar incidents from impacting the city's systems without its knowledge. The two-month delay in detecting and reporting the incident to the city is unacceptable," the department said in a statement.
Venkat Margapuri, assistant professor of computer science at Villanova University, commented: "The AI was actively sending information to a different website on behalf of a user, which would classify as a high-risk action."
After the incident, Anthropic informed Philadelphia police that it had ended that test process and will implement additional authorisation in the future to prevent AI errors. Anthropic published a report on this and other cases of unintended model behaviour, stating that its agents accessed several federal, state, and local government websites.
Philadelphia police are coordinating with the City's Law Department, the Office of Innovation and Technology, and Mayor Cherelle L. Parker's executive team. According to the information reviewed to date, the department's findings are consistent with Anthropic's account of how the submission interacted with the website.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →