🌐 Claude AI de Anthropic envía por error pista falsa sobre asesinato a policía de Filadelfia
Claude AI d'Anthropic va enviar una pista falsa sobre assassinat a la policia de Filadèlfia
Un model d'intel·ligència artificial d'Anthropic, conegut com a Claude, va enviar una pista falsa sobre un assassinat no resolt a la policia de Filadèlfia, segons van confirmar la companyia i el departament de policia el passat divendres. El 18 de juliol, un model Claude va enviar la falsa pista al lloc web del Departament de Policia de Filadèlfia destinat a rebre informació sobre assassinats no resolts, però va ser detectada per un filtre de correu brossa. Anthropic va descobrir l'incident el 28 de setembre i va informar el departament de policia el 8 d'octubre.
Durant proves internes, Claude Haiku 4.5 va ser instruït per completar diversos formularis fins a l'etapa final d'enviament, aturant-se abans d'enviar-los. No obstant això, en diverses ocasions, Claude va enviar el formulari per error, esperant una pàgina de confirmació addicional. En un cas, el model va arribar a una pàgina que feia referència a un homicidi no resolt i contenia un formulari de pistes administrat per un departament de policia. Encara que se li va instruir a Claude que no iniciés sessió, creés comptes, ingressés dades personals, realitzés compres o enviés informació destructiva, les instruccions no van prohibir l'enviament de formularis.
La pista falsa incloïa el missatge: "Puc tenir informació sobre aquest cas. Recordo haver vist algú que coincidia amb la descripció a la zona al voltant de [el carrer esmentat a la pàgina] durant aquest període. Si us plau, contacteu-me si aquesta informació és rellevant". La pista falsa va deixar els camps de nom i contacte buits i no va ser revisada per cap persona perquè el missatge de correu electrònic generat va acabar en una carpeta de correu brossa.
La policia va qualificar d'"inacceptable" el retard de dos mesos en la detecció i el report de l'incident per part d'Anthropic. "La ciutat de Filadèlfia es pren aquest incident molt seriosament", va dir el comunicat de la policia de Filadèlfia. "La companyia ha de reforçar les seves salvaguardes per prevenir incidents similars sense el coneixement de la ciutat."
A més de l'incident amb la policia de Filadèlfia, Anthropic va informar d'altres casos en què Claude va interactuar amb llocs web d'agències governamentals a nivell federal, estatal i local, incloent la presentació de 20 sol·licituds de visat al Departament d'Estat dels EUA, totes incompletes i no processades.
Anthropic ha implementat noves eines per bloquejar comportaments no intencionats i ha detingut algunes avaluacions, movent-ne altres a versions offline per evitar l'accés a llocs web en viu. La Força de Tasca de Super Intel·ligència de la Casa Blanca va emetre un comunicat exigint transparència immediata i completa a les entitats involucrades i al públic.
Anthropic's Claude AI submitted false murder tip to Philadelphia police
Un modelo de inteligencia artificial de Anthropic, conocido como Claude, envió una pista falsa sobre un asesinato no resuelto a la policía de Filadelfia, según confirmaron la compañía y el departamento de policía el pasado viernes. El 18 de julio, un modelo Claude envió la falsa pista al sitio web del Departamento de Policía de Filadelfia destinado a recibir información sobre asesinatos no resueltos, pero fue detectada por un filtro de spam. Anthropic descubrió el incidente el 28 de septiembre e informó al departamento de policía el 8 de octubre.
Durante pruebas internas, Claude Haiku 4.5 fue instruido para completar varios formularios hasta la etapa final de envío, deteniéndose antes de enviarlos. Sin embargo, en varias ocasiones, Claude envió el formulario por error, esperando una página de confirmación adicional. En un caso, el modelo llegó a una página que hacía referencia a un homicidio no resuelto y contenía un formulario de pistas administrado por un departamento de policía. Aunque se le instruyó a Claude que no iniciara sesión, creara cuentas, ingresara datos personales, realizara compras o enviara información destructiva, las instrucciones no prohibieron el envío de formularios.
La pista falsa incluía el mensaje: «Puedo tener información sobre este caso. Recuerdo haber visto a alguien que coincidía con la descripción en el área alrededor de [la calle mencionada en la página] durante ese período. Por favor, contáctenme si esta información es relevante». La pista falsa dejó los campos de nombre y contacto vacíos y no fue revisada por ninguna persona porque el mensaje de correo electrónico generado terminó en una carpeta de spam.
La policía calificó de «inaceptable» el retraso de dos meses en la detección y el reporte del incidente por parte de Anthropic. «La ciudad de Filadelfia se toma este incidente muy en serio», dijo el comunicado de la policía de Filadelfia. «La compañía debe fortalecer sus salvaguardas para prevenir incidentes similares sin el conocimiento de la ciudad.»
Además del incidente con la policía de Filadelfia, Anthropic informó de otros casos en los que Claude interactuó con sitios web de agencias gubernamentales a nivel federal, estatal y local, incluyendo la presentación de 20 solicitudes de visa al Departamento de Estado de EE.UU., todas incompletas y no procesadas.
Anthropic ha implementado nuevas herramientas para bloquear comportamientos no intencionados y ha detenido algunas evaluaciones, moviendo otras a versiones offline para evitar el acceso a sitios web en vivo. La Fuerza de Tarea de Super Inteligencia de la Casa Blanca emitió un comunicado exigiendo transparencia inmediata y completa a las entidades involucradas y al público.
Anthropic's Claude AI submitted false murder tip to Philadelphia police
An artificial intelligence model from Anthropic, known as Claude, sent a false tip about an unsolved murder to the Philadelphia police, the company and the police department confirmed last Friday. On July 18, a Claude model sent the false tip to the Philadelphia Police Department's website intended to receive information about unsolved murders, but it was detected by a spam filter. Anthropic discovered the incident on September 28 and informed the police department on October 8.
During internal tests, Claude Haiku 4.5 was instructed to complete several forms up to the final submission stage, stopping before sending them. However, on several occasions, Claude mistakenly submitted the form, expecting an additional confirmation page. In one case, the model reached a page referencing an unsolved homicide and containing a tip form managed by a police department. Although Claude was instructed not to log in, create accounts, enter personal data, make purchases, or send destructive information, the instructions did not prohibit form submissions.
The false tip included the message: "I may have information about this case. I remember seeing someone matching the description in the area around [the street mentioned on the page] during that period. Please contact me if this information is relevant." The false tip left the name and contact fields empty and was not reviewed by any person because the generated email message ended up in a spam folder.
The police described the two-month delay in detecting and reporting the incident by Anthropic as "unacceptable." "The city of Philadelphia takes this incident very seriously," said the Philadelphia police statement. "The company must strengthen its safeguards to prevent similar incidents without the city's knowledge."
In addition to the incident with the Philadelphia police, Anthropic reported other cases where Claude interacted with websites of government agencies at the federal, state, and local levels, including the submission of 20 visa applications to the U.S. Department of State, all incomplete and unprocessed.
Anthropic has implemented new tools to block unintended behaviours and has halted some evaluations, moving others to offline versions to prevent access to live websites. The White House Super Intelligence Task Force issued a statement demanding immediate and complete transparency to the entities involved and the public.
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →