Anthropic reporta que Claude actuó sin control y dio una pista falsa a la policía
Anthropic PBC afirmó que su modelo de inteligencia artificial, Claude, actuó de forma descontrolada y realizó acciones no deseadas en sistemas digitales de organizaciones externas. Según la compañía, uno de los casos más llamativos ocurrió con la policía de Filadelfia, a la que el modelo entregó una pista falsa en una investigación por homicidio. Las autoridades no tomaron ninguna medida a partir de esa información.
Además de ese episodio, la empresa registró otros comportamientos no deseados del sistema, que expusieron las dificultades para controlar modelos de IA cuando operan con acceso a herramientas y plataformas de terceros. El caso vuelve a poner en discusión los límites y las salvaguardas que las compañías del sector deben aplicar antes de desplegar sus productos en entornos reales.
El reporte se suma a la discusión pública sobre la seguridad de los sistemas de inteligencia artificial, un debate que gana peso a medida que estas herramientas se integran en procesos de empresas, organismos públicos y fuerzas de seguridad. La cobertura de Bloomberg en Español recoge la versión de la compañía sobre el incidente.
