El 20 de octubre de 2025, al terminar el entrenamiento de fútbol, Taki Allen esperaba con sus amigos a que los recogieran frente al instituto Kenwood, en el condado de Baltimore (Maryland). Tenía en la mano una bolsa de Doritos. Entonces llegó la policía armada y, según la demanda, obligó a los chicos a arrodillarse, los esposó y los registró.
No había ninguna pistola. Un sistema de detección de armas con inteligencia artificial había confundido la bolsa de Doritos con un arma.
Un año después, Allen y otros tres estudiantes, Yui-Osa Ogbeide, Devon Thompson Jr. y Keith Winfield III, han demandado a Omnilert, la empresa que fabrica el sistema, al distrito escolar y a la policía del condado. Lo que cuenta la demanda va más allá de un error de la IA: según los demandantes, la alerta ya se había cancelado cuando se envió a la policía armada.
Qué pasó aquel día
Las escuelas públicas del condado de Baltimore usan desde 2023 Omnilert Gun Detect, un sistema que analiza las imágenes de las cámaras de seguridad en busca de armas. El distrito firmó con la empresa un contrato de cuatro años y 2,6 millones de dólares que vence en 2027, según TheGrio.
Aquella tarde, el sistema avisó al instituto de una probabilidad del 90 % de que hubiera un arma en el recinto. En teoría, el protocolo tenía una red de seguridad: antes de llamar a la policía, una persona revisa la imagen. Y en parte funcionó: según el distrito, su departamento de seguridad revisó la alerta, comprobó que no había ningún arma y la canceló.
Pero el aviso ya había echado a andar. La directora, que según el distrito no se dio cuenta de inmediato de que la alerta estaba cancelada, avisó al agente de policía asignado al centro, y este llamó a la comisaría. Allen contó después a la televisión local WBAL lo que vivió:
Me hicieron ponerme de rodillas, poner las manos a la espalda y me esposaron. Lo primero que me pregunté fue si iba a morir, porque me estaban apuntando con una pistola.
Taki Allen, estudiante del instituto Kenwood
«Solo tenía en la mano una bolsa de Doritos. La sujetaba con las dos manos y con un dedo fuera, y dijeron que parecía una pistola», explicó. En las imágenes de las cámaras corporales que obtuvo la cadena WJZ, de CBS, uno de los agentes lo resume a su manera: «La IA no es lo mejor».
La demanda: una cadena de fallos humanos
La demanda, presentada el 17 de noviembre ante el tribunal de circuito del condado de Baltimore por la organización de derechos civiles Lawyers’ Committee for Civil Rights Under Law, acusa a los demandados de vulnerar los derechos constitucionales, federales y estatales, de los cuatro estudiantes, que son negros, y de negligencia y negligencia grave.
Su tesis es que el error de la IA desencadenó «una cadena de fallos humanos»:
- Omnilert, la escuela y la policía: desde el personal de Omnilert, que revisa las detecciones antes de enviarlas, hasta la directora y la policía, habrían pasado por alto o ignorado pruebas claras de que no había arma.
- El distrito escolar: según la demanda, los responsables sabían que el sistema daba falsas alarmas con frecuencia.
- Los protocolos: la escuela y la policía no tenían protocolos suficientes para impedir que una alerta ya cancelada acabara en una respuesta armada.
«A estos estudiantes no solo les falló una tecnología propensa a las falsas alarmas», ha dicho Damon Hewitt, presidente y director ejecutivo de la organización, que habla de una «mezcla tóxica» de dependencia excesiva de la IA y una comunicación y coordinación ineptas. Leah Frazier, que dirige su Iniciativa de Justicia Digital, es más directa: «Esto nunca debería haber llegado a la policía».
Los demandantes no se limitan a pedir una reparación. Quieren que la policía y las escuelas verifiquen las alertas de la IA antes de actuar, que evalúen si esta tecnología es adecuada para un centro educativo y que haya más formación, supervisión y transparencia sobre sus errores, además de dar voz a la comunidad sobre su uso.
Lo que dijo Omnilert
Tras el incidente, Omnilert lamentó lo ocurrido, pero defendió que su sistema funcionó como estaba previsto. Según la empresa, la imagen «se parecía mucho a una pistola», y el proceso cumplió su objetivo de «priorizar la seguridad y la alerta mediante una verificación humana rápida».
La superintendente del distrito, Myriam Rogers, también defendió entonces que el programa «hizo lo que tenía que hacer», aunque después pidió que una persona verifique las alertas antes de que intervenga la policía.
No es el único frente de Omnilert. En mayo de 2026, un estudiante herido en el tiroteo de enero de 2025 en el instituto Antioch de Nashville (Tennessee) demandó a la empresa porque su sistema no detectó el arma del atacante. Omnilert sostiene que no falló: la cámara del comedor apuntaba a otra zona y el arma no era visible para ella. «Nuestra tecnología solo puede identificar lo que ve la cámara», ya había dicho un portavoz de Omnilert en octubre de 2025, tras el caso de Kenwood. El mismo sistema, por tanto, está en los tribunales por ver un arma que no existía y por no ver una que sí.
El «humano en el bucle» no basta
Cuando se habla de los riesgos de la IA, la respuesta habitual es que siempre habrá una persona revisando sus decisiones. El caso de Kenwood muestra que eso no garantiza nada si el resto del sistema no está bien diseñado.
Aquí hubo revisión humana, y hasta acertó: alguien vio que era una bolsa de snacks. Pero la alarma inicial pesó más que la corrección porque, según la demanda, no había protocolos suficientes para impedir que una alerta cancelada desembocara en una respuesta armada. Una probabilidad del 90 % suena a certeza, aunque no lo sea.
La videovigilancia con IA también se abre paso en España, por ejemplo en las obras de construcción. Ya contamos cómo quiere cubrir el hueco de los vigilantes y qué dice la AEPD sobre su uso. El caso de Baltimore deja una lección útil para cualquiera que la instale: tan importante como lo que detecta la máquina es lo que ocurre después.
La imagen de representación de este artículo es un fotograma de las imágenes de la cámara corporal de la policía del condado de Baltimore, difundidas en un reportaje de Univision Washington en YouTube.

