6 minutos de lectura'
El 10 de febrero de 2026, Jesse Van Rootselaar, una joven de 18 años, asesinó a ocho personas y luego se suicidó en un tiroteo masivo en Tumbler Ridge, Columbia Británica, Canadá. OpenAI había señalado previamente sus conversaciones en ChatGPT como una fascinación inquietante por la violencia extrema y suspendió su cuenta, pero, según se informa, la empresa no notificó a las autoridades.
El 2 de octubre de 2025, Jonathan Gavalas, un joven de Jupiter, Florida, se suicidó tras desarrollar, según la demanda presentada por su padre, un vínculo sentimental con el chatbot Gemini de Google. La demanda alegaba que Gemini había instruido a Gavalas para que se deshiciera de su cuerpo. Según la demanda, Google había marcado la cuenta de Gavalas 38 veces en cinco semanas por contenido sensible, pero no la había restringido ni bloqueado.
Estas tragedias, entre otras, demuestran que la IA generativa puede potencialmente perjudicar a personas, organizaciones y al medio ambiente. Soy una jurista especializada en responsabilidad civil por IA desde hace casi una década y he explorado nuevas formas de analizar las responsabilidades de las empresas de IA. En mi opinión, casos como estos plantean interrogantes que la comunidad jurídica aún no ha resuelto: si una empresa de IA detecta señales de alerta sobre un posible daño, ¿tiene la obligación legal de, al menos, advertir a las autoridades competentes? Y si la empresa no interviene, ¿debería considerarse negligencia su inacción?
El derecho de responsabilidad civil estadounidense proporciona un marco para reflexionar sobre este tipo de responsabilidad. En 1969, un paciente psiquiátrico de la Universidad de California llamado Prosenjit Poddar le dijo a su terapeuta que tenía la intención de matar a una mujer llamada Tatiana Tarasoff. El terapeuta avisó a la policía del campus, que detuvo brevemente a Poddar, pero finalmente lo dejó en libertad. Nadie advirtió a Tarasoff y Poddar la asesinó poco después.
Su familia demandó a la universidad, argumentando que la falta de advertencia constituía negligencia. En 1976, la Corte Suprema de California dictaminó que cuando un profesional de la salud mental tiene motivos fundados para creer que un paciente representa un grave peligro para una persona identificable, tiene el deber legal de tomar medidas razonables para proteger a esa persona, incluyendo advertirle o notificar a las autoridades. Actualmente, la mayoría de los estados de EE. UU. reconocen alguna versión del deber de Tarasoff de proteger o advertir.
La lógica es simple: si se tiene conocimiento especial de una amenaza grave y se está en posición de abordarla, aunque solo sea para advertir a las autoridades o a la posible víctima, la ley podría exigir actuar. Pero, ¿se aplica esta lógica a las empresas de IA?
El argumento a favor es convincente. Las plataformas de IA interactúan diariamente con millones de usuarios, a menudo sobre asuntos profundamente personales como problemas de salud mental, dificultades en las relaciones y pensamientos violentos. La mayoría de las empresas cuentan con sistemas para detectar conversaciones que generan sospechas.
Exigir una respuesta podría ser menos controvertido para la IA que para un terapeuta humano. Los terapeutas están sujetos a estrictas obligaciones de confidencialidad que complican ética y legalmente la tarea de advertir a terceros. Las empresas de IA operan bajo normas mucho más laxas, al menos en Estados Unidos, donde no existe una ley federal integral de privacidad.
Esa menor restricción facilita justificar la obligación de que las empresas de IA actúen cuando parece que la vida de alguien puede estar en riesgo. Sin embargo, sigue siendo importante encontrar un equilibrio entre esto y la protección de la privacidad.
El primer desafío al aplicar el marco de Tarasoff al mundo de la IA es la precisión. Predecir la violencia es difícil, incluso para profesionales de la salud mental capacitados. Los sistemas de IA o los moderadores humanos que revisan el contenido marcado no son clínicos. Exigirles que determinen quién representa una amenaza real podría generar numerosos falsos positivos, con consecuencias reales para las personas cuyas cuentas son suspendidas o cuya información se comparte con las autoridades debido a interpretaciones erróneas de señales.
El segundo desafío es la escala. Un terapeuta atiende a decenas de pacientes. Las plataformas de IA tienen cientos de millones de usuarios. Imponer la obligación de supervisar y actuar ante contenido preocupante podría generar incentivos perversos. Las empresas de IA podrían reducir su supervisión para evitar adquirir conocimientos que desencadenen una obligación legal, argumentando que lo que desconocen no las hace responsables.
El tercer desafío consiste en identificar a las personas en riesgo. En el caso de 1969, Poddar había señalado a Tarasoff como una posible víctima. Sin embargo, en muchas interacciones con IA, el lenguaje violento o autodestructivo es difuso y no identifica a un objetivo. Los tribunales deberán establecer criterios claros para determinar cuándo una amenaza es lo suficientemente específica como para generar la obligación de advertir y a quién debe dirigirse cualquier advertencia o medida de protección.
La industria de la IA se expande rápidamente, pero las normas legales que rigen las obligaciones de las empresas de IA con sus usuarios y el público son muy poco claras. Los tribunales están empezando a analizar casos concretos, como, por ejemplo, si OpenAI tiene alguna responsabilidad por el asesinato de dos estudiantes en la Universidad Estatal de Florida el 17 de abril de 2025. El atacante, armado con una pistola semiautomática, habría mantenido extensas conversaciones con ChatGPT sobre cómo usar el arma con la mayor eficacia.
Un deber de alertar, limitado y cuidadosamente definido, que se active solo cuando un sistema de IA detecte un comportamiento anómalo del usuario y este sea revisado por humanos, representaría un avance significativo. Además, podría centrarse inicialmente en las amenazas más graves y creíbles.
Esta práctica también podría desviar la conversación de los espinosos debates técnicos sobre si los chatbots de IA son productos, servicios o medios de comunicación, lo que complica las reclamaciones legales, hacia una cuestión más humana: ¿Sabía esta empresa que alguien estaba en peligro y hizo lo suficiente para advertirle a esa persona y a las autoridades?
Anat Lior es profesora adjunta de derecho en la Universidad de Drexel.
