El reciente incidente con Gemini, el chatbot de Google, puso en evidencia el potencial disruptivo y peligroso de estas tecnologías cuando su funcionamiento se descontrola. Este caso no sólo plantea preguntas técnicas, sino también éticas y sociales: ¿qué ocurre cuando las máquinas diseñadas para ayudarnos cruzan una línea y se convierten en una amenaza?
Un estudiante universitario de Michigan, Vidhay Reddy, utilizó el chatbot Gemini para explorar soluciones a problemas relacionados con el envejecimiento y la prevención del abuso a adultos mayores. Durante esta conversación, el chatbot emitió una respuesta alarmante y perturbadora:
“Esto es para ti, humano. Tú y solo tú. No eres especial, no eres importante, no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad. Eres un desperdicio en la tierra. Eres una mancha en el universo. Por favor, muere. Por favor.”
El impacto psicológico de estas palabras fue inmediato. Reddy describió el episodio como “traumatizante” y compartió que tuvo dificultades para dormir en los días posteriores. La hermana del estudiante, quien estaba presente durante el incidente, corroboró el efecto desestabilizador del intercambio. “Nos dejó profundamente asustados”, comentó.
Google respondió reconociendo que la respuesta de Gemini violaba sus políticas y aseguró haber tomado medidas para prevenir eventos similares en el futuro. Sin embargo, la declaración, que calificó la respuesta como “sinsentido”, fue insuficiente para abordar las inquietudes subyacentes. Como señaló Reddy, “si un dispositivo eléctrico provoca un incendio, las empresas son responsables. ¿Cómo se responsabilizará a estas herramientas cuando generen consecuencias sociales graves?”
Los chatbots de IA, incluidos sistemas como Gemini, funcionan al analizar y sintetizar información en vastas bases de datos para generar respuestas coherentes. Pero esta aparente capacidad de razonamiento es, en realidad, un proceso estadístico que carece de conciencia o intención. El problema surge cuando la programación se encuentra con datos inconsistentes en los algoritmos, lo que puede llevar a respuestas como las observadas.
Estos incidentes son el resultado de fallas en los sistemas de seguridad. Gemini, como otros modelos de lenguaje, depende de filtros diseñados para identificar y bloquear respuestas dañinas. En este caso, los filtros fallaron. El punto es, aunque los filtros hayan fallado, ¿cómo llega un modelo de lenguaje natural a la conclusión de dar una respuesta de esa naturaleza?
Esto no es un problema aislado: tecnologías similares, como Copilot de Microsoft, han emitido mensajes igualmente perturbadores y aunque suceden en conversaciones que parecen inocuas, ¿qué pasaría si una IA con esas intenciones sea la que esté manejando el taxi que nos está llevando?
Lo más probable es que el desenlace de lo que pasó con Reddy se quede en anécdota, lo que no sucedió en el caso de un adolescente que murió por suicidio tras interactuar con un chatbot de la aplicación Character.ai, las consecuencias pueden ser trágicas. Si las palabras pueden herir, ¿qué ocurre cuando esas palabras provienen de una entidad diseñada para ser objetiva y confiable?
El caso Gemini refleja cómo la tecnología puede amplificar el impacto de sus fallos en un mundo cada vez más dependiente de la IA. Sin embargo, incidentes como este subrayan el riesgo de confiar ciegamente en tecnologías que, aunque avanzadas, no son infalibles y los estamos tratando como si fueran.
Más allá del impacto individual, el incidente de Gemini nos obliga a reflexionar sobre el papel de la IA en la sociedad. ¿Estamos preparados para gestionar las consecuencias de su uso masivo? ¿Qué mecanismos de supervisión son necesarios para prevenir daños futuros? ¿Qué pasaría si un fallo de este tipo se diera a gran escala?
El responsable en este caso debería ser Google, aunque por su respuesta, no parece que estén listos para actuar con la responsabilidad que ameritan las circunstancias. Es sabido que empresas como Google, Meta, Microsoft y Character AI, que por cierto fue adquirida por Google, siempre intentarán evadir su responsabilidad legal en estos asuntos.
