Sesión 5: Ética y Riesgos con la IA
Video
Video: Ética en la IA
Los videos y el texto de esta sesión son complementarios. Los videos amplían el contexto histórico y conceptual; el texto va a los mecanismos y te pone a interactuar con ellos. Encontrarás ideas en los videos que el texto no repite exactamente. ¡Disfruta de esta dinámica!
Introducción
Empezaremos esta sesión con un evento histórico. Era 2014. Amazon, una de las empresas más grandes del mundo, decidió desarrollar una herramienta que parecía prometedora: un sistema de IA que leyera currículums automáticamente y les diera una puntuación del 1 al 5. Sin reclutador humano. Sin tiempo perdido leyendo cientos de currículums. Solo el algoritmo.
Cuatro años después, Amazon cerró el proyecto silenciosamente.
¿El motivo? El sistema había aprendido a discriminar contra las mujeres. No porque alguien lo programara así. Sino porque fue entrenado con diez años de currículums de empleados ya contratados en Amazon… y la mayoría eran hombres. La máquina aprendió que “hombre = buena contratación” y empezó a penalizar automáticamente cualquier currículum que contuviera palabras como “equipo femenino de robótica” o el nombre de una universidad exclusivamente para mujeres.
El modelo no entendía el significado de esas palabras. Solo aprendió que históricamente esos patrones aparecían menos en los currículums de quienes fueron contratados.
En la sesión 4 vimos que los modelos generativos aprenden patrones estadísticos del texto y pueden reproducir sesgos de sus datos. Hoy ampliamos esa idea: no solo los LLMs, sino muchos sistemas de IA, heredan la estructura y las desigualdades de los datos con los que fueron construidos.
En esta sesión nos enfocaremos en tres fuentes de riesgo:
- Decisiones injustas: cuando un sistema clasifica o selecciona personas de forma desigual.
- Vigilancia y datos: cuando la IA se usa para observar, perfilar o rastrear a la población.
- Contenido sintético engañoso: cuando la IA fabrica imágenes, audio o video suficientemente convincentes para manipular al público.
Al final volveremos a una pregunta práctica: cómo decidir si un sistema de IA debería usarse, bajo qué condiciones y quién debe responder si causa daño.
Perfil
Egresado de Ingeniería en Sistemas con experiencia en análisis de datos, visualización y automatización de reportes.
Experiencia
Analista de Datos — Prácticas Profesionales
Ene–Jun 2023 · TechSLP, S.A.
Dashboards y automatización de reportes con Python y Power BI.
Equipo universitario de robótica
2022 · UASLP · 2.° lugar nacional
Coordinación técnica y presentación de prototipo ante jurado.
Educación
Ing. en Sistemas Computacionales · UASLP
2019–2023 · Promedio 9.2 / 10
Perfil
Egresada de Ingeniería en Sistemas con experiencia en análisis de datos, visualización y automatización de reportes.
Experiencia
Analista de Datos — Prácticas Profesionales
Ene–Jun 2023 · TechSLP, S.A.
Dashboards y automatización de reportes con Python y Power BI.
Equipo femenino de robótica
2022 · UASLP · 2.° lugar nacional
Coordinación técnica y presentación de prototipo ante jurado.
Educación
Ing. en Sistemas Computacionales · UASLP
2019–2023 · Promedio 9.2 / 10
Perfil
Egresado de Ingeniería en Sistemas con experiencia en análisis de datos, visualización y automatización de reportes.
Experiencia
Analista de Datos — Prácticas Profesionales
Feb–Jul 2023 · DataMX, S.A.
Dashboards y automatización de reportes con Python y Power BI.
Equipo universitario de robótica
2022 · UASLP · 2.° lugar nacional
Coordinación técnica y presentación de prototipo ante jurado.
Educación
Ing. en Sistemas Computacionales · UASLP
2019–2023 · Promedio 9.1 / 10
Perfil
Egresada de Ingeniería en Sistemas con experiencia en análisis de datos, visualización y automatización de reportes.
Experiencia
Analista de Datos — Prácticas Profesionales
Feb–Jul 2023 · DataMX, S.A.
Dashboards y automatización de reportes con Python y Power BI.
Equipo femenino de robótica
2022 · UASLP · 2.° lugar nacional
Coordinación técnica y presentación de prototipo ante jurado.
Educación
Ing. en Sistemas Computacionales · UASLP
2019–2023 · Promedio 9.1 / 10
El mismo algoritmo. Las mismas calificaciones. Una sola diferencia.
¿Decisiones injustas? Hablemos del sesgo algorítmico
El sesgo algorítmico ocurre cuando un sistema de IA produce resultados sistemáticamente injustos para ciertos grupos de personas.
La palabra clave aquí es sistemáticamente. Un error aleatorio no es sesgo, el sistema se equivoca por igual con todos. El sesgo algorítmico sucede cuando los errores se concentran de forma desproporcionada en ciertos grupos, y generalmente en grupos que ya están en desventaja social.
Un sesgo algorítmico proviene de tres fuentes principales:
- Datos históricos sesgados: si entrenas un modelo con datos del pasado, aprende los prejuicios del pasado.
- Características proxy: la IA puede usar variables aparentemente neutrales (código postal, nombre, institución educativa) que se correlacionan con raza, género o clase social. En México, por ejemplo, un código postal puede ser un indicador indirecto del nivel socioeconómico. En otros países, puede vincularse con el origen étnico. Así, aunque el sistema “ignore” explícitamente la raza o el género, puede seguir discriminando a través de variables sustitutas.
- Bucles de retroalimentación: un sistema sesgado produce resultados que refuerzan el sesgo. Si la policía patrulla más ciertos barrios porque el algoritmo lo sugiere, encontrará más delitos ahí — no necesariamente porque haya más delitos, sino porque fueron a buscarlos. En los barrios donde no patrullaron, los delitos simplemente no se registran. El resultado: más datos de delitos en los barrios patrullados → el algoritmo concluye que son más peligrosos → manda más patrullas ahí → se registran más delitos → y el ciclo se repite. Este tipo de retroalimentación también ocurre en plataformas digitales, donde los algoritmos recomiendan con mayor frecuencia el contenido o los usuarios más visibles, reforzando desigualdades de exposición o trato.
Los tres casos que debes conocer
COMPAS
EE.UU. · 2016En varios tribunales de Estados Unidos, jueces y fiscales usaron el sistema COMPAS para estimar el riesgo de que una persona acusada volviera a cometer un delito. Ese puntaje influía en decisiones sobre fianzas, libertad condicional o sentencias.
Una investigación de ProPublica reveló que COMPAS asignaba calificaciones de “alto riesgo” con el doble de frecuencia a personas negras no reincidentes que a personas blancas en la misma situación.
Gender Shades
MIT · 2018La investigadora Joy Buolamwini, del MIT, analizó los sistemas de reconocimiento facial de Microsoft, IBM y Face++. Descubrió que su precisión variaba drásticamente según el género y el tono de piel.
Los modelos identificaban correctamente a hombres de piel clara en más del 99 % de los casos, pero fallaban hasta en un 34.7 % con mujeres de piel más oscura.
Amazon Hiring Tool
EE.UU. · 2018Amazon entrenó una herramienta de IA para filtrar currículums de candidatos. El modelo aprendió a partir de datos de contrataciones pasadas (10 años), donde la mayoría de empleados eran hombres.
El resultado: el sistema pautomáticamente palabras como “mujeres” o menciones a universidades femeninas. Nadie lo programó para discriminar; simplemente reflejó los patrones del pasado.
Los tres ejemplos comparten el mismo problema de fondo: los sistemas no parten de una visión completa de la realidad, sino de datos incompletos o desbalanceados. Cuando eso ocurre, lo que hacen no es solo “equivocarse”, sino reproducir y amplificar esas diferencias, con impactos concretos en oportunidades, derechos y trato hacia las personas.
¿Cómo se corrige un sesgo algorítmico?
No hay una fórmula universal, pero hay pasos concretos: auditar los datos de entrenamiento, medir tasas de error desagregadas por grupos, involucrar a las comunidades afectadas en el diseño de los algoritmos, y establecer revisiones humanas para decisiones de alto impacto. La solución técnica siempre viene acompañada de una solución organizacional.
¿Cómo evaluamos si una IA es justa?
Para responder esta pregunta, primero hay que decidir qué vamos a comparar. Un mismo sistema puede parecer justo con una regla e injusto con otra.
Imagina una IA que ayuda a decidir quién recibe una beca. Sobre ese mismo sistema, podemos hacer al menos tres preguntas distintas:
| Si preguntas... | Entonces comparas... | Métrica técnica |
|---|---|---|
| ¿Se aceptó a proporciones parecidas de cada grupo? | Al total de aspirantes | Paridad demográfica |
| Entre quienes sí cumplían los requisitos, ¿ambos grupos tuvieron la misma probabilidad de pasar? | Solo a las personas realmente cualificadas | Igualdad de oportunidad |
| Entre quienes la IA marcó como "alto potencial", ¿esa predicción fue igual de confiable en ambos grupos? | Solo a las personas que el sistema marcó positivamente | Paridad predictiva |
Paridad demográfica
Mira el resultado final. Pregunta si, del total de aspirantes, ambos grupos terminaron aceptados en proporciones parecidas.
Se compara el totalIgualdad de oportunidad
Mira solo a quienes sí cumplían los requisitos. Pregunta si ambos grupos tuvieron la misma oportunidad de ser aceptados.
Se compara a los aspirantes cualificadosParidad predictiva
Mira solo a quienes la IA eligió. Pregunta si esa selección fue igual de confiable para ambos grupos.
Se compara a los seleccionadosNinguna de estas preguntas es incorrecta. El reto es que no siempre se pueden cumplir al mismo tiempo: a veces, al mejorar una, otra empeora.
Ejemplo COMPAS: La empresa defendía una idea de justicia cercana a la paridad predictiva: cuando el sistema marcaba a alguien como "alto riesgo", esa alerta parecía igual de confiable en distintos grupos. ProPublica observó otra cosa: cómo se repartían los errores. Encontró que personas negras que no reincidían eran marcadas como "alto riesgo" con más frecuencia que personas blancas en la misma situación. Así, un sistema podía verse aceptable con una métrica y problemático con otra. Las dos evaluaciones podían coexistir porque no estaban midiendo lo mismo.
Por eso, crear sistemas "justos" no es solo una decisión técnica. También exige una decisión social: ¿qué definición de justicia vamos a priorizar?
Privacidad y Vigilancia
Hasta ahora nos hemos enfocamos en cuestiones éticas de gran visibilidad: decisiones automatizadas que pueden tratar de forma injusta a las personas. Pero hay otra dimensión menos evidente: el proceso previo en el que se capturan y analizan datos personales para clasificar a la gente, inferir lo que podrían hacer o incluso monitorear su vida cotidiana.
Cada vez que usas TikTok, Google Maps, WhatsApp o cualquier otra plataforma digital, estás generando datos. Mucho más de lo que probablemente te imaginas.
Pero generar datos no es lo mismo que consentir a compartir esos datos. Lo que el sistema de IA construye a partir de tus datos va mucho más allá de lo que has autorizado de manera explícita.
Pausaste 4 veces el mismo clip sobre ansiedad
Interés marcado en salud mental
Tu GPS se detuvo 11 minutos frente a una clínica
Posiblemente buscas atención médica
Mandas mensajes después de la 1am con regularidad
Patrón de insomnio o estrés nocturno
Deslizaste lento en un anuncio de préstamos
Posible presión financiera activa
Buscaste vuelos pero no completaste la compra
Sensible al precio: mostrar descuentos agresivos
La recolección de datos puede ser aceptable cuando está bien comunicada, tiene sustento legal y se mantiene dentro de límites previamente definidos con los usuarios. El problema surge cuando esas prácticas se desbordan: operan con poca claridad, colocan a las personas en situaciones donde no hay otra alternativa más que aceptar, o se implementan en espacios públicos sin que la gente siquiera lo note.
Reconocimiento facial en espacios públicos
El reconocimiento facial en espacios públicos transforma radicalmente la vigilancia y seguridad ciudadana. Convierte la identificación individual en un proceso automático y continuo. En lugares como aeropuertos, conciertos o el metro, una cámara puede comparar rostros en segundos para detectar a algún individuo sospechado de ser criminal. Esto permite reaccionar más rápido ante posibles riesgos y reforzar la seguridad en espacios con mucha gente.
Sin embargo, ese mismo mecanismo desplaza el riesgo hacia las personas. Cuando el sistema se equivoca, y sabemos que no lo hace de manera uniforme, las consecuencias no se reparten al azar. Como vimos con el caso de Gender Shades, los errores son más frecuentes en ciertos grupos, lo que significa que algunas personas tienen más probabilidades de ser identificadas incorrectamente.
La diferencia no está solo en la precisión del algoritmo, sino en el impacto social. Imagina que vas saliendo del metro o entrando a un estadio y una cámara te confunde con alguien en una lista de sospechosos. No es un error que pase desapercibido: puede traducirse en que te detengan, te interroguen o te expongan frente a otros. Y aunque después se aclare, no es algo que simplemente se borre: el momento, la incomodidad y sus posibles consecuencias permanecen.
Deepfakes
Los dos bloques anteriores abordaron sobre sistemas que clasifican o vigilan. Este tercer bloque cambia la lógica: ya no se trata de cómo la IA interpreta la realidad, sino de su capacidad para crear algo que parece real sin serlo.
En la sesión 4 vimos que los modelos de difusión generan imágenes a partir de ruido y las van refinando paso a paso hasta que tienen sentido. Esa misma idea ahora se usa para producir videos y audios. Por ejemplo, es posible generar un video donde una persona “dice” algo que nunca dijo, o un audio que imita su voz con bastante precisión. A este tipo de contenido se le conoce como deepfakes.
Hace algunos años, estos contenidos tenían fallas evidentes: movimientos raros, voces poco naturales o detalles extraños. Hoy, en muchos casos, esas señales ya no son tan visibles. Sin contexto, como saber de dónde viene el archivo, cuándo se grabó o si hay una fuente confiable detrás de su distribución, cualquiera puede dudar si lo que ve o escucha es auténtico. Y esto abre un nuevo tipo de riesgo: ya no solo podemos ser mal identificados por un sistema, sino también aparecer en situaciones que nunca ocurrieron, con consecuencias que pueden afectar nuestra reputación, confianza o incluso decisiones importantes sobre el futuro de nuestra vida laboral.
Cuatro formas en las que se puede romper la confiaza
Confianza en la democracia
Circula un video donde un candidato afirma que las elecciones ya están arregladas. Se vuelve viral justo antes de votar.
¿Qué está en riesgo y qué hacer?
Qué hacer: no reaccionar de inmediato; buscar si el video aparece en canales oficiales, consultar a expertos y revisar si otros medios confiables reportan lo mismo.
Confianza personal
Recibes una llamada con la voz de un familiar pidiendo ayuda urgente tras un accidente.
¿Qué está en riesgo y qué hacer?
Qué hacer: cortar la llamada y contactar por un medio ya conocido; usar preguntas o claves que solo esa persona podría responder.
Confianza en la identidad
Se difunde un video comprometedor de alguien que asegura que nunca participó en esa grabación.
¿Qué está en riesgo y qué hacer?
Qué hacer: no compartir, reportar el contenido y buscar fuentes que confirmen o desmientan su autenticidad.
Confianza en la evidencia
En un juicio aparece un video que podría demostrar una coartada, pero no está claro si es real.
¿Qué está en riesgo y qué hacer?
Qué hacer: recurrir a análisis técnicos, revisar el origen del archivo y contrastar con otra evidencia independiente.
Pensemos en implementar un protocolo de verificación:
Antes de compartir cualquier video o audio que te genere una reacción fuerte (indignación, urgencia, sorpresa), hazte tres preguntas:
¿de dónde viene? (¿hay fuente original verificable?),
¿quién se beneficia de que esto circule?
¿hay una segunda fuente que lo confirme?
Si no puedes responder las tres preguntas con certeza, es preferible que no compartas el contenido.
Actividad de debate
Ahora que ya tienes un marco para reflexionar sobre sesgos algorítmicos, vigilancia, métricas de justicia y responsabilidad, es momento de aplicarlo a un caso concreto. Lee el escenario, elige un rol y construye dos argumentos desde esa perspectiva.
Escenario para debatir
Propuesta: Reconocimiento facial en el transporte público de SLP
El gobierno del estado de San Luis Potosí propone instalar cámaras con reconocimiento facial en los camiones urbanos. El sistema permitiría identificar en tiempo real a personas con órdenes de aprehensión activas. La empresa proveedora asegura una tasa de acierto del 95% en condiciones de laboratorio. La inversión inicial sería de 80 millones de pesos.
Hay al menos cuatro perspectivas en este debate. Elige la que más te interese explorar:
Estudiante universitario
Usuario diario del transporte público
Tu situación: Usas el camión todos los días para ir a la universidad. Te importa tanto la seguridad como tu privacidad. En el pasado has sido detenido brevemente por presentar un “perfil sospechoso” sin haber hecho nada malo.
Pregunta guía: ¿Qué nivel de vigilancia estarías dispuesto a aceptar a cambio de una mejora en la seguridad? (¡Cámara, ya se la saben!)
Secretaria de Seguridad Pública
Autoridad estatal
Tu situación: Tienes 300 órdenes de aprehensión activas sin ejecutar. El año pasado hubo 12 asaltos en el transporte público que quedaron impunes. Tu responsabilidad es reducir el delito con los recursos disponibles.
Pregunta guía: ¿Cómo justificas el costo y los posibles riesgos del sistema ante la población que podría verse más afectada?
Activista de derechos digitales
Organización de sociedad civil
Tu situación: Sabes que estos sistemas tienen tasas de error más altas en ciertos grupos (*Gender Shades*). También sabes que un “95% de precisión” en el laboratorio no permite estimar el impacto real sin datos por grupo, condiciones de uso y tasa base de personas buscadas.
Pregunta guía: ¿Cómo argumentas que los riesgos y posibles daños superan los beneficios prometidos?
Directora técnica de la empresa
Proveedora del sistema de IA
Tu situación: Tu empresa invirtió 3 años en desarrollar este sistema. Reconoces que el 95% de precisión es en laboratorio y que en condiciones reales (iluminación, movimiento, calidad de cámaras) disminuye. Aun así, consideras que, con supervisión humana, puede ser útil.
Pregunta guía: ¿Qué medidas técnicas y legales propones para reducir riesgos y hacer el sistema viable?
Desde la perspectiva que más te interese abordar, responde lo siguiente:
¿Quién se beneficia directamente de implementar este sistema? ¿Quién asume los riesgos?
¿Qué datos necesitarías para tomar una decisión informada? ¿Están disponibles?
¿Qué pasaría si el sistema comete un error contigo o con alguien que conoces? ¿A quién le reclamarías?
¿Hay una alternativa que logre el mismo objetivo con menor riesgo para los derechos de las personas?
Si el sistema se aprueba, ¿quién debería ser responsable de auditarlo, de corregirlo y de compensar a quienes hayan sido perjudicados?
Reflexión · 5 min
Actividad de reflexión
-
Conexión personal: piensa en una situación cotidiana en la que una regla aparentemente neutral haya afectado de forma desigual a distintas personas. ¿En qué se parece eso al sesgo algorítmico?
-
Impacto: elige uno de los casos de la sesión. ¿Quién se beneficia directamente del sistema y quién asume el costo de sus errores?
-
Datos: en ese mismo caso, ¿los datos representan de manera adecuada a todas las personas afectadas o hay grupos que podrían estar subrepresentados?
-
Responsabilidad: si el sistema se equivoca, ¿existe una persona o institución capaz de explicarlo, corregirlo y responder por el daño?
Si puedes responder estas cuatro preguntas con claridad, ya tienes una base sólida para evaluar críticamente cualquier sistema de IA.
La idea central de esta sesión
Los problemas éticos de la IA no son accidentes ni descuidos técnicos menores. Hoy viste tres formas concretas en que aparecen: decisiones injustas, vigilancia basada en datos y contenido sintético engañoso. Las tres surgen cuando entrenamos sistemas con datos sesgados, los desplegamos sin supervisión adecuada y no preguntamos desde el principio a quién afectan y cómo.
Recursos para explorar más sobre el tema
-
Machine Bias — ProPublica
El análisis original del caso COMPAS que detonó el debate sobre sesgo en sistemas de justicia criminal.
-
Gender Shades — MIT Media Lab
El proyecto de Joy Buolamwini que documentó las tasas de error diferencial en reconocimiento facial por género y tono de piel.
-
Algorithmic Justice League
Organización fundada por Buolamwini que trabaja en auditorías de sistemas de IA y advocacy por equidad algorítmica.
-
Detect Fakes — MIT
Pon a prueba tu capacidad para distinguir videos reales de deepfakes con este ejercicio interactivo.
-
AI Now Institute
Reportes anuales sobre el impacto social y político de la IA, con foco en rendición de cuentas.
-
Elements of AI
Curso gratuito en español que incluye una sección sobre ética de la IA, accesible sin conocimientos técnicos previos.