10 May Mientras la Tecnología Recurre a la IA para Luchar Contra el Odio, los Expertos Alertan de que la Intervención Humana es Crítica

Yfat Barak-Cheney. (Foto por Joe Porrello)

Nota del editor: La Conferencia Mundial para Erradicar el Odio comenzó en 2021 en respuesta al tiroteo masivo en la sinagoga Tree of Life en Pittsburgh. CC Pulse estuvo ahí por primera vez en servicio de nuestra cobertura Detengamos el Odio. Esta es una de muchas historias que publicaremos que tratan o están inspiradas por la conferencia.

Read in English

Por Joe Porrello

PITTSBURGH — Con el aumento de la propagación del discurso del odio en Internet, las redes sociales y otras empresas tecnológicas se están enfrentando a un creciente escrutinio sobre su papel en su difusión y a una mayor presión para que hagan algo al respecto.

Representantes de TikTok, Meta y Microsoft hablaron con expertos en inteligencia artificial y líderes de organizaciones sin fines de lucro en la Conferencia Mundial para Erradicar el Odio sobre cómo están intentando combatir la discriminación.

Concretamente, propusieron que la comunicación en línea que fomenta la violencia motivada por el odio podría disminuirse mediante el uso de la IA. Pero los ponentes dijeron que no hay que confiar únicamente en la tecnología y destacaron lo importante que es la participación de personas en el proceso de moderación y eliminación de contenido potencialmente problemático o perjudicial. Sin embargo, los despidos masivos en el sector tecnológico han eliminado muchos de los puestos de trabajo con esas funciones.

Según una encuesta de la Liga Antidifamación de 2023, el odio en línea ha crecido considerablemente tanto entre los adultos como entre los adolescentes en los últimos 12 meses. Los reportes de cada tipo de odio en línea mencionados en la encuesta se incrementaron en casi todas las medidas y dentro de casi todos los grupos sociodemográficos en las redes sociales.

Yfat Barak-Cheney, el director de Tecnología y Derechos Humanos del Congreso Judío Mundial, dijo que, pese a los desafíos tanto constantes como nuevos que plantea la lucha contra el odio en línea, las empresas más populares de redes sociales están avanzando mucho.

“Es un juego interminable de perseguir nuestros siguientes pasos”, afirmó, añadiendo que hay que incentivar a los sitios en línea más pequeños por ocuparse de controlar el odio en sus plataformas.

Barak-Cheney trabaja con Meta y TikTok para redirigir a las personas que buscan teorías conspirativas a los recursos adecuados en otras partes del Internet.

Gracias a su trabajo con las víctimas, Barak-Cheney dijo que se dio cuenta de que una de las únicas maneras de que alguien se enfrente al odio es denunciándolo, un proceso frustrante para muchas personas. Ella y otros miembros del panel están intentando crear nuevas maneras de que las víctimas del odio sanen y sigan adelante.

Valiant Richey, director global de divulgación y colaboraciones para la confianza y la seguridad en TikTok, señaló que las palabras, las imágenes, los videos y los símbolos pueden fomentar la conexión tanto como la división.

Richey señaló que, en el primer trimestre del 2023, TikTok eliminó el 90% del contenido que provocaba odio, el 75% del cual nunca fue visto, y que sus videos de la campaña #swipeouthate han conseguido más de 250 millones de visualizaciones en cerca de tres años.

No obstante, como informaba el New York Post, investigadores de la USC afirmaron en 2023 que la naturaleza de adicción de las redes sociales fomenta el discurso del odio, la desinformación y la insensibilización.

 Los expertos de las Naciones Unidas señalaron el año pasado que existe una “urgente necesidad” de responsabilizar a los gigantes de las redes sociales por la lucha contra el odio.

“Hemos observado en todo el mundo y a lo largo del tiempo, cómo las redes sociales se han convertido en un vehículo fundamental para difundir el odio a una velocidad sin precedentes”, declaró Alice Wairimu Nderitu, asesora especial del secretario general de las Naciones Unidas para la Prevención del Genocidio. “Vimos cómo los responsables de los incidentes de violencia basados en la identidad utilizaron el odio en línea para atacar, deshumanizar y atacar a otros, muchos de los cuales ya son los más marginados de la sociedad…”.

Dina Hussein, directora global de desarrollo de políticas y alianzas de expertos para la política antiterrorista y de organizaciones peligrosas de Meta, dijo que se está luchando contra el extremismo combatiendo no solo el contenido que incita al odio, sino también los comportamientos que están detrás de ellos.

Ella dijo que miles de trabajadores de confianza y de seguridad de Meta eliminan cualquier contenido que elogie, apoye o represente a quienes figuran en su lista de Organizaciones e Individuos Peligrosos.

Sin embargo, empresas como Meta, Amazon, Alphabet, que es propietaria de Google, y Twitter (ahora X) han reducido significativamente sus equipos centrados en la confianza y la seguridad, así como en la ética, según informó CNBC en 2023. Meta anunció que eliminaría 21,000 puestos de trabajo, lo que tendría “un efecto enorme en el trabajo de confianza y seguridad de la empresa”.

Hussein explicó que empresas como la de ella pueden combatir la intolerancia en línea más eficazmente observando el odio en grandes espacios en línea y compartiendo información con otras empresas de redes sociales y organizaciones sin fines de lucro, así como utilizando software de IA.

Las nuevas tecnologías y colaboraciones facilitan a Meta el seguimiento de la propaganda terrorista y previenen que se vuelva a publicar.

“Mientras nosotros mejoramos nuestras tácticas, el enemigo también está mutando; nuestra evolución tiene que llegar a un equilibrio con esa mutación y, con suerte, superarla”, dijo Hussein.

Hugh Handeyside, director de Políticas, afirmó que Microsoft utilizará la IA para combatir los nuevos problemas derivados del odio a escala mundial, manteniendo al mismo tiempo su compromiso con los derechos fundamentales como la libertad de expresión.

“Vemos en la IA una oportunidad para avanzar en nuestra habilidad para predecir y mitigar el riesgo”, dijo.

Handeyside cree que, aun teniendo en cuenta las preocupaciones comprensibles que causa la IA y su impacto en la sociedad, puede promover la igualdad y la confianza en las plataformas en línea.

El pasado marzo, Microsoft despidió a todo su equipo de ética y sociedad de la IA, que, según sus empleados, “jugaba un papel fundamental a la hora de asegurar que los principios responsables de la IA de la empresa se reflejen verdaderamente en el diseño de los productos que se venden”, informó The Verge.

Mike Pappas, fundador y CEO de Modulate, la cual ayuda a las plataformas en línea a defenderse contra la toxicidad, dijo que la moderación de contenidos necesita un cuidadoso balance entre la suposición de la privacidad del usuario y la detección de conductas de odio, mientras se garantiza que no se está profundizando en el contenido o perfil de ninguna persona más de lo requerido.

Una de las claves para sacar el máximo provecho de la IA, de acuerdo con Handeyside, es asegurarse de que la supervisión humana y la revisión en varios puntos a lo largo del camino es fundamental para el despliegue y la efectividad de los sistemas de detección de publicaciones de odio.

La contribución humana es particularmente importante cuando se utilizan palabras de odio en mensajes educativos o de concienciación, asegurando de que no sean eliminados por la IA.

“Soy fundador de una startup de tecnología de IA, y permítanme que les diga algo con toda franqueza: por favor, no se confíen únicamente en la IA para moderar sus contenidos; es una mala idea”, dijo Pappas. “Pensamos en la IA como una herramienta para reforzar la moderación y los equipos de confianza y seguridad, los cuales francamente suelen estar escasos de recursos”.

Incluso con la IA y la supervisión de personas, los agresores pueden abrirse camino en los espacios en línea. Por eso, según Handeyside, el buscar formas de abusar del sistema o de evadirlo, es muy importante.

Pappas destacó que, en el mundo físico, lugares como la biblioteca tienen un código de conducta conocido por todos, pero muchas de las áreas en línea tienen reglas menos tajantes debido a su relativa novedad, provocando que los jóvenes desarrollen comportamientos tóxicos.

“Ellos no entienden que es malo. Solo entienden que es algo nuevo que pueden hacer para traspasar los límites”, dijo Pappas. “De modo que se meten en problemas y no se percatan realmente del daño que están haciendo”.

>>>Preguntas y Respuestas: Cómo los Jóvenes se Radicalizan y Qué Hacer

El trabajar con la organización sin fines de lucro de bienestar mental Take This, Modulate encontró que la cronología típica de los niños hacia el odio en línea inicia con el uso de groserías, seguido de vulgaridad sexual, luego el discurso violento y el lenguaje de odio.

“La buena noticia es que la mayoría de los jóvenes no llegan al siguiente nivel”, dijo Pappas a Pulse, refiriéndose a la realización de actos violentos.

Dado que los códigos de conducta tienden a ser muy generales y verbales, Pappas señaló que, inclusive para los adultos, a menudo son difíciles de entender.

“¿Cómo descubren ellos en realidad cuál es el código de conducta? Dicen: ‘¿Qué puedo obtener a cambio?'”, dijo.

Richey estuvo de acuerdo.

“No es suficiente decirle a la gente ‘no odies'”, dijo. “Tenemos la responsabilidad de ayudar a nuestra comunidad a que comprenda un poco más lo que eso significa”.

Richey dijo que TikTok actualizó sus normas de la comunidad a principios de este año para ser más claro sobre cómo están definidos los distintos tipos de odio, incluidos los insultos y las ofensas.

A medida que las redes sociales y la IA sigan evolucionando, aquellos que luchan contra el odio en Internet tendrán que seguir buscando soluciones más nuevas.

“En este ámbito, el éxito no es una línea de meta; es una mejora constante”, dijo Handeyside.

Hussein destacó que la política debe ir más allá de la web para ser efectiva.

“El solo eliminarlo de tu plataforma no lo elimina de la existencia”, dijo ella.

 Este recurso cuenta con el apoyo total o parcial de fondos proporcionados por el Estado de California, administrados por la Biblioteca Estatal de California en asociación con el Departamento de Servicios Sociales de California y la Comisión de California sobre Asuntos de Asiáticos e Isleños del Pacífico como parte del programa Detengamos el Odio. Para denunciar un incidente de odio o un delito de odio y obtener apoyo, visita CA vs Hate.