En 2022, Cai, un joven de 16 años, comenzó a ver contenido perturbador en su teléfono. Lo que empezó con un video de un tierno perro, rápidamente se transformó en recomendaciones de videos violentos y misóginos. Cai se preguntó por qué le mostraban ese contenido. Mientras tanto, en Dublín, Andrew Kaung, analista de seguridad de usuarios en TikTok, examinó lo que los algoritmos recomendaban a los adolescentes.
Kaung, quien trabajó en TikTok desde diciembre de 2020 hasta junio de 2022, quedó alarmado al ver cómo la plataforma mostraba videos con violencia y pornografía a varones adolescentes. Según Kaung, las herramientas de inteligencia artificial (IA) no pueden identificar todo el contenido dañino. Los videos que no eran retirados por la IA solo eran revisados manualmente si alcanzaban 10.000 visualizaciones, exponiendo a los jóvenes a contenido inapropiado.
TikTok afirma que el 99% del contenido que retira por violar sus reglas es descartado antes de alcanzar 10.000 visualizaciones. Sin embargo, Kaung señala que durante su tiempo en TikTok y Meta, las empresas dependían de los usuarios para reportar videos dañinos. Aunque hizo denuncias, la mayoría de las veces no se hizo nada debido al elevado costo y la cantidad de trabajo implicado.
Varios exempleados de compañías de redes sociales coinciden con las preocupaciones de Kaung. Almudena Lara, directora de desarrollo de políticas de seguridad online de Ofcom, el ente regulador de las comunicaciones en Reino Unido, comenta que las empresas han hecho la vista gorda y han tratado a los menores como adultos. “Se te mete la imagen en la cabeza y no te la puedes sacar”, dice Cai.
Cai, ahora de 18 años, sigue recibiendo recomendaciones de contenido violento y misógino en Instagram y TikTok. A pesar de intentar usar herramientas para indicar que no está interesado en ese contenido, continúa viéndolo. Cai señala que uno de sus amigos se vio atraído por el contenido de un influencer polémico y empezó a adoptar opiniones misóginas. “Se excedió”, comenta Cai.
Andrew Kaung explica que los algoritmos están diseñados para maximizar la interacción, mostrando videos que esperan que los usuarios vean durante más tiempo. Los algoritmos no siempre discriminan entre contenido dañino y no dañino. Kaung propuso a TikTok que actualizara su sistema de moderación, pero sus sugerencias fueron rechazadas en ese momento.
TikTok afirma que tiene moderadores especializados y que separa diferentes tipos de contenido dañino para los moderadores. Meta, dueña de Instagram y Facebook, señala que cuenta con más de 50 herramientas diferentes para ofrecer experiencias positivas y apropiadas para la edad de los adolescentes. Sin embargo, Kaung opina que las vidas de los niños y adolescentes serían mejores si dejaran de usar sus teléfonos inteligentes.
Cai, por su parte, cree que prohibir el uso de teléfonos o redes sociales no es la solución. Quiere que las empresas de redes sociales escuchen lo que los adolescentes no quieren ver y creen herramientas más efectivas para indicar sus preferencias. “Siento que las compañías de redes sociales no respetan tu opinión si eso les hace ganar dinero”, expresa Cai.
En Reino Unido, una nueva ley forzará a las empresas de redes sociales a verificar la edad de los menores y acabará con los sitios que recomienden contenido dañino a los jóvenes. Ofcom estará a cargo de hacer cumplir la ley, que entrará en vigor en 2025. TikTok y Meta aseguran que están a la vanguardia en términos de configuraciones de seguridad para adolescentes y que emplean a miles de personas para velar por la seguridad de los usuarios.
