El CEO de Discord, Jason Citron, dijo el jueves que los informes de explotación infantil en la popular plataforma de chat le parecían "horripilantes" y que Discord se tomaba el asunto "muy en serio."
Sus comentarios, en la Cumbre Tecnológica de Bloomberg en San Francisco, se produjeron un día después de que NBC News publicara una investigación sobre el tema.
"Como padre, es horroroso". dijo Citron en respuesta a las preguntas de la periodista de Bloomberg Emily Chang. "Nos tomamos estas cosas muy en serio".
Citron señaló que Discord emplea a un equipo dedicado a la seguridad infantil que tiene la tarea de tratar de evitar la explotación en la plataforma "de una manera que respete la privacidad de todas las personas que no están haciendo estas cosas."
La investigación reveló que desde la creación de la plataforma en 2015, al menos 35 procesamientos por secuestro, captación o explotación de menores involucraron comunicaciones a través de Discord, y 165 procesamientos por material de abuso sexual infantil involucraron a la plataforma. Además, NBC News identificó cientos de servidores Discord activos que promueven la explotación infantil.
"Lo que vemos es solo la punta del iceberg", dijo Stephen Sauer, director de la línea de atención telefónica del Centro Canadiense para la Protección de la Infancia.
Como muchas empresas de redes sociales, Discord analiza las imágenes y vídeos subidos y los compara con una base de datos conocida de material de abuso sexual infantil, pero deja la mayor parte de la moderación en manos de las propias comunidades. Discord ha declarado claramente que no escanea de forma proactiva la mayoría de los mensajes que se publican en sus comunidades.
Citron dijo que la inteligencia artificial podría ayudar a resolver algunos problemas relacionados con la explotación infantil. "Creo que uno de los retos a los que se enfrentan todos los miembros de nuestro sector es que en la plataforma ocurren tantas cosas a gran escala que resulta muy difícil identificarlas", afirmó.
John Redgrave, vicepresidente de confianza y seguridad de Discord, dijo a NBC News que la compañía estaba trabajando con THORN, una empresa dedicada a la creación de soluciones tecnológicas para detectar y prevenir la explotación infantil, en un modelo que podría detectar el comportamiento de grooming.
Sin embargo, la IA también ha sido criticada por agravar potencialmente los problemas de seguridad infantil.
Este mes, el FBI advirtió de que los adultos estaban utilizando IA para generar imágenes manipuladas de niños con fines de sextorsión, chantajeando a los menores con las imágenes para obtener aún más contenido sexual o dinero.
