Microsoft lanza nueva herramienta de inteligencia artificial para moderar texto e imágenes

Microsoft lanza nueva herramienta de inteligencia artificial para moderar texto e imágenes

 https://techcrunch.com/2023/05/23/microsoft-launches-new-ai-tool-to-moderate-text-and-images/

Microsoft está lanzando un nuevo servicio de moderación impulsado por IA que, según dice, está diseñado para fomentar entornos y comunidades en línea más seguros.

Llamada Azure AI Content Safety, la nueva oferta, disponible a través de la plataforma de productos Azure AI, ofrece una gama de modelos de IA capacitados para detectar contenido "inapropiado" en imágenes y texto. Los modelos, que pueden comprender texto en inglés, español, alemán, francés, japonés, portugués, italiano y chino, asignan una puntuación de gravedad al contenido marcado, indicando a los moderadores qué contenido requiere acción.

“Microsoft ha estado trabajando en soluciones en respuesta al desafío de la aparición de contenido dañino en las comunidades en línea durante más de dos años. Reconocimos que los sistemas existentes no tenían en cuenta el contexto de manera efectiva ni podían funcionar en varios idiomas”, dijo el portavoz de Microsoft por correo electrónico. “Los nuevos modelos [de IA] pueden comprender mucho mejor el contenido y el contexto cultural. Son multilingües desde el principio... y brindan explicaciones claras y comprensibles, lo que permite a los usuarios comprender por qué se marcó o eliminó el contenido".


Durante una demostración en la conferencia anual Build de Microsoft, Sarah Bird, líder responsable de IA de Microsoft, explicó que Azure AI Content Safety es una versión de producto del sistema de seguridad que impulsa el chatbot de Microsoft en Bing y Copilot, el servicio de generación de código impulsado por IA de GitHub.

“Ahora lo estamos lanzando como un producto que los clientes externos pueden usar”, dijo Bird en un comunicado.

Presumiblemente, la tecnología detrás de Azure AI Content Safety ha mejorado desde que se lanzó por primera vez para Bing Chat a principios de febrero. Bing Chat se descarriló cuando se lanzó por primera vez en versión preliminar; nuestra cobertura encontró que el chatbot arrojaba información errónea sobre la vacuna y escribía una diatriba llena de odio desde la perspectiva de Adolf Hitler. Otros reporteros lo consiguieron para amenazarlos e incluso avergonzarlos por advertirlo.

En otro golpe contra Microsoft, la compañía despidió hace unos meses al equipo de ética y sociedad dentro de su organización de inteligencia artificial más grande. El movimiento dejó a Microsoft sin un equipo dedicado para garantizar que sus principios de IA estén estrechamente vinculados al diseño del producto.

 Dejando todo eso a un lado por un momento, Azure AI Content Safety, que protege contra contenido sesgado, sexista, racista, odioso, violento y de autolesiones, según Microsoft, está integrado en Azure OpenAI Service, el producto totalmente administrado y centrado en la empresa de Microsoft. destinado a brindar a las empresas acceso a las tecnologías de OpenAI con características adicionales de gobierno y cumplimiento. Pero Azure AI Content Safety también se puede aplicar a sistemas que no son de IA, como comunidades en línea y plataformas de juegos.

 El precio comienza en $1,50 por 1000 imágenes y $0,75 por 1000 registros de texto.

Azure AI Content Safety es similar a otros servicios de detección de toxicidad impulsados por IA, incluido Perspective, mantenido por el Equipo de tecnología contra el abuso de Google, y Jigsaw, y sucede a la herramienta Moderador de contenido de Microsoft. (No se sabe si se basó en la adquisición por parte de Microsoft de Two Hat, un proveedor de contenido de moderación, en 2021). Esos servicios, como Azure AI Content Safety, ofrecen una puntuación de cero a 100 sobre qué tan similares son los nuevos comentarios e imágenes con otros. previamente identificado como tóxico.

Pero hay razones para desconfiar de ellos. Más allá de los primeros tropiezos de Bing Chat y los despidos mal dirigidos de Microsoft, los estudios han demostrado que la tecnología de detección de toxicidad de IA todavía tiene dificultades para superar los desafíos, incluidos los sesgos contra subconjuntos específicos de usuarios.

Hace varios años, un equipo de Penn State descubrió que las publicaciones en las redes sociales sobre personas con discapacidades podían marcarse como más negativas o tóxicas según los modelos de detección de toxicidad y sentimiento público comúnmente utilizados. En otro estudio, los investigadores demostraron que las versiones anteriores de Perspective a menudo no podían reconocer el discurso de odio que usaba calumnias "recuperadas" como "queer" y variaciones ortográficas como caracteres faltantes.

 El problema va más allá de los detectores de toxicidad como servicio. Esta semana, un informe del New York Times reveló que ocho años después de una controversia sobre los negros que fueron etiquetados erróneamente como gorilas por un software de análisis de imágenes, los gigantes tecnológicos aún temen repetir el error.

Parte de la razón de estas fallas es que los anotadores, las personas responsables de agregar etiquetas a los conjuntos de datos de entrenamiento que sirven como ejemplos para los modelos, aportan sus propios sesgos a la mesa. Por ejemplo, con frecuencia, hay diferencias en las anotaciones entre los etiquetadores que se autoidentifican como afroamericanos y miembros de la comunidad LGBTQ+ frente a los anotadores que no se identifican como ninguno de esos dos grupos.

Para combatir algunos de estos problemas, Microsoft permite que los filtros en Azure AI Content Safety se ajusten al contexto. Pájaro explica:

Por ejemplo, la frase "corre por la colina y ataca" utilizada en un juego se consideraría un nivel medio de violencia y se bloquearía si el sistema de juego estuviera configurado para bloquear contenido de gravedad media. Un ajuste para aceptar niveles medios de violencia permitiría al modelo tolerar la frase.

“Tenemos un equipo de expertos en lingüística y equidad que trabajó para definir las pautas teniendo en cuenta la cultura, el idioma y el contexto”, agregó un portavoz de Microsoft. “Luego entrenamos los modelos de IA para reflejar estas pautas... La IA siempre cometerá algunos errores, [sin embargo,] por lo que para las aplicaciones que requieren que los errores sean casi inexistentes, recomendamos usar un humano en el circuito para verificar los resultados. ”

 Uno de los primeros en adoptar Azure AI Content Safety es Koo, una plataforma de blogs con sede en Bangalore, India, con una base de usuarios que habla más de 20 idiomas. Microsoft dice que se está asociando con Koo para abordar los desafíos de moderación, como analizar memes y aprender los matices coloquiales en otros idiomas además del inglés.

No se nos ofreció la oportunidad de probar Azure AI Content Safety antes de su lanzamiento, y Microsoft no respondió preguntas sobre sus enfoques de anotación o mitigación de sesgos. Pero tenga la seguridad de que estaremos atentos para ver cómo se comporta Azure AI Content Safety en la naturaleza.