Cómo Walmart, Delta, Chevron y Starbucks utilizan la IA para monitorear los mensajes de los empleados
Indique la referencia a George Orwell.
Dependiendo de dónde trabaje, existe una gran posibilidad de que la inteligencia artificial esté analizando sus mensajes en Slack, Microsoft Teams, Zoom.
y otras aplicaciones populares.
Grandes empleadores estadounidenses como Walmart, Aerolíneas delta, T-Mobile, Chevrón y Starbucks, así como marcas europeas como Nestlé y AstraZeneca, han recurrido a una startup de siete años, Aware, para monitorear las conversaciones entre sus bases, según la compañía.
Jeff Schumann, cofundador y director ejecutivo de la startup con sede en Columbus, Ohio, dice que la IA ayuda a las empresas a "comprender el riesgo dentro de sus comunicaciones", obteniendo una lectura del sentimiento de los empleados en tiempo real, en lugar de depender de un informe anual o dos veces. encuesta por año.
Utilizando los datos anonimizados en el producto de análisis de Aware, los clientes pueden ver cómo los empleados de un determinado grupo de edad o en una geografía particular están respondiendo a una nueva política corporativa o campaña de marketing, según Schumann. Las docenas de modelos de inteligencia artificial de Aware, creados para leer texto y procesar imágenes, también pueden identificar intimidación, acoso, discriminación, incumplimiento, pornografía, desnudez y otros comportamientos, dijo.
Según Schumann, la herramienta de análisis de Aware, la que monitorea el sentimiento y la toxicidad de los empleados, no tiene la capacidad de marcar los nombres de los empleados individuales. Pero su herramienta eDiscovery independiente puede hacerlo en caso de amenazas extremas u otros comportamientos de riesgo predeterminados por el cliente, añadió.
Aware dijo que Walmart, T-Mobile, Chevron y Starbucks utilizan su tecnología para gestionar riesgos y cumplimiento, y ese tipo de trabajo representa alrededor del 80% del negocio de la empresa.
CNBC no recibió respuesta de Walmart, T-Mobile, Chevron, Starbucks o Nestlé sobre su uso de Aware. Un representante de AstraZeneca dijo que la compañía utiliza el producto eDiscovery pero que no utiliza análisis para monitorear el sentimiento o la toxicidad. Delta le dijo a CNBC que utiliza los análisis y eDiscovery de Aware para monitorear tendencias y sentimientos como una forma de recopilar comentarios de los empleados y otras partes interesadas, y para la retención de registros legales en su plataforma de redes sociales.
No hace falta ser un entusiasta de las novelas distópicas para ver dónde podría salir todo mal.
Jutta Williams, cofundadora de Humane Intelligence, una organización sin fines de lucro dedicada a la responsabilidad de la IA, dijo que la IA añade un aspecto nuevo y potencialmente problemático a los llamados programas de riesgo interno, que han existido durante años para evaluar cosas como el espionaje corporativo, especialmente en las comunicaciones por correo electrónico.
Hablando en términos generales sobre la inteligencia artificial de vigilancia de los empleados en lugar de la tecnología de Aware específicamente, Williams dijo a CNBC: "Mucho de esto se convierte en un crimen de pensamiento". Y añadió: "Esto es tratar a las personas como si fueran inventario de una manera que nunca antes había visto".
La IA de vigilancia de empleados es una pieza de rápido crecimiento, pero de nicho, de un mercado de IA más grande que se disparó el año pasado, tras el lanzamiento del chatbot ChatGPT de OpenAI a finales de 2022. La IA generativa se convirtió rápidamente en la frase de moda para las llamadas sobre ganancias corporativas, y alguna forma de La tecnología está automatizando tareas en casi todas las industrias, desde servicios financieros e investigación biomédica hasta logística, viajes en línea y servicios públicos.
Los ingresos de Aware han aumentado un 150% anual en promedio durante los últimos cinco años, dijo Schumann a CNBC, y su cliente típico tiene alrededor de 30.000 empleados. Los principales competidores incluyen Qualtrics, Relativity, Proofpoint, Smarsh y Netskope.
Según los estándares de la industria, Aware se mantiene bastante esbelto. La compañía recaudó dinero por última vez en 2021, cuando recaudó 60 millones de dólares en una ronda liderada por Goldman Sachs.
Gestión de activos. Compárese eso con grandes empresas de modelos de lenguaje, o LLM, como OpenAI y Anthropic, que han recaudado miles de millones de dólares cada una, en gran parte de socios estratégicos.
'Seguimiento de la toxicidad en tiempo real'
Schumann fundó la empresa en 2017 después de pasar casi ocho años trabajando en colaboración empresarial en la compañía de seguros Nationwide.
Antes de eso, fue empresario. Y Aware no es la primera empresa que ha fundado y que ha provocado pensamientos sobre Orwell.
En 2005, Schumann fundó una empresa llamada BigBrotherLite.com. Según su perfil de LinkedIn, la empresa desarrolló un software que "mejoró la experiencia de visualización digital y móvil" de la serie de telerrealidad "Gran Hermano" de CBS. En la novela clásica de Orwell “1984”, el Gran Hermano era el líder de un estado totalitario en el que los ciudadanos estaban bajo vigilancia perpetua.
"Construí un reproductor simple enfocado en una experiencia de consumidor más limpia y fácil para que la gente vea el programa de televisión en su computadora", dijo Schumann en un correo electrónico.
En Aware, está haciendo algo muy diferente.
Cada año, la compañía publica un informe que agrega información sobre miles de millones (en 2023, la cifra fue de 6.500 millones) de mensajes enviados entre grandes empresas, tabulando los factores de riesgo percibidos y las puntuaciones de sentimiento en el lugar de trabajo. Schumann se refiere a los billones de mensajes enviados a través de plataformas de comunicación en el lugar de trabajo cada año como "el conjunto de datos no estructurados de más rápido crecimiento en el mundo".
Al incluir otros tipos de contenido que se comparten, como imágenes y videos, la IA analítica de Aware analiza más de 100 millones de contenidos cada día. Al hacerlo, la tecnología crea un gráfico social de la empresa, observando qué equipos internamente hablan entre sí más que otros.
"Siempre rastrea el sentimiento de los empleados en tiempo real y siempre rastrea la toxicidad en tiempo real", dijo Schumann sobre la herramienta de análisis. “Si usted fuera un banco que utiliza Aware y el sentimiento de la fuerza laboral se disparó en los últimos 20 minutos, es porque están hablando de algo positivo, de manera colectiva. La tecnología podría decirles lo que sea”.
Aware confirmó a CNBC que utiliza datos de sus clientes empresariales para entrenar sus modelos de aprendizaje automático. El repositorio de datos de la empresa contiene alrededor de 6.500 millones de mensajes, que representan alrededor de 20.000 millones de interacciones individuales entre más de 3 millones de empleados únicos, dijo la empresa.
Cuando un nuevo cliente se registra en la herramienta de análisis, los modelos de inteligencia artificial de Aware tardan unas dos semanas en entrenarse con los mensajes de los empleados y conocer los patrones de emoción y sentimiento dentro de la empresa para poder distinguir qué es normal y qué es anormal, dijo Schumann.
"No tendrá nombres de personas, para proteger la privacidad", dijo Schumann. Más bien, dijo, los clientes verán que “tal vez la fuerza laboral mayor de 40 años en esta parte de Estados Unidos esté viendo los cambios a [una] póliza de manera muy negativa debido al costo, pero todos los demás fuera de ese grupo de edad y La ubicación lo ve positivo porque les impacta de una manera diferente”.
Pero la herramienta eDiscovery de Aware funciona de manera diferente. Una empresa puede configurar el acceso basado en roles a los nombres de los empleados dependiendo de la categoría de “riesgo extremo” que elija la empresa, lo que indica a la tecnología de Aware que extraiga el nombre de un individuo, en ciertos casos, para recursos humanos u otro representante de la empresa.
“Algunos de los más comunes son violencia extrema, intimidación extrema y acoso, pero varían según la industria”, dijo Schumann, y agregó que en los servicios financieros se rastrearía la sospecha de uso de información privilegiada.
Por ejemplo, un cliente puede especificar una política de "amenazas violentas", o cualquier otra categoría, utilizando la tecnología de Aware, dijo Schumann, y hacer que los modelos de IA monitoreen las violaciones en Slack, Microsoft.
Equipos y lugar de trabajo por Meta
. El cliente también podría combinar eso con indicadores basados en reglas para ciertas frases, declaraciones y más. Si la IA encontraba algo que violaba las políticas específicas de una empresa, podía proporcionar el nombre del empleado al representante designado del cliente.
Este tipo de práctica se ha utilizado durante años en las comunicaciones por correo electrónico. La novedad es el uso de la IA y su aplicación en plataformas de mensajería en el lugar de trabajo como Slack y Teams.
A Amba Kak, directora ejecutiva del AI Now Institute de la Universidad de Nueva York, le preocupa el uso de la IA para ayudar a determinar qué se considera comportamiento de riesgo.
"Tiene como resultado un efecto paralizador sobre lo que la gente dice en el lugar de trabajo", dijo Kak, añadiendo que la Comisión Federal de Comercio, el Departamento de Justicia y la Comisión de Igualdad de Oportunidades en el Empleo han expresado su preocupación sobre el asunto, aunque no habló específicamente sobre La tecnología de Aware. "Se trata tanto de cuestiones de derechos de los trabajadores como de privacidad".
Schumann dijo que aunque la herramienta eDiscovery de Aware permite a los equipos de investigaciones de seguridad o de recursos humanos utilizar IA para buscar en cantidades masivas de datos, hoy ya existe una “capacidad similar pero básica” en Slack, Teams y otras plataformas.
"Una distinción clave aquí es que Aware y sus modelos de IA no toman decisiones", dijo Schumann. "Nuestra IA simplemente hace que sea más fácil analizar este nuevo conjunto de datos para identificar riesgos potenciales o violaciones de políticas".
Preocupaciones sobre la privacidad
Incluso si los datos se agregan o se anonimizan, según sugiere la investigación, es un concepto erróneo. Un estudio histórico sobre privacidad de datos que utilizó datos del censo estadounidense de 1990 mostró que el 87% de los estadounidenses podían identificarse únicamente mediante el código postal, la fecha de nacimiento y el sexo. Los clientes de Aware que utilizan su herramienta de análisis tienen el poder de agregar metadatos al seguimiento de mensajes, como la edad, ubicación, división, antigüedad o función laboral del empleado.
"Lo que están diciendo se basa en una noción muy obsoleta y, yo diría, completamente desacreditada en este momento de que la anonimización o la agregación es como una solución mágica para resolver la preocupación por la privacidad", dijo Kak.
Además, el tipo de modelo de IA que utiliza Aware puede ser eficaz para generar inferencias a partir de datos agregados, haciendo conjeturas precisas, por ejemplo, sobre identificadores personales basados en el idioma, el contexto, los términos de jerga y más, según una investigación reciente.
"Ninguna empresa está esencialmente en condiciones de ofrecer garantías generales sobre la privacidad y seguridad de los LLM y este tipo de sistemas", dijo Kak. "No hay nadie que pueda decir con seriedad que estos desafíos están resueltos".
¿Y qué pasa con el recurso de los empleados? Si se marca una interacción y un trabajador es disciplinado o despedido, es difícil para él ofrecer una defensa si no está al tanto de todos los datos involucrados, dijo Williams.
“¿Cómo se enfrenta a su acusador cuando sabemos que la explicabilidad de la IA aún es inmadura?” dijo Williams.
Schumann respondió: "Ninguno de nuestros modelos de IA toma decisiones o recomendaciones sobre la disciplina de los empleados".
"Cuando el modelo señala una interacción", dijo Schumann, "proporciona un contexto completo sobre lo que sucedió y qué política desencadenó, brindando a los equipos de investigación la información que necesitan para decidir los próximos pasos consistentes con las políticas de la empresa y la ley".
No hay comentarios:
Publicar un comentario