Recursos de fuentes abiertas de DARPA para ayudar en la evaluación de defensas adversarias de IA

Recursos de fuentes abiertas de DARPA para ayudar en la evaluación de defensas adversarias de IA

 

https://www.darpa.mil/news-events/2021-12-21
Banco de pruebas de evaluación, conjuntos de datos, herramientas desarrolladas en el programa GARD lanzadas para impulsar a la comunidad y fomentar la creación de defensas más sólidas contra los ataques a los modelos de ML

 

 Hay muchas debilidades inherentes que subyacen a los modelos de aprendizaje automático (ML) existentes, lo que abre la tecnología a la suplantación de identidad, la corrupción y otras formas de engaño. Los ataques a los algoritmos de IA podrían tener como resultado una variedad de efectos negativos, desde alterar un motor de recomendación de contenido hasta interrumpir el funcionamiento de un vehículo autónomo. A medida que los modelos de ML se integran cada vez más en la infraestructura y los sistemas críticos, estas vulnerabilidades se vuelven cada vez más preocupantes. El programa Garantizar la solidez de la IA contra el engaño (GARD, por sus siglas en inglés) de DARPA se centra en adelantarse a este desafío de seguridad mediante el desarrollo de una nueva generación de defensas contra los ataques adversarios en los modelos de ML.

La respuesta de GARD a la IA antagónica se centra en unos pocos objetivos centrales. Uno de los cuales es el desarrollo de un banco de pruebas para caracterizar las defensas de ML y evaluar el alcance de su aplicabilidad. Dado que el campo de la IA contradictoria es relativamente incipiente, los métodos para probar y evaluar las posibles defensas son pocos, y los que existen carecen de rigor y sofisticación. Asegurarse de que las defensas emergentes sigan el ritmo, o superen, las capacidades de los ataques conocidos es fundamental para establecer la confianza en la tecnología y garantizar su uso eventual. Para respaldar este objetivo, los investigadores de GARD desarrollaron una serie de recursos y herramientas virtuales para ayudar a reforzar los esfuerzos de la comunidad para evaluar y verificar la efectividad de los modelos de ML existentes y emergentes y las defensas contra los ataques de los adversarios.

“Otras comunidades técnicas, como la criptografía, han adoptado la transparencia y han descubierto que si está abierto a dejar que la gente pruebe las cosas, la tecnología mejorará”, dijo Bruce Draper, el gerente del programa que dirige GARD. “Con GARD, estamos tomando una página de la criptografía y nos esforzamos por crear una comunidad para facilitar el intercambio abierto de ideas, herramientas y tecnologías que pueden ayudar a los investigadores a probar y evaluar sus defensas de ML. Nuestro objetivo es elevar el nivel de los esfuerzos de evaluación existentes, aportando más sofisticación y madurez al campo”.

Los investigadores de GARD de Two Six Technologies, IBM, MITRE, la Universidad de Chicago y Google Research han generado en colaboración un banco de pruebas virtual, una caja de herramientas, un conjunto de datos de evaluación comparativa y materiales de capacitación para permitir este esfuerzo. Además, han puesto estos activos a disposición de la comunidad investigadora en general a través de un depósito público. “¿Qué te hace confiar en un sistema? A menudo se trata de comprender que el sistema ha sido probado por un evaluador experto con las herramientas y los datos correctos. A través de este repositorio GARD disponible abiertamente, proporcionamos un punto de partida para todas estas piezas”, señaló Draper.

El centro de la lista de activos es una plataforma virtual llamada Armory que permite evaluaciones repetibles, escalables y sólidas de las defensas adversarias. El "banco de pruebas" de Armory proporciona a los investigadores una forma de medir sus defensas contra ataques conocidos y escenarios relevantes. También brinda la capacidad de alterar los escenarios y realizar cambios, lo que garantiza que las defensas sean capaces de brindar resultados repetibles en una variedad de ataques.

Armory utiliza una biblioteca de Python para la seguridad de ML llamada Adversarial Robustness Toolbox o ART. ART proporciona herramientas que permiten a los desarrolladores e investigadores defender y evaluar sus modelos y aplicaciones de ML contra una serie de amenazas adversarias, como evasión, envenenamiento, extracción e inferencia. La caja de herramientas se desarrolló originalmente fuera del programa GARD como una plataforma de intercambio de académico a académico. El programa GARD está trabajando para madurar la biblioteca y elevarla a un estándar definitivo para los usuarios, agregando conjuntos de datos y metodología de evaluación, así como nuevos elementos como procesos completos. Armory aprovecha en gran medida los componentes de la biblioteca ART para ataques e integración de modelos, así como escenarios y conjuntos de datos generados por MITRE.

El conjunto de datos de referencia Adversarial Patches Rearranged In COnText, o APRICOT, también está disponible a través del repositorio. APRICOT se creó para permitir una investigación reproducible sobre la eficacia en el mundo real de los ataques de parches de adversarios físicos en los sistemas de detección de objetos. El conjunto de datos permite a los usuarios proyectar cosas en 3D para que puedan replicar y derrotar más fácilmente los ataques físicos, que es una función única de este recurso. “Esencialmente, estamos facilitando que los investigadores prueben sus defensas y se aseguren de que realmente están resolviendo los problemas para los que están diseñados”, dijo Draper.

A pesar de ser un campo emergente, ya hay una serie de temas comunes y modos de falla observados en las defensas adversarias de IA actuales. A menudo, los investigadores y desarrolladores creen que algo funcionará en un espectro de ataques, solo para darse cuenta de que carece de solidez incluso contra desviaciones menores. Para ayudar a abordar este desafío, Google Research ha creado el repositorio de autoaprendizaje de Google Research que está disponible a través del kit de herramientas de evaluación GARD. El repositorio contiene "maniquíes de prueba", o defensas que no están diseñadas para ser lo último en tecnología, pero representan una idea o enfoque común que se usa para construir defensas. Se sabe que los "maniquíes" están rotos, pero ofrecen una forma para que los investigadores se sumerjan en las defensas y pasen por el proceso de evaluar adecuadamente sus fallas.

“El objetivo es ayudar a la comunidad GARD a mejorar sus habilidades de evaluación del sistema al comprender cómo funcionan realmente sus ideas y cómo evitar errores comunes que restan valor a la solidez de su defensa”, dijo Draper. “Con el repositorio Self-Study, los investigadores obtienen una comprensión práctica. Este proyecto está diseñado para brindarles experiencia en el campo para ayudarlos a mejorar sus habilidades de evaluación”.

El repositorio de Evaluación Holística de Defensas Adversariales del programa GARD está disponible en https://www.gardproject.org/. Se alienta a los investigadores interesados a que aprovechen estos recursos y los consulten con frecuencia para ver las actualizaciones.