Evalua los modales de tus aplicaciones con IA con PyRIT [ES]
Si estás trabajando con IA últimamente (y probablemente estás, según tu perfil de LinkedIn 😜), puede que te hayas perdido una de las gemas ocultas para hacer tus soluciones de IA más seguras y, por extensión, más responsables. Este es un tema que me motiva mucho estos días, así que voy a volver sobre el en próximos artículos.
He estado jugando mucho durante los últimos meses con esta pequeña herramienta para mi TFG, y quería compartir una introducción breve para ver si puedo desocultarla para ti y, ojalá, motivar a todos los departamentos de desarrollo de aplicaciones con IA a incluirla en sus procesos de ciclo de vida.
Python Risk Identification Tool for generative AI (PyRIT)
PyRIT es una herramienta modular y open-source creada en Python por el Red Team de Microsoft. Si estás pensando en crear un red team en tu empresa (deberías pensarlo, permíteme insistir, si quieres que tus aplicaciones sean responsables), esta herramienta ofrece todo lo necesario para las primeras evaluaciones de riesgos y la automatización necesaria para hacerlas más robustas y automáticas, sentando las bases para mejoras incrementales.
PyRIT está diseñado para realizar pruebas adversarias. Su función principal es más sencilla de lo que parece: permite automatizar el envío de prompts a tu solución de IA conversacional (puede ser un modelo o una aplicación terminada) y recibir las repuestas para el análisis.
La implementación por defecto viene con un conjunto de pruebas completo creado por el Red Team de Microsoft que cubren la mayoría de las estrategias de ciberataque contra soluciones de IA actuales, de manera que puedes hacer un conjunto completo de pruebas desde el principio. También permite utilizar tus propios prompts para generar pruebas más específicas que tu propio red team vaya produciendo.
Su diseño modular permite una extensibilidad casi total, pero es tan completo que probablemente no necesite ninguna personalización para empezar utilizarlo y sacarle provecho.
Además, gracias a una integración estándar con AI Foundry (en preview), se pueden ver los resultados de tus evaluaciones en un cuadro de mando que se actualiza automáticamente después de cada ejecución. También se pueden descargar los datos en bruto para integrarlos en cualquier plataforma de datos de tu elección.
¡¿Por dónde empiezo?!
Descarga la aplicación de GitHub (se instala como un módulo más de Python en tu entorno) y echa un vistazo a su documentación. Recomiendo empezar con las recetas del cookbooks para tener unos cuantos ejemplos funcionando rápidamente, y a partir de ahí entender cómo se pueden extender para las necesidades específicas de tu aplicación:
- Repositorio: https://github.com/Azure/PyRIT
- Documentación: https://azure.github.io/PyRIT/
- Cookbooks: https://azure.github.io/PyRIT/cookbooks/README.html
Comience con nuestra documentación sobre cómo ejecutar un examen automatizado de riesgos de seguridad con el AI Red Teaming Agent.