205 Paula Fabiana Romano y Patricia A. Cozzo Villafañe nal. En términos generales cuando se implementa cualquier sistema de información basado en sistemas de inteligencia artificial deben existir programas de alfabetización informática para usuarios y debates en los que participen profesionales del sistema judicial. El auge de los sistemas automatizados de toma de decisiones en todos los ámbitos ha traído consigo la constatación de que, lejos de resolver problemas y procesos de manera objetiva, los algoritmos reproducen y perpetúan las estructuras de discriminación que afectan a las personas pertenecientes a grupos que, históricamente, se han encontrado en una posición de subordinación y desventaja (Arnanz, 2021). El Estado social digital, advierte que el “riesgo de llegar a una distopía digital es real” no solo porque la transformación que la inteligencia artificial está provocando evidencia una insuficiencia o ausencia de vinculación a los derechos humanos, sino también porque la inteligencia artificial es, en la práctica, una zona que “carece de derechos humanos”. Ello se percibe especialmente cuando las exigencias básicas que subyacen a los derechos humanos se convierten en una excepción. Así ocurre en ámbitos como la discriminación, la injusticia, la arbitrariedad y la discrecionalidad. En el marco del desarrollo algorítmico la noción de riesgo y la aplicación de su lógica al ordenamiento jurídico. Las garantías de transparencia y la explicabilidad de los algoritmos son consecuencias necesarias de principios éticos esenciales al uso de la IA, como expresión de principios democráticos y derechos fundamentales. La capacidad exponencial de procesar datos que provienen de multitud de fuentes matemáticas5 como base ha convertido en una realidad la posibilidad de resolver mediante un análisis predictivo y con la ayuda de la automatización de decisiones –por ejemplo, la selección de una persona para acceder a un programa de beneficio social, la gestión sanitaria, o la verificación de la identidad como persona–, circunstancia suficientes para crear nuevas fuentes de discriminación con características puntuales que encuentran su prevalencia en una concepción preventiva y fielmente munida al Derecho. La transparencia y la explicabilidad también supone que el sistema sea auditable, esto es, implica la capacidad de un sistema de someterse a la evaluación de sus algoritmos, datos y procesos de diseño y garan5 Alba Soriano Arnanz es Investigadora en el Departamento de Derecho Administrativo de la Universidad de Valencia - El artículo se publicó en el número 56 de la Revista General de Derecho Administrativo (Iustel, enero 2021).
RkJQdWJsaXNoZXIy MjEzNzYz