¿Qué se entiende por transparencia algorítmica? Cuando nos enfrentamos a diario con aplicaciones que usan sistemas de inteligencia artificial para recomendaciones o predicciones como, por ejemplo, la siguiente serie a ver o el siguiente juego que compramos, muchas veces no nos preocupamos porque estas compañías usen nuestros datos de navegación o de hábitos para darnos la mejor recomendación, pues en teoría, nos están ahorrando tiempo de búsqueda y de selección. Sin embargo, cuando estas predicciones pueden llegar a afectar nuestro desarrollo social o económico es cuando consideramos necesario que este sistema nos mantenga informados de cómo está usando nuestros datos y cómo hizo el sistema para arrojar esa predicción, por ejemplo, cuando se niegan créditos o beneficios sociales. Las personas tienen derecho a saber cuándo se toma una decisión sobre la base de los algoritmos de inteligencia artificial y, de esas circunstancias, exigir y solicitar explicaciones e información a las empresas, tanto del sector público como del sector privado. Es por ello que la transparencia y la explicación algorítmica van de la mano, pues a través de estos principios es que los ciudadanos y, en general, toda la sociedad, accede a información clara, inteligible y de fácil acceso sobre el diseño, implementación e impacto de la IA, para la participación de todos los actores en la creación, implementación y evaluación de sistemas de inteligencia artificial. No obstante, este no puede ser un principio o un derecho absoluto, pues se deben salvaguardar otros derechos en cuanto a la confidencialidad de cierta información, así como, en algunos casos, afectaciones a la propiedad intelectual. El Banco Interamericano de Desarrollo, en 2019, sostuvo que existen tres riesgos éticos en los sistemas de inteligencia artificial. El primero, relacionado con la privacidad, recolección, tratamiento y capacidad de protección de los datos personales. El segundo, relacionado con los temas de discriminación algorítmica, en donde se identifican los diversos sesgos que pueden terminar por causar algún daño. Y finalmente, los riesgos relacionados con la opacidad, donde se señala que se hace necesaria la transparencia y la rendición de cuentas del uso de algoritmos para conocer qué clase de información se recoge, cómo se gestiona, cómo se analiza y qué decisiones se toman a partir de ella, y con base en qué factores, lo cual resume la definición propia de transparencia algorítmica. Así, la transparencia algorítmica hace referencia al principio de que los factores que influyen en la decisión de un sistema algorítmico deben ser transparentes o visibles para las personas que emplean, o se ven afectadas por, los resultados del sistema algorítmico. ¿Transparencia significa, entonces, rendición de cuentas? Aunque la transparencia algorítmica y la rendición de cuentas se utilizan a menudo indistintamente, los conceptos subyacentes difieren. Mientras que la transparencia algorítmica sugiere que las entradas de un sistema y el funcionamiento de este deben ser conocidos, la transparencia algorítmica no requiere necesariamente que el resultado del sistema sea justo. La responsabilidad algorítmica se refiere a la noción de que las instituciones que construyen o emplean algoritmos deben ser responsables de los resultados de las decisiones tomadas por los sistemas algorítmicos. Comprender el resultado de un sistema algorítmico para poder pedir cuentas a sus propietarios y diseñadores presupone un alto grado de transparencia algorítmica. Hay quienes señalan que garantizar un mayor nivel de transparencia da lugar a una mayor rendición de cuentas. Actualmente, no hay un consenso sobre en qué consiste en la transparencia algorítmica. Los numerosos marcos, directrices éticas y principios para el diseño y el desarrollo de algoritmos, que han surgido en los últimos años, ponen de presente las diferentes dimensiones de la transparencia. La transparencia algorítmica puede referirse, por ejemplo, a las medidas destinadas a garantizar la calidad y la equidad durante las fases de diseño y desarrollo, así como el tipo, la fuente y la calidad de los datos de entrada o de entrenamiento, o los métodos y modelos algorítmicos utilizados, o los procesos de prueba, evaluación y seguimiento que se efectúen durante todas las fases. Sin embargo, estos componentes de la transparencia algorítmica se pueden clasificar en: uno. La participación humana, en donde la información relevante que debe estar disponible será, por ejemplo, el objetivo, el propósito y la intención del algoritmo, así como cuáles son las áreas encargadas de cada fase, desde el diseño hasta la auditoría. Dos. Los datos. Será relevante para cualquier parte interesada, conocer y entender sobre la calidad de los datos, incluida su exactitud, integridad e incertidumbre, así como su oportunidad, magnitud y diversos supuestos, y también la forma en que se recolectaron, adquirieron, transformaron, examinaron y editaron. Además, será relevante conocer si los datos que se utilizan son de carácter público o privado. Tres. El modelo. Hace referencia al conocimiento previo de las características o variables utilizadas en el algoritmo, así como la ponderación de estos factores y su justificación. Dar a conocer los riesgos previsibles e imprevisibles que se contemplaron durante las diversas fases. Cuarto. Las interferencias. Detallar las diferentes interferencias utilizadas con un conjunto o un subconjunto de datos estándar, así como el margen de error y la tasa de precisión que presenta el sistema. También, será relevante mencionar las diferentes medidas adoptadas para corregir los errores conocidos. Quinto. La personalización. En donde será relevante informar los diversos tipos de información personal que se utilizan en la construcción y diseño del modelo como, por ejemplo, datos públicos, privados, biométricos o, de otra forma, sensibles. Y sexto, la auditoría. Lo que se busca, es describir cómo fue el proceso de auditoría, bien sea interna o externa, sobre el sistema y las recomendaciones entregadas. ¿Qué herramientas tecnológicas se usan para mitigar la opacidad? Cuando intentamos comprender el funcionamiento de un sistema algorítmico no resulta muy informático indagar por los pasos que sigue un algoritmo. La respuesta a esta pregunta podría ser una explicación simplista del proceso general, que no aporta mucha información sobre por qué el sistema realiza determinadas tareas. La respuesta podría ser una lista completa de los pasos dados en forma de algoritmo o modelo complejo que, probablemente, será tan complejo que ni siquiera los expertos entenderían por qué se dio cada paso. Ambas respuestas serían probablemente inútiles para los ciudadanos, los reguladores y la mayoría de los expertos. Algunos métodos técnicos pueden ayudar a reducir la opacidad. Por ejemplo, el análisis de los datos de entrada. A través de este método se examina toda la información puesta a disposición de un sistema para tomar una decisión con el fin de garantizar que los datos de entrada no sean defectuosos, incompletos o sesgados. Se requiere del apoyo del responsable de los datos para determinar cómo se recolectaron. Este método resulta relevante para comprender un sistema y sus componentes. Otra herramienta es el análisis estadístico de los resultados. En este método, por ejemplo, se pueden usar conjuntos de datos de pruebas para determinar si un sistema se comporta de forma sólida en diversas poblaciones, y no conduce a resultados imprevistos o no deseados. A pesar de que este método no proporciona las razones por las cuales un sistema ha dado un paso en específico, este puede ayudar a entender si hay problemas más importantes que justifiquen una inspección más detallada. Este es un método importante en los sistemas estadísticos, más no en los de aprendizaje automático. Otro método se basa en las pruebas de sensibilidad. El objetivo de este enfoque es comprender mejor cómo reacciona un sistema, proporcionando muchas entradas o casos de prueba que muestren diferencias muy leves. Por ejemplo, enviando cientos de solicitudes de créditos, solo ligeramente diferentes, a un sistema automatizado de puntuación de crédito. Los investigadores pueden inferir información sobre el sistema a partir del análisis de los resultados. Se trata de un método especialmente importante en el contexto de los algoritmos de aprendizaje automático en el que, incluso, los investigadores y los desarrolladores de un determinado sistema pueden tener una visión limitada de cómo producen los resultados. Veamos algunas conclusiones. El papel que juega la transparencia algorítmica es fundamental, pues abre la posibilidad de auditar y supervisar los datos que entran, cómo se procesan y cómo se leen en un sistema de toma de decisiones algorítmicas mediante inteligencia artificial. Será posible, entonces, minimizar el riesgo de implementar procesos algorítmicos discriminatorios, condicionar arbitrariamente las decisiones de las personas y establecer responsabilidades cuando estos procesos entregan resultados no concluyentes, utilizan datos incorrectos o arrojan resultados injustos. De un lado, la dignidad humana implica que cada persona entienda y conozca el razonamiento tras las decisiones automatizadas, toda vez que esta información permite que las personas controlen qué información suya se hace pública y qué destinación se le está dando. Por eso, la transparencia y la explicabilidad deben trabajarse conjuntamente, ya que los resultados y los subprocesos que conducen a ellos deberían aspirar a ser comprensibles y trazables, apropiados al contexto. De otro lado, en la ética de los datos, se debe brindar información clara sobre el origen de los datos, sus características y los fines para los cuales son utilizados. Además, en la ética de los algoritmos, se debe brindar información pertinente sobre los objetivos del algoritmo, los resultados esperados, los resultados obtenidos y los indicadores de desempeño del algoritmo. Finalmente, en la ética de las prácticas, se debe proporcionar la información comprensible y relevante, sobre el papel de las personas involucradas en el diseño, desarrollo e implementación de los sistemas de IA. ¿Cuáles son sus objetivos y los manuales de conducta aplicados a este trabajo? Se deben privilegiar los sistemas de código abierto y los manuales deben ser públicos. Debe informarse a los usuarios cuando no están interactuando con otro ser humano, y sobre la forma y los resultados de las evaluaciones de estos sistemas.
