¿Subcontratarías el análisis de datos a un pájaro?

Las palomas pueden entrenarse rápidamente para detectar masas cancerosas en las radiografías. Al igual que los algoritmos informáticos.

Pero a pesar de la eficiencia potencial de subcontratar la tarea a pájaros o computadoras, eso no es excusa para deshacerse de los radiólogos humanos, dice Ramón Alvarado, filósofo y especialista en ética de datos de la Universidad de Oregon.

Alvarado estudia cómo los humanos interactúan con la tecnología. Es particularmente susceptible a los daños que pueden resultar de una dependencia excesiva de los algoritmos y el aprendizaje automático. A medida que la automatización se introduce cada vez más en la vida cotidiana de las personas, existe el riesgo de que las computadoras devalúen el conocimiento humano.

“Son opacos, pero creemos que debido a que hacen matemáticas, son mejores que otros conocedores”, dice Alvarado. “La suposición es que el modelo sabe más, y ¿quién eres tú para decirles a las matemáticas que están equivocados?”

No es ningún secreto que los algoritmos construidos por humanos a menudo perpetúan los mismos sesgos que los influyeron. Una aplicación de reconocimiento facial entrenada principalmente en caras blancas no será tan precisa en un conjunto diverso de personas. O una herramienta de clasificación de currículums que da mayor preferencia a las personas con una educación de la Ivy League podría ignorar a las personas talentosas con antecedentes más únicos pero menos cuantificables. Pero Alvarado está interesado en una pregunta más matizada: ¿qué pasa si todo sale bien y un algoritmo es realmente mejor que un ser humano en una tarea? Incluso en estas situaciones, aún pueden ocurrir daños, Alvarado argumenta en un artículo reciente. Esto se llama “injusticia epistémica”.

El término fue acuñado por la filósofa feminista Miranda Fricker en la década de 2000. Se ha utilizado para describir el sexismo benévolo, como cuando los hombres ofrecen ayuda a las mujeres en la ferretería (un gesto amable) porque las presumen menos competentes (una motivación negativa). Alvarado amplió el marco de Fricker y lo aplicó a la ciencia de datos.

Señala la naturaleza inescrutable de la mayoría de la tecnología moderna: un algoritmo puede obtener la respuesta correcta, pero no sabemos cómo; lo que dificulta cuestionar los resultados. Incluso los científicos que diseñan los algoritmos de aprendizaje automático cada vez más sofisticados de la actualidad generalmente no pueden explicar cómo funcionan o qué utiliza la herramienta para tomar una decisión.

Un estudio citado con frecuencia encontró que un algoritmo de aprendizaje automático que distinguía correctamente a los lobos de los perros esquimales en las fotos no miraba a los caninos en sí, sino que se enfocaba en la presencia o ausencia de nieve en sus espaldas.-mapa de la foto. Y dado que una computadora, o una paloma, no puede explicar su proceso de pensamiento como lo puede hacer un humano, dejar que se apoderen devalúa nuestro propio conocimiento.

Hoy en día, el mismo tipo de algoritmo se puede utilizar para decidir si alguien merece o no un trasplante de órganos, una línea de crédito o una hipoteca.

La devaluación del conocimiento resultante de la dependencia de dicha tecnología puede tener consecuencias negativas de largo alcance. Alvarado cita un ejemplo de alto riesgo: el caso de Glenn Rodríguez, un preso al que se le negó la libertad condicional en base a un algoritmo que cuantificó su riesgo al ser liberado. A pesar de que los registros de la prisión indicaban que había sido un patrón constante para la rehabilitación, el algoritmo dictaminó de manera diferente.

Esto ha producido múltiples injusticias, argumenta Alvarado. La primera es la decisión basada en algoritmos, que sancionó a un hombre que, según todos los demás criterios, había obtenido la libertad condicional. Pero la segunda injusticia, más sutil, es la naturaleza impenetrable del propio algoritmo.

“Las tecnologías opacas perjudican a los propios tomadores de decisiones, así como a los sujetos de los procesos de toma de decisiones, al reducir su estatus de informados”, dice Alvarado. “Es una afrenta a su dignidad porque lo que sabemos, y lo que otros creen que sabemos, es una parte esencial de cómo navegamos o se nos permite navegar por el mundo”.

Ni Rodríguez, ni sus abogados, ni siquiera la junta de libertad condicional pudieron acceder a las variables que entraron en el algoritmo que determinó su destino, para comprender qué lo estaba sesgando y cuestionar su decisión. Su propio conocimiento del personaje de Rodríguez fue eclipsado por un programa de computadora opaco, y su comprensión del programa de computadora fue bloqueada por la compañía que diseñó la herramienta. Esta falta de acceso es una injusticia epistémica.

“En un mundo con una mayor automatización de la toma de decisiones, los riesgos no son solo ser perjudicados por un algoritmo, sino también quedarse atrás como creadores y retadores del conocimiento”, dice Alvarado. “Cuando nos sentamos y disfrutamos de la comodidad de estos sistemas automatizados, a menudo pasamos por alto este aspecto clave de nuestra experiencia humana”.