No construyamos una neuro-Clearview

Neurotech se está acercando al peligroso Crappy Valley del reconocimiento facial: es lo suficientemente buena para ser considerada factible, pero no lo suficientemente buena para ser utilizada a escala de forma confiable.

Lo que hace que el software de Clearview sea tan peligroso, después de todo, no es que permita una identificación rápida, cómoda y omnipresente de cualquier persona en cualquier imagen: eso tendría, en efecto, enormes implicaciones para la privacidad que probablemente serían un negativo neto frente a los casos de uso positivos, pero podría regularse de forma que se minimice el impacto negativo y se maximizaran los positivos. El problema es que no funciona: es lo suficientemente bueno para pasar las demostraciones a clientes e impresionar a la prensa, pero una vez que se empieza a utilizar en decenas de miles de imágenes al día, la tasa de error es tan grande que obstruye cualquier sistema de investigación criminal que se construya en torno a la suposición de que funciona.

Lo importante, sin embargo, es entender que a sus clientes no les importa. Las instituciones que contratan sus servicios no están, históricamente, exageradamente comprometidas con la transparencia y la regulación externa. Lo que compran es la reputación de la tecnología, no su rendimiento. Un número suficientemente grande de personas, prensa, jurados, etc., creen o pretenden creer que el reconocimiento facial funciona como en la televisión, lo que les da mucho margen para justificar lo que sea que querían hacer de antemano. Tanto a quienes le preocupa como a quienes les atrae el abuso de esta tecnología, da la impresión de que debería funcionar, ya que nos hemos acostumbrado a ello en la ficción, y, fundamentalmente, es conceptualmente intuitivo, aunque en la práctica conseguir una tasa de error lo suficientemente baja en condiciones realistas sea técnicamente muy muy difícil.

La neurotecnología, en su etapa actual, se encuentra en una conjunción aún más peligrosa de cómo se ve, cómo funciona, y para qué es útil. Consideremos un probable primer caso de uso en las fuerza de seguridad: un «detector de mentiras cerebral».

• El concepto resulta familiar en la ficción y es eminentemente plausible en un sentido intuitivo (si se puede mirar dentro del cerebro de alguien, debe ser fácil ver si está mintiendo), por lo que aumenta el apoyo social e institucional.
• La prensa popular ha exagerado resultados muy limitados al punto que mucha gente cree que ya hemos construido esta máquina o que estamos muy cerca de hacerlo.
• No lo hemos hecho y estamos muy lejos de poder hacerlo, por lo que no agregaría a la precisión de las investigaciones policiales, y cualquiera que sea la tasa de falsos positivos que tenga, llevaría a un número inaceptable de inocentes a ir a la cárcel porque «el lector de cerebros dice que están mintiendo».
• Las instituciones que todavía confían en procedimientos como los polígrafos o las «técnicas de interrogatorio mejoradas» no son especialmente puntillosas con los falsos positivos, y de hecho los consideran útiles dadas estructuras de incentivos contraproducentes.

Esto es en primer lugar peligroso a nivel social, y en segundo lugar muy malo para la propia neurotecnología. Aunque superficialmente conduce a una mayor inversión en el área, en su mayor parte esta se dirige a investigación superficial, desplazando líneas de investigación más profundas y lentas, pero finalmente más fructíferas. El infame «valle de la desilusión» no es una característica del desarrollo tecnológico en sí mismo, sino una consecuencia de la interacción entre la exageración interesada (en colusión tácita con medios de comunicación insuficientemente escépticos sobre anuncios de productos) y un exceso de entusiasmo en adquisiciones e inversiones, lo que lleva al uso a una escala que no es justificada por la capacidad de la tecnología, maximiza los efectos secundarios negativos, y conduce a una innecesaria y a menudo larga fase de decepción. Del mismo modo en que es cada vez más difícil conseguir que los mejores desarrolladores trabajen en  reconocimiento facial, el despliegue generalizado de mala neurotecnología con resultados éticos negativos (y, para reiterarlo, el hecho de que funcione mal no es un error para los peores clientes potenciales, es una ventaja), independientemente de lo que haga para los flujos de inversión, alejará a los mejores investigadores, retrasando probablemente el progreso en el desarrollo de ciencia y tecnología realmente útiles.

Por otro lado, la existencia del Crappy Valley significa que tenemos una estrategia regulatoria que complementa muy bien el desarrollo de regulaciones directamente impulsadas por la contención de los impactos negativos, que es, por supuesto, una directriz necesaria, pero

• Solo es políticamente viable cuando esos impactos negativos empiezan a ser visibles.
• Le es irrelevante a quienes consideran que los impactos positivos justifican los negativos.

La forma de eludir esos factores es la regulación temprana de tecnologías emergentes mediante el desarrollo preventivo de normas estrictas de rendimiento. Leyes que prohíban el despliegue del reconocimiento facial si no se superan pruebas de rendimiento que imiten las condiciones del mundo real lo habrían ralentizado considerablemente, y posiblemente frenado. Para pasar estos tests hubieran tenido que demostrar en un enorme conjunto de pruebas en condiciones muy diferentes de calidad de imagen, cambios de aspecto, etc., una tasa de falsos positivos cercana a cero. Esta hubiese sido una normativa mucho más fácil de aprobar cuando la tecnología estaba todavía en sus primeras fases, con el apoyo de grupos que no hoy apoyarían la prohibición de una tecnología aparentemente funcional y ya desplegada.

Nos estamos acercando al final de esa ventana de oportunidad con la neurotecnología. Cada vez más personas creen o fingen creer que funciona, cada vez más empresas y clientes potenciales creen o fingen creer que funciona — y en realidad no funciona, no con la suficiente solidez como para ser utilizada para lo que se la utilizaría. Todavía no se ha comercializado en una escala significativa, pero no estamos lejos de ello, así que es importante presionar por regulación que, por ejemplo, prohíba el despliegue de un «detector de mentiras cerebral» a menos que pase pruebas en subconjuntos estadísticamente representativos de la población y de las condiciones potenciales uso. Es fácil defender, y actualmente muy difícil de cumplir, requisitos como niveles de falsos positivos cercanos a cero; incluso el 1% sería monstruosamente grande en cualquier aplicación realista de la tecnología. Más aún, la misma tasa de falsos positivos debería exigirse para las personas con depresión, ADHD, resaca, falta de sueño, que no están hablando en su lengua materna, que son propensas a la epilepsia, que toman algún tipo de medicación, que padecen dolor crónico, o que simplemente tienen un cerebro que no funciona del todo como los del puñado de sujetos experimentales (la mayoría de las veces jóvenes estudiantes universitarios blancos) que son suficientes hoy en día para obtener titulares del estilo de «Científicos construyen una máquina que puede leer la mente». Y no olvidemos que «mentir» es probablemente una etiqueta sobresimplificada para una multitud de procesos cognitivos diferentes, que cada cerebro hace todo de forma diferente (o de lo contrario no habría casos de recuperación de accidentes cerebrovasculares menores), etc, etc. Validar un detector de mentiras o cualquier otra neurotecnología sería (y debería ser) extremadamente complejo de validar, e incluso más caro, riesgoso, y lento que en la industria farmacéutica, con requisitos de bajo costo político antes de que la tecnología esté en aplicación.

Esto ayudaría tanto a la sociedad como a la industria de la neurotecnología en sí misma. Muchas veces la mala tecnología, como el mal dinero, desplaza a la buena. La regulación ex ante, basada en estrictos requisitos de rendimiento, es un complemento útil de la que se basa, por ejemplo, en el impacto sobre el derecho a la intimidad. En el Crappy Valley encontramos tanto tecnologías en vías de funcionar como tecnologías que nunca funcionarán, todas ellas potencialmente peligrosas. Limpiar ese valle nos ayudaría mucho a prevenir los efectos negativos de ambas.

Marcelo Rinesi