Cuatro características de los sistemas de IA para una gobernanza tecnológica transparente: Conclusiones de la segunda conversación interurbana digital
Como parte de la iniciativa Explore Geneva, el 27 de abril celebramos nuestra segunda conversación del proyecto Intercity Digital Pop-Up en el BFM. Nos entusiasmó la idea de facilitar el diálogo entre representantes de las distintas ciudades de Edgelands: Ginebra, Medellín, Nairobi y Houston.
Foto: Captura de pantalla del evento
El despliegue de tecnología con fines de seguridad plantea profundas preguntas sobre la privacidad, la gobernanza y la confianza en todo el mundo. La última ronda de Conversaciones Interurbanas destacó cómo ciudades como Medellín, Nairobi y Ginebra están afrontando estos desafíos, revelando una compleja red de experiencias y preocupaciones con resonancia global.
Medellín, en Colombia, a menudo reconocida como pionera en innovación urbana, está considerando la adopción de tecnología de reconocimiento facial para mejorar la seguridad pública. Sin embargo, esta ambición se ve limitada por la infraestructura de bases de datos y los escándalos de adquisiciones que han erosionado la confianza pública. A pesar de promocionarse como líder en tecnología de vigilancia, Medellín enfrenta los desafíos prácticos de implementar estos sistemas de forma responsable. La lucha de la ciudad pone de relieve un problema crucial: la adopción de la tecnología debe ir acompañada de marcos de gobernanza sólidos para garantizar su uso responsable y salvaguardar los derechos de los ciudadanos.
En Nairobi, Kenia, la tecnología demuestra ser un arma de doble filo. Casos de gran repercusión, como el uso de imágenes de cámaras de seguridad para resolver asesinatos y mejorar la seguridad de las mujeres, ilustran los beneficios tangibles de la vigilancia. Sin embargo, esta adopción de la tecnología se ve atenuada por serias preocupaciones sobre la protección de datos y la seguridad de las plataformas. La experiencia de Nairobi pone de relieve una tensión fundamental: la necesidad de aprovechar los avances tecnológicos, protegiendo al mismo tiempo la privacidad individual y abordando el temor a una vigilancia excesiva. A medida que la ciudad aborda estos problemas, debe lograr un delicado equilibrio entre la innovación y la protección de las libertades civiles.
La relación de Ginebra con la tecnología y la seguridad se caracteriza por una complacencia singular. La confianza en el sistema democrático ha generado un debate público mínimo sobre el uso de las tecnologías digitales con fines de seguridad. Esta falta de participación crítica contrasta marcadamente con los debates avanzados de la ciudad sobre otros aspectos de la IA, como los modelos de lenguaje a gran escala y la IA generativa. La ausencia de un diálogo sólido que vincule la IA con las preocupaciones de seguridad refleja un problema más amplio: una complacencia que puede obstaculizar las medidas proactivas necesarias para abordar futuros riesgos tecnológicos. El reto de Ginebra reside en fomentar un discurso público más informado y crítico sobre las implicaciones de la IA en la seguridad.
Las conversaciones entre los comisarios revelaron un hilo conductor común en estas ciudades: el papel fundamental de la confianza en la adopción de tecnología y los desafíos que conlleva para la transparencia. En Ginebra, el malestar público con la tecnología se manifiesta en reacciones a filtraciones de datos, noticias falsas y deepfakes. Esta desconfianza se ve agravada por incidentes como la reacción negativa contra la implementación de la IA en las estaciones de tren. Como señaló Bernard Rappaz, comisario de Edgelands Ginebra, reconocer la importancia de la integridad digital es un buen punto de partida para debatir los desafíos sociales que plantean las tecnologías digitales. «Sin confianza, los avances tecnológicos pueden provocar más miedo que seguridad».
George Mwengala, curador de Edgelands Nairobi, enfatizó los desafíos que enfrentan los gobiernos para regular las tecnologías en rápida evolución. «Elaborar regulaciones efectivas no es suficiente; también deben mantenerse relevantes a medida que avanza la tecnología». La propiedad y el uso ético de la tecnología son cruciales en este panorama regulatorio, especialmente ahora que Kenia se prepara para nuevas regulaciones de IA.
El curador de Medellín, Juan Aristizábal, añadió que la compensación percibida entre una mayor vigilancia y una reducción de la delincuencia es una consideración importante para los ciudadanos. Una gobernanza eficaz puede mejorar la seguridad pública, pero debe equilibrarla con medidas que protejan las libertades individuales y eviten el uso indebido de la tecnología.
Para que la IA y otras tecnologías digitales se integren eficazmente en los marcos de seguridad pública, se consideraron esenciales cuatro características clave:
- Participación ciudadana: Las tecnologías de IA deben ser relevantes para las necesidades de la comunidad. Involucrar a la ciudadanía en su desarrollo y supervisión puede contribuir a garantizar que los desafíos se aborden con prontitud y que las soluciones propuestas sean pragmáticas y estén centradas en la comunidad.
- Enfoque regulatorio: Si bien la regulación de la IA es un desafío, es importante no olvidar las tecnologías existentes. Un enfoque regulatorio que considere tanto las tecnologías nuevas como las existentes puede ayudar a gestionar sus interacciones e impactos sociales.
- Participación de las partes interesadas: los gobiernos municipales deben interactuar constantemente con diferentes partes interesadas, desde profesionales hasta líderes comunitarios, para aumentar la transparencia sobre cómo utilizan las tecnologías digitales y construir una comunidad de ciudadanos que comprendan las tecnologías y puedan contribuir a futuras implementaciones tecnológicas.
- Entornos de pruebas: Los gobiernos municipales deben crear entornos controlados para probar aplicaciones de IA, ya que estos pueden brindar información valiosa y promover la innovación al tiempo que mitigan los riesgos.
Los diferentes puntos de vista de Medellín, Nairobi y Ginebra subrayan las diversas maneras en que las ciudades abordan la intersección de la tecnología y la seguridad. A medida que avanzamos, es evidente que fomentar la confianza pública, garantizar una gobernanza transparente y mantener marcos regulatorios adecuados serán cruciales para abordar las complejidades de la IA y las tecnologías de vigilancia. Al abordar estos desafíos de frente, podemos crear un futuro donde la tecnología mejore la seguridad pública sin comprometer los derechos humanos ni los valores sociales.
El debate global sobre tecnología y seguridad cambia constantemente a medida que surgen nuevas tecnologías y amenazas. Es imperativo que sigamos involucrándonos, cuestionando y perfeccionando nuestros enfoques para garantizar que el despliegue de la tecnología sirva al bien público, respete la privacidad y defienda los valores democráticos. Solo así podremos aprovechar al máximo el potencial de los avances tecnológicos de una manera que beneficie verdaderamente a la sociedad.
Estén atentos a nuestra próxima conversación digital interurbana, donde residentes de diferentes ciudades debatirán las expectativas de transparencia y seguridad. Si desean participar, postúlense aquí.
