Google llevaba años intentando integrar la IA generativa en su gama de productos, desde Gemini en Google Docs hasta la visión general de la IA en sus motores de búsqueda, y ahora Nano Banana 2 en Google Earth. Pero resulta que combinar lugares reales con IA generativa fue un desastre, ya que los usuarios generaron algunas imágenes inapropiadas, lo que obligó a Google a retirar la función menos de un día después de su lanzamiento.
«Sabemos que la gente confía especialmente en Google Earth para obtener una visión fiable del mundo», declaró un portavoz de Google a Fortune. «Es importante señalar que las imágenes generadas no aparecieron en la experiencia principal de Google Earth para el resto de usuarios… y llevaban una marca de agua que indicaba que habían sido generadas por IA».
Los comentarios del portavoz se producen después de que pronto quedara claro que los usuarios habían empezado a hacer un uso indebido del sistema para crear imágenes falsas con fines de desinformación. Algunas de ellas mostraban una central nuclear en Irán o refugiados cerca de la frontera entre México y EE. UU.
Publicidad
Publicidad
La función permitía a los usuarios superponer escenas generadas por IA sobre imágenes reales de satélite, aéreas y en 3D. Google preveía usos legítimos, como la visualización de conceptos de planificación o reconstrucciones históricas, pero los usuarios comenzaron casi de inmediato a generar desastres inventados, instalaciones militares falsas y escenas de conflicto vinculadas a ubicaciones del mundo real.
Efectos adversos habituales en el uso de la IA
La tecnología Nano Banana de Google permite a los usuarios generar imágenes mediante IA utilizando consultas sencillas, integradas en su chatbot Gemini. A diferencia de los generadores de imágenes por IA anteriores, Nano Banana se diseñó para permitir a los usuarios editar sus imágenes. Al igual que Photoshop, la IA añadía, eliminaba o modificaba objetos dentro de una imagen, conservando al mismo tiempo sus características realistas.
Google lanzó la integración del software Nano Banana con Google Earth con algunas medidas de seguridad. Las imágenes generadas mediante el sistema se separaban de las imágenes auténticas de Google Earth y se les incorporaban marcas de agua diseñadas para indicar que habían sido creadas con IA, según explicó un portavoz de Google a Fortune. La empresa también utiliza «SynthID», una tecnología de marcas de agua criptográficas diseñada para identificar contenidos generados por IA. Aun así, los expertos afirman que las escasas directrices establecidas por la empresa no son suficientes.
«Hay que reconocer que Google cuenta con un sistema que permite detectar las imágenes falsificadas», declaró Emily Black, profesora de informática e ingeniería de la Universidad de Nueva York, a Fortune. «Sin embargo, aunque existiera, investigaciones recientes han demostrado que no es una solución completa».
Publicidad
Publicidad
La Ley de IA de la Unión Europea, que establece requisitos de transparencia para los contenidos generados por IA, exigía a proveedores como Google que hicieran detectable el contenido sintético. Google cumplió con este requisito incorporando los SynthID en sus imágenes generadas.
Black también señala que el SynthID es «invisible a simple vista» y constituye una forma de que los ordenadores comprueben si una imagen ha sido generada con IA. Para que los usuarios puedan identificar las imágenes generadas por IA, estas deben incluir una marca de agua sobre la imagen. En el caso de Google Earth y Nano Banana, solo se utilizaron marcas de agua digitales, lo que significa que no se percibía de inmediato que las imágenes habían sido generadas por IA. Esto también implica que las imágenes de las que se hicieron capturas de pantalla, o que se recrearon fuera de la plataforma de Google, no incluirían los mismos metadatos que la creación original de Nano Banana.
«Necesitamos que los responsables políticos reflexionen sobre esto y colaboren con expertos para encontrar mejores soluciones», declaró a Fortune. La profesora también señaló los cambios en la política estadounidense sobre IA.
Actualmente, Black investiga cómo los resultados de la IA pueden influir en las decisiones y la confianza de los usuarios. Esto puede dar lugar a consecuencias negativas en la vida real, como malas decisiones de inversión basadas en la consulta de información financiera incorrecta generada por grandes modelos de lenguaje. Según la profesora, su investigación —aunque se centra en las «alucinaciones» de la IA y en los sistemas de IA basados en texto— demuestra que el mero hecho de revelar que la información ha sido generada por la IA puede no impedir que las personas confíen en dicha información.
Publicidad
Publicidad
«En nuestro trabajo en curso sobre la confianza de los usuarios en las alucinaciones de la IA, hemos descubierto que las advertencias habituales a menudo no son eficaces para disuadir a los usuarios de seguir consejos perjudiciales», afirmó Black. «Incluso con avisos como “Los chatbots de IA pueden cometer errores. Comprueba la información importante”, la presencia de consejos incorrectos generados por la IA aumenta significativamente la probabilidad, según los usuarios, de que estos lleven a cabo una acción perjudicial en el futuro».
Google comunicó a Fortune que iba a desactivar la función «mientras se implementaban medidas de seguridad más estrictas», reconociendo que las imágenes generadas que los usuarios estaban manipulando parecían infringir las políticas de la empresa.
La inteligencia artificial crea confianza artificial
La IA generativa se ha convertido en algo habitual en los chatbots, el software de diseño y los generadores de imágenes, donde los usuarios suelen entender que están creando contenido ficticio o artístico. Google Earth, históricamente, ha desempeñado un papel diferente. Durante casi dos décadas, ha servido como registro visual del mundo físico, en el que todo el mundo confía como fuente actualizada de información sobre el planeta. Esa reputación influye en cómo los usuarios interpretan lo que ven. La confianza que los consumidores depositan en Google hace que los usuarios suelen abordar las imágenes de la plataforma partiendo de la premisa de que lo que ven se corresponde con la realidad.
Ahora, con la integración de la IA en lo que antes se consideraba una fuente de información real sobre el planeta Tierra, incluso las imágenes de Google Earth se someten a un escrutinio minucioso.
Publicidad
Publicidad
Henk Van Ess, experto internacional en métodos de investigación en línea aplicados a la IA, escribió en una nota tras la presentación por parte de Google del sistema Google Earth: «Ahora, un funcionario puede mirar una fotografía auténtica de una atrocidad real y decir: “IA”. No necesita la herramienta para eso. Necesita que todo el mundo sepa que la herramienta existe».
Google no respondió de inmediato a una solicitud de comentarios sobre si la función de Google Earth volverá a estar disponible una vez que se hayan desarrollado medidas de seguridad adicionales.
Esta noticia se publicó originalmente en Fortune.com