Google integra capacidades multimodales en AI Mode, permitiendo consultas basadas en imágenes con Google Lens y el modelo Gemini.

Google ha anunciado la expansión de su AI Mode en el motor de búsqueda, incorporando capacidades multimodales que permiten a los usuarios realizar consultas utilizando imágenes.

Esta actualización combina la tecnología de reconocimiento visual de Google Lens con el modelo de lenguaje avanzado Gemini, ofreciendo respuestas detalladas y contextuales a partir de fotografías o imágenes cargadas.

Integración de Google Lens y Gemini en AI Mode

La reciente actualización de AI Mode en el motor de búsqueda de Google introduce una funcionalidad que permite a los usuarios tomar una foto o subir una imagen y formular preguntas al respecto.

Esta capacidad es posible gracias a la combinación de Google Lens, que identifica con precisión los objetos en una imagen, y el modelo de lenguaje Gemini, que comprende el contexto completo de la escena, incluyendo materiales, colores, formas y disposiciones de los objetos.

Como resultado, AI Mode puede proporcionar respuestas ricas y comprensivas con enlaces para profundizar en la información.

Expansión del acceso a AI Mode

Inicialmente disponible para suscriptores de Google One AI Premium, Google ha comenzado a ampliar el acceso a AI Mode a millones de usuarios adicionales en los Estados Unidos a través de su plataforma Labs.

Los interesados pueden registrarse en Labs para probar esta nueva funcionalidad en la aplicación de Google, disponible tanto para Android como para iOS.

Funcionamiento de la búsqueda multimodal

AI Mode utiliza una técnica denominada «query fan-out», que emite múltiples consultas sobre la imagen en su conjunto y sobre los objetos individuales dentro de ella. Esto permite acceder a una mayor amplitud y profundidad de información que una búsqueda tradicional en Google.

Por ejemplo, al analizar una imagen de una estantería con libros, AI Mode puede identificar cada título, proporcionar información sobre ellos y sugerir lecturas similares altamente valoradas.

Con la integración de Google Lens y Gemini en AI Mode, Google está transformando la manera en que los usuarios interactúan con su motor de búsqueda, permitiendo consultas más naturales y contextuales basadas en imágenes.