Обновление поискового чат-бота объединяет пользовательскую версию большой языковой модели Gemini с технологией распознавания изображений Lens. С помощью этого пользователи могут сделать скриншот чего-либо или загрузить изображение, чтобы получить «богатый, исчерпывающий ответ со ссылками» о том, что изображено на исходном файле. Начиная с сегодняшнего дня, упомянутое нововведение доступно в приложении Google для устройств с Android и iOS.

Представитель Google отметил, что в основе AI Mode многолетняя работа компании над визуальным поиском, благодаря чему удалось сделать шаг вперёд. Он также добавил, что мультимодальные возможности Gemini позволяют чат-боту понять всю сцену на изображении, включая контекст взаимосвязи объектов друг с другом, их формы, цвета, расположение и др.

По данным Google, обновлённый алгоритм использует «веерную технику», в рамках которой нейросеть отправляет несколько запросов к изображению и объектам, которые запечатлены на нём. В результате удаётся получить «невероятно тонкие и контекстуально релевантные» ответы. В прошлом месяце Google запустила бота AI Mode только для подписчиков Google One AI Premium. Теперь же эта функция доступна большему количеству пользователей в США.