Google сделает Chrome удобным для слепых

Нарушения зрения — ещё не повод отказываться от работы за компьютером. Во-первых, так можно быть наверняка уверенным, что глаза вы уже не испортите. А, во-вторых, вспомогательные инструменты, встроенные в современные операционные системы, позволят без особого труда сориентироваться в незнакомых приложениях. Но если озвучивание названий элементов интерфейса и текста, в общем-то, — вполне обыденная функция и для мобильных, и для настольных устройств, то как быть с описаниями медиафайлов, встречающимися в интернете, не знал почти никто. Но Google нашла, как решить эту проблему.

Google работает над интеграцией в Chrome поддержки машинного обучения для формирования описаний элементов, которые могут встретиться пользователю. Начать было решено с изображений и фотографий, составляющих значимую часть всего интернет-контента. Но поскольку на них обычно изображается не какой-то конкретный объект, а присутствует ещё и фон, который имеет значение для точного восприятия, обойтись технологией Google Lens, определяющей названия объектов реального мира, было нельзя.

Как работают нейронные сети

Судя по тому, что Chrome умеет уже сейчас, распознавание происходит довольно точно, хоть и не мгновенно. Например, эту фотографию браузер описал как “Фрукты или овощи на прилавке”.


Понятное дело, что овощей на снимке нет, а кокосы чисто технически всё-таки являются орехами, но, во-первых, алгоритмы оставили себе место для манёвра, использовав союз “или”, а, во-вторых, поняли, что перед ними именно рыночный прилавок, что довольно здорово, хотя под фруктами его практически не видно.

Не ошибся Chrome и здесь. Браузер без труда понял не только то, что перед ним колесо обозрения, но и определил время суток — ночь.

Пожалуй, было бы не лишним уточнить, что колёс на самом деле два, а место действия является парк, но не будем придираться. В конце концов, пока это тестовая версия технологии, которая в дальнейшем будем только совершенствоваться, обучая саму себя.

Что умеет Google Chrome

Поскольку за определение отвечают нейронные сети, встроить их в Chrome в буквальном смысле было бы проблематично, если не сказать, невозможно. Поэтому разработчики решили проблему встраиванием механизма, который, определив присутствие на экране изображения, отправляет запрос на сервера Google, которые формируют его описание, а затем отправляют его браузеру. Отсюда и задержка в несколько секунд, которая может увеличиваться в зависимости от скорости подключения к интернету, а также от сложности самого изображения. При этом гарантий того, что распознавание вообще произойдёт, нет, поскольку алгоритмы пока могут формулировать описание только нескольких миллионов комбинаций.

Что касается инклюзивности, то тут Google ещё очень далеко до Apple, которой нет равных в этой области. Компания из Купертино одной из первых занялась внедрением в свои устройства функций универсального доступа, которые облегчают использование людям с ограниченными возможностями. В результате для управления компьютерами Mac даже не обязательно прикасаться к клавиатуре или мыши, управляя происходящим на экране при помощи голоса или вспомогательных инструментов. Тем не менее, попытки Google сделать что-то полезное для развития концепции универсального доступа заслуживает самой горячей похвалы.