Компания Google начала постепенно распространять обновлённую версию TalkBack. В ней представлены улучшения функции описания изображений с помощью искусственного интеллекта Gemini, а также добавлены новые возможности при навигации по таблицам. Поскольку обновление распространяется поэтапно, может пройти около недели, прежде чем оно будет доступно для вашего смартфона. Новую версию по-прежнему можно установить, загрузив APK-файл, но помните, что вы делаете это на свой страх и риск.
Обновление функции описания изображений с помощью ИИ
В TalkBack 16.0 были добавлены две новые функции, которые помогут сделать описание ещё более подробным: описание всего экрана и возможность задавать уточняющие вопросы.
Описание всего экрана
Раньше с помощью искусственного интеллекта можно было получить только описание объекта, находящегося в фокусе TalkBack. В обновлении появилась новая опция, благодаря которой можно сделать снимок всего экрана и отправить его Gemini для генерации описания. Чтобы воспользоваться функцией, откройте меню TalkBack и нажмите «Описать экран». Кроме того, на запуск данной фишки можно назначить жест. Это делается через раздел настроек TalkBack, посвященный назначению жестов.
Возможность задать уточняющие вопросы
Теперь, после того как пользователь отправит изображение ассистенту на базе ИИ, у него будет возможность задать дополнительные вопросы, чтобы получить более развёрнутый ответ. Возможность работает как при описании элемента в фокусе, так и всего экрана. Чтобы узнать больше информации об изображении и задать вопрос голосом, в окне с получившимися результатами описания дважды нажмите на «Спросить Gemini». Чтобы написать вопрос, введите его в соответствующее поле.
Если задавать вопрос при помощи голоса, то его отправка произойдёт автоматически после того, как вы закончите говорить. Чтобы отправить написанный вопрос, нажмите кнопку «Готово» на клавиатуре от Google или используйте соответствующий жест Брайлевского ввода.
Ответы Gemini проговариваются вслух, а беседу с ассистентом можно просмотреть либо с помощью касания экрана, либо за счёт смахиваний по нему. В целях сбора обратной связи от пользователей, рядом с каждым описанием или ответом есть кнопки большой палец вверх или вниз. Чтобы закрыть окно, можно воспользоваться жестом «Назад» или нажать кнопку «Закрыть».
Первые наблюдения
Еще слишком рано делать полноценные выводы, но быстрое тестирование возможности выявило, что ассистент оперативно предоставляет ответы. Используемая модель Gemini способна описывать людей, включая их приблизительный возраст и оттенок кожи. Однако было замечено, что его база знаний устарела: при ответе на один из вопросов у искусственного интеллекта был обнаружен пробел в знаниях за сентябрь 2021 года.
Кроме того, модель неверно определяла некоторые иконки на домашнем экране, в том числе и известных программ.
Навигация по таблицам
В TalkBack 16.0 теперь возможно осуществлять навигацию по столбцам и строкам в таблице. Когда таблица находится в фокусе, выберите в списке элементов управления чтением «строки и столбцы», чтобы начать навигацию по таблице. Для перемещения по столбцам проведите по экрану пальцем вправо или влево, а по строкам — вверх или вниз.
Чтобы завершить навигацию по таблице, переключитесь на любой другой элемент управления чтением. Вы можете добавить навигацию по столбцам и строкам в список элементов управления чтением, что позволит переключаться на нужный элемент и осуществлять навигацию, используя свайпы вверх.и вниз. Кроме того, можно назначить жесты для перехода к следующей/предыдущей строке или столбцу.
Также можно сделать так, чтобы режим навигации по таблице запускался тогда, когда она попадает в фокус программы экранного доступа. Данная опция находится в дополнительных настройках TalkBack.
Теперь на функции повторения последней произнесённой фразы, а также произнесения последней фразы по буквам можно назначить жест
В версии TalkBack 16.0 теперь можно назначить любой из доступных жестов на работу функции повторения последней произнесённой фразы и произнесение последней фразы по буквам. Чтобы это сделать, откройте настройки TalkBack и выберите «Настроить жесты». Затем выберите нужный жест и дважды нажмите на функцию, выполнение которой хотите назначить на него.
Возможность включить группировку повторяющихся символов
TalkBack озвучивает количество символов, часто встречающихся в фокусе. В новой версии программы экранного доступа от Google появилась функция, благодаря которой стало возможным отключить или включить повторение часто встречающихся (4 или более раз подряд) символов, включая эмодзи. Для этого перейдите в настройки TalkBack > Детализация и активируйте соответствующий переключатель.
Обратите внимание, что этот параметр, по-видимому, несовместим с большинством движков TTS. Похоже, что он работает только при использовании синтезатора речи от Google. При тестировании функции с синтезаторами Acapela и AutoTTS символы произносились по отдельности. При использовании Google TTS функция работает должным образом
Улучшения при работе с физическими клавиатурами
Добавлена новая клавиша-модификатор для выполнения клавиатурных команд
Теперь при работе на внешней клавиатуре можно использовать клавишу поиска в качестве клавиши-модификатора. Чтобы выбрать предпочитаемую клавишу, перейдите по пути: настройки TalkBack > «Дополнительные настройки» > «Сочетания клавиш». Затем нажмите «Выбрать клавишу-модификатор».
Новые сочетания клавиш для перехода по просмотренным ссылкам
Для того, чтобы перейти к следующей посещённой ссылке, нажмите комбинацию клавиш клавиша-модификатор + V. Для перехода к предыдущей просмотренной ссылке нажмите клавишу-модификатор + Shift + V.
Чтение и просмотр системных сообщений на подключенном дисплее Брайля
В TalkBack 16.0 стало возможным читать системные уведомления, такие как всплывающие сообщения или другие уведомления, непосредственно на дисплее Брайля.
Теперь при появлении уведомления оно будет отображаться на дисплее. Сообщение можно отклонить, нажав точку 8 или воспользовавшись кнопками маршрутизации.
Чтобы просмотреть пропущенные уведомления, откройте историю уведомлений, нажав пробел + точки 1-3-4-5-7-8.
Примечания
В процессе тестирования обновления была обнаружена ошибка, из-за которой при переходе к следующему или предыдущему элементу в окне, TalkBack автоматически начинает прокручивать содержимое. Прокрутка либо прекращается сама по себе, либо продолжается до тех пор, пока вы не коснётесь экрана. Пока что это странное поведение было замечено только при использовании приложения GSMArena. В других популярных у пользователей приложениях этот баг не был найден. Пока не понятно, насколько данная проблема носит общий характер, тем более, что она была обнаружена на устройствах Samsung.
Источник: accessibleandroid.com