Мне представилась возможность ознакомиться с работой Chat GPT, который был интегрирован в пакет Microsoft Office M365 за счет ассистента на базе искусственного интеллекта Copilot. На работе мы рассматриваем его в качестве возможного инструмента, с помощью которого можно будет помогать пользователям с различными видами инвалидности. В обычной жизни я установил Copilot для облегчения работы с документами и поиска информации. Я планирую написать о своем собственном опыте использования ассистента с точки зрения незрячего пользователя и о том, что мы с коллегами по работе пока что узнали об его функционале.
Начну с того, что мой первый опыт показал, — Copilot кардинально меняет «правила игры» для незрячих людей.
Что такое Copilot?
Copilot — это новая технология на базе искусственного интеллекта, которую можно использовать, к примеру, для ускорения написания текстов. Ассистент может помочь вам в решении различных задач, таких как составление электронных писем, отчетов, статей, написание кода и т.д. Copilot также может отвечать на ваши вопросы, резюмировать информацию и показывать предложения, исходя из заданного вами контекста и поставленных целей.
Почему Copilot полезен для незрячих пользователей?
У программ экранного доступа, используемых незрячими и слабовидящими людьми, есть свои ограничения, например, они не могут интерпретировать сложные графики, схемы или диаграммы, а также не способны уловить тональность, настроение или стиль текста. Кроме того, подобные программы работают крайне линейно. Например, для взаимодействия с некоторыми элементами человеку, пользующемуся программой экранного доступа, нужно будет выполнить несколько действий. В то время как зрячий пользователь может просто «взглянуть» на определенный элемент или перейти к нему. Во время работы с доступными материалами и документами при помощи программы экранного доступа также можно переходить от элемента к элементу, но при наличии зрения данные действия выполняются гораздо быстрее. Доступные документы — материалы, которые машина может прочитать, а это означает, что создание доступных документов будет более результативным при использовании Copilot или других инструментов на базе искусственного интеллекта. Несмотря на вышесказанное, Copilot может уровнять незрячих и зрячих пользователей, предоставляя первым больше информации и помощи с визуальными материалами. Также ассистент может помочь пользователям программ экранного доступа с некоторыми задачами, которые могут требовать много времени и сил, за счет их автоматизации. Прежде чем мы перейдем к деталям, я хочу предупредить, что вам все равно нужно анализировать и перепроверять материал, созданный искусственным интеллектом. Вы можете использовать Copilot, к примеру, для составления черновика какого-либо проекта, но поскольку предлагаемые им решения не идеальны, вам все равно придется редактировать данный черновик. Тем не менее, это может сэкономить вам огромное количество времени и помочь начать работать над какой-либо задачей.
В каких же случаях Copilot может помочь незрячим пользователям?
Вот некоторые распространенные действия, которые отнимают очень много времени или сложны в плане выполнения для многих незрячих людей, где Copilot оказался исключительно полезен как для меня лично, так и в моей работе:
- Ведение заметок во время совещаний. Для тех, кто пользуется программой экранного доступа, участие в какой-либо встрече с необходимостью одновременно слушать эту программу и вести заметки — непростая задача. Вам нужно стараться обращать внимание на два разных аудио потока (здесь можно провести аналогию с человеком, который пытается следить за ходом сразу двух телепередач). Комбинация функций транскрибирования встречи и ассистента от Microsoft позволит по ее окончании написать заметки, если вы, к примеру, будете задавать искусственному интеллекту следующие вопросы:
- Какие ключевые вопросы были подняты Бобом?
- Кратко опиши задачи, которые я согласился выполнить.
- Кратко изложи итоги совещания.
- Работа с электронными таблицами. Таблицы Excel — способ визуального представления данных, однако, многим пользователям программ экранного доступа может быть достаточно сложно с ними взаимодействовать. Кроме того, чтение и работа с таблицами, содержащими большое количество данных, может оказаться задачей, отнимающей довольно много времени, поскольку вам придется прослушать всю данную информацию, которую будет озвучивать программа. С помощью Copilot с таблицей можно работать без непосредственного взаимодействия с визуальным макетом, спрашивая ассистента такие вопросы, как:
- Каковы тенденции?
- Насколько выросли позиции Cisco за последние три года?
- Сравни результаты Cisco и
- Описание изображений и графики. Изображения, графические элементы и даже атрибуты повседневной жизни часто показаны только визуально, например, на фотографиях. Copilot позволяет незрячим и слабовидящим пользователям получать информацию о различных визуальных элементах. Достаточно задать ему вопросы, или поставить задачи из серии:
- Опиши изображение.
- Что показано на гистограмме?
- Какого цвета письменный стол на фотографии?
- Преобразование документа Word в PowerPoint. Благодаря Copilot вы сначала можете поработать в MS Word, создавая и редактируя контент, а затем использовать искусственный интеллект для создания презентации PowerPoint из этого документа. Более того, с помощью Copilot можно изменять «внешний вид» презентации.
- Поиск информации в интернете. Данное занятие также может отнять у вас много времени. Можно перейти по адресу microsoft.com и попросить помощника выполнить поиск за вас. Плюс в том, что вы также можете задать ему дополнительные вопросы. Я считаю, что такой способ поиска намного быстрее, чем поиск информации вручную с использованием Google или других поисковых систем. Чтобы вы могли проверить точность и достоверность материалов, на которые ссылается искусственный интеллект, Copilot предоставляет ссылки на них. Приведу несколько примеров.
- Моя семья пыталась понять, какой на вкус соус Рейджинг Каджун, входящий в большой набор острых соусов. Мы спросили у Copilot, какой вкус у этого соуса? Ещё мы задали ему вопрос, какие крылышки из ресторана Wings Up! (находится на западном побережье США) похожи по вкусу на те, которые подают в ресторане нашего города? В обоих случаях ответы ассистента оказались очень полезны.
- Когда я покупал наушники, я спросил Copilot о плюсах и минусах гарнитуры EPOS 5011, и он выдал мне отличный список кратких выводов со ссылками. Я также спросил его о наличии аналогичных гарнитур и о том, будет ли она работать в Microsoft Teams. Как итог, я получил ответы на оба вопроса.
У меня спокойно получилось бы найти всё, о чем я писал выше, с помощью поиска Google, но благодаря Copilot было сэкономлено колоссальное количество времени.
Что не получилось
Я надеялся активно использовать Copilot с Microsoft Outlook, планируя применять его для обобщения длинных цепочек электронных писем или получения информации об отдельно взятых письмах из цепочки. Но компания недавно выпустила другую версию MS Outlook. Она представляет собой скорее веб-интерфейс, помещенный в оболочку приложения для ПК. Microsoft переименовала предыдущую, известную многим версию, в Outlook Classic. В новом же Outlook отсутствуют многие из распространенных горячих клавиш, использующихся в классической версии программы. Я протестировал использование нового Outlook с последними версиями трех популярных программ экранного доступа и вынужден сказать, что пользовательский опыт не самый приятный. Если вы пользователь программы экранного доступа, то у вас есть только два варианта: использовать веб-интерфейс или новый Outlook. При обоих сценариях Copilot не ускорит процесс работы.
Что же дальше?
На данный момент это все, что мне удалось выяснить. Но по мере того, как я буду узнавать о каких-либо новых сценариях использования искусственного интеллекта людьми с инвалидностью, я буду писать об этом.
Перевёл Владислав Бондаренко.
Автор: Джефри Старк.
Об авторе: Разработчик, преподаватель, технический специалист. Джеффри твердо верит в три фактора счастья: инструменты, игрушки, технологии. Интересы: ИТ, мобильные устройства, вспомогательные/адаптивные технологии, доступность и инклюзивные технологии.
Источник: My Exploration Of How Copilot Can Help Blind Users – Part 1 – Jeffrey’s Soapbox