Итоги конференции WWDC 2024: искусственный интеллект от Apple и другие полезные нововведения

В преддверии презентации новых iPhone 9 сентября стоит рассказать о том, что показала компания Apple на своем ежегодном мероприятии для разработчиков.

О чём будем говорить

Apple рассказала, какие новые фишки будут выпущены со следующими обновлениями программного обеспечения, которые выйдут этой осенью. Основное внимание было уделено искусственному интеллекту, но также было продемонстрировано ещё кое-что интересное. Расскажем, какие функции появятся на iPhone, iPad, Apple Watch, Mac и Apple TV в конце этого года или в следующем году. В последние несколько лет для Apple стало обычным делом анонсировать новые функции, но не запускать их до тех пор, пока не пройдет какое-то время после выхода обновлений операционных систем.

Siri и Apple Intelligence

В этом году Siri привлекла много внимания и не без оснований. Искусственный интеллект будет использоваться для усовершенствования Siri во многих областях применения. Большинство улучшений можно резюмировать так: взаимодействие, как при общении с человеком. По сути, цель состоит в том, чтобы дать пользователям возможность максимально естественно (в плане общения) попросить Siri что-то сделать, и она выполнит просьбу. Очень похоже на философию Apple «это просто работает» – не нужно думать о том, как сформулировать запрос, не нужно знать, какие действия может выполнять Siri, а какие нет. Просто попросите изменить имя контакта или установить фотографию в качестве обоев и это сработает.

Siri даже сможет учитывать ошибки. Если вы скажете: «Привет, Сири, какая погода в Сан-Диего? Ой, Сан-Франциско». Голосовой ассистент поймет, что вы хотели узнать погоду в Сан-Франциско. Он даже удержит нить разговора на случай последующих запросов. Поэтому, если вы спросите: «Сколько по времени туда ехать?» она поймет, что «туда» – это Сан-Франциско.

Siri сможет отслеживать практически всё. Если вы с другом переписывались и договорились пообедать, Siri будет знать об этих планах. Если начальник отправит вам электронное письмо со срочным заданием, это тоже будет ей известно. Попросите Siri воспроизвести «ту песню, о которой писал Джим», и она поймет, какую песню вы имеете в виду. Подобное можно будет проделывать даже с фотографиями и видео. Например, можно попросить ассистента что-то из серии: «Покажи мне фотографии моего мужа из нашей прошлогодней поездки, на которых он в шляпе».

За весь этот функционал будет отвечать Apple Intelligence (сокращенно AI, что, безусловно, может вызвать путаницу). Apple Intelligence работает локально, фиксируя всё о вас и вашей жизни. Звучит жутковато, согласны? Во время презентации компания Apple всячески подчеркивала, что вся информация будет храниться локально. Apple никогда не передаст ваши данные за пределы собственной инфраструктуры, не продаст её и т.д. Если Siri не сможет обработать запрос непосредственно на телефоне, она будет использовать для этого специальный сервер. Данные серверы работают на процессорах Apple Silicon и спроектированы таким образом, что данные не сохраняются и прочитать их во время обработки запроса также не получится. Apple даже предоставила открытый исходный код, который она используют на этих серверах, чтобы можно было проводить его независимые проверки.

Apple Intelligence также может генерировать изображения и аудио. Он может создавать изображения, похожие на эмодзи, по текстовым запросам. Они называются Genmoji. Искусственный интеллект от Apple умеет генерировать изображения в заметках или удалять изображения, которые вы сами нарисовали на iPad. Он может распознавать изображения и PDF-файлы, а также сохранять транскрипцию аудио из голосовых заметок или аудиозаписей, которые вы делаете в приложении «Заметки». Теперь можно записывать даже телефонные звонки, а текстовые расшифровки разговоров станут доступны практически сразу. Кроме того, AI может добавить их в набор данных Siri для последующего использования.

Однако на этом чудеса не заканчиваются. Apple интегрировала ChatGPT в обновление Siri. Если Siri посчитает, что ChatGPt поможет вам лучше, чем она, то ассистент запросит ваше разрешение, а затем переадресует вопрос (разумеется, анонимно) модели ChatGPT 4o.

Что ещё может искусственный интеллект от Apple? Например, обобщать полученные электронные письма и показывать эти сводки вместо предварительного просмотра сообщений, который используется сейчас. Также интеллект может группировать вашу электронную почту по темам (новостные рассылки, чеки, рекламные рассылки, важные, личные и так далее). Он может генерировать текст и даже помогать вам его писать практически в любом текстовом поле. Он решает, нужно ли показывать вам то или иное уведомление, когда у вас включено фокусирование на определённой задаче. С помощью Apple Intelligence также можно резюмировать множество уведомлений, например, внезапно появившуюся текстовую переписку, так что вы сможете понять суть обсуждаемого вопроса без необходимости читать кучу сообщений. Искусственный интеллект от Apple может выполнять ещё больше задач. Apple заявляет, что в течение следующего года Siri сможет понимать, что происходит у вас на экране и команды, наподобие «удали это электронное письмо», «скопируй в заметки то, что ты обобщила», «сохрани этот документ и назови его…».

Все эти функции появятся на iPhone, iPad и Mac. Пока точно не известно, что и на каких продуктах будет работать локально, а какие функции могут вообще не работать на старых устройствах.

iOS 18

Помимо всех функций Siri и Apple Intelligence, в iOS 18 появилось ещё больше нововведений.

Во-первых, разработчики обновили главный экран и пункт управления. Теперь, вместо того, чтобы расставлять приложения в предназначенную для этого сетку, которая заполняется с левого верхнего угла, вы можете размещать их иконки в любом месте на главном экране. Если вы хотите, чтобы все приложения располагались по краям или внизу экрана, это можно спокойно осуществить. Их даже больше не нужно располагать в сетке, если вы этого не хотите. При включенной темной теме иконки приложений теперь будут менять цвет. Вы также можете выбрать свой цвет для всех иконок.

В пункте управления появилось несколько страниц, как на экране блокировки. Возможно, ещё более интересной фишкой, которой могут воспользоваться разработчики приложений, является возможность создавать свои собственные виджеты для пункта управления. Например, если Яндекс такси возьмет данную функцию на вооружение, вы сможете поместить в пункт управления виджет «Вызвать такси до дома». Откройте пункт управления, нажмите на виджет и такси уже на пути к вам. Подобные виджеты также можно назначить на кнопку действия на iPhone 15 Pro, что позволит выполнять любую команду из пункта управления нажатием одной физической кнопки. Кроме того, на экране блокировки можно заменить кнопки камеры и фонарика любыми нужными вам виджетами из пункта управления.

Наконец появилась возможность защитить любые выбранные вами приложения с помощью Face ID, Touch ID или код-пароля. В некоторых приложениях, например, приложениях банков или дневниках эта функция уже присутствует. Теперь вы можете выбрать, какие приложения нужно защитить. Если вы хотите, чтобы кто-то использовал Face ID или Touch ID, прежде чем открыть, скажем, программу для воспроизведения книг, вы можете это настроить. Можно пойти ещё дальше и полностью скрыть приложение. Никто даже не узнает о его существовании, пока человек не авторизуется. Это идеальное решение, чтобы скрыть приложения, содержимое которых несёт для вас глубоко личный смысл, и вы не хотите, чтобы о них знали другие люди или программы. Так что вы можете давать свой телефон кому-то другому, не опасаясь, что вам будут задавать неудобные вопросы.

В приложении «Сообщения», помимо Genmoji, о которых уже говорилось выше, появилось несколько новых функций. Теперь доступно больше быстрых реакций, можно выделять текст жирным шрифтом, подчеркиванием и курсивом, а также использовать специальные эффекты при работе с отдельными частями текста. Протокол передачи RCS уже на подходе, что позволит также использовать индикаторы ввода текста, как в iMessage, читать чеки и др. Можно запланировать отправку сообщения, а кроме того, обмениваться ими с использованием спутниковой связи (если ваш iPhone поддерживает данную функцию).

Мы уже рассмотрели некоторые из новых фишек приложения «Почта», но это ещё не все. Я говорил, что приложение может автоматически разделять сообщения по категориям и предлагать ответы на письма, сгенерированные искусственным интеллектом, или редактировать то, что вы пишете. В iOS 18 «Почта» также может группировать письма по компаниям, объединяя их в то, что Apple называет дайджестом. Например, все сообщения от определенной компании могут составлять такую сводку. Можно взаимодействовать со всеми сообщениями в дайджесте сразу, т. е. перемещать или удалять их.

Если искусственный интеллект поместил сообщение в определенную категорию и при этом ошибся, вы можете вручную переместить его туда, куда нужно. Компания не сообщила, будет ли это тренировать интеллект в сортировке писем в будущем, но я надеюсь, что ответ положительный. Одна из категорий сортировки сообщений, на которую стоит обратить внимание — важные (по мнению Apple Intelligence) письма: просьбы к вам что-то сделать, сообщения, на которые нужно ответить, и тому подобное.

«Фото» — ещё одно приложение, получившее масштабное обновление в iOS 18. В верхней части экрана отображается уже знакомая сетка фотографий с возможностью отфильтровать контент по предметам, местам и т. д. Также можно настроить отображение фотографий, как раньше: за все время, за неделю и другие периоды.

Под сеткой расположилась обновленная медиатека, в которой вы можете выбрать коллекцию фотографий. Она составляется с помощью Apple Intelligence. В коллекциях могут быть собраны фотографии с вашего путешествия, кого-то конкретно или ещё по каким-либо другим признакам. Вы можете закрепить выбранные коллекции для более быстрого доступа к ним, и создать слайд-шоу с музыкальным сопровождением с помощью искусственного интеллекта. При желании вы можете поделиться коллекциями с другими пользователями.

Есть и другие изменения. Можно навести порядок в фотографиях, например, убрать фотографии чеков и квитанций, скрыть снимки экрана, редактировать фото с помощью искусственного интеллекта, к примеру, убрать ненужный объект с фона. Однако в презентации не было достаточно подробного описания новых возможностей приложения, поэтому я не могу сказать чего-либо ещё на эту тему.

В операционной системе для iPhone появилось несколько небольших, но не менее полезных изменений.

  • С помощью функции Tap to Cash (не работает в России) можно переводить или получать деньги через приложение Apple Cash с помощью NFC. Просто положите свой айфон рядом с айфоном другого человека.
  • Теперь при использовании игрового режима железо в iPhone будет работать с прицелом на игру, сокращая затраты мощности на фоновые операции. Более того, уменьшится задержка передачи звука в AirPods.
  • В некоторых моделях AirPods в играх может поддерживаться персонализированное пространственное аудио.
  • При использовании AirPods Pro 2 вы сможете просто кивать или качать головой в ответ на вопросы Siri, требующих ответа «да» или «нет», а также будет улучшена функция изоляции голоса.
  • Появилось приложение «Пароли» для управления сохраненными паролями. Оно будет доступно для iPhone, iPad, Mac и Windows.
  • В приложении «Дневник» стала доступна хронограммы записей, функция поиска, трекер настроения и другие новые функции.
  • Напоминания теперь интегрированы в календарь. Приложение «Напоминания» по-прежнему есть, но вы также можете добавлять их прямо из календаря.
  • Теперь для главного экрана можно выбрать значки большего размера.

watchOS 11

С watchOS 11 Apple продолжает уделять особое внимание фитнесу и здоровью. Можно настроить кольца активности по дням, например, ставить перед собой более сложные цели по выходным, когда у вас есть больше свободного времени. Чтобы время от времени устраивать себе день отдыха или не дать болезни прервать вашу физическую активность, есть возможность приостановить выполнение своих целей. В зависимости от наиболее интересующих вас показателей, можно изменить экран со сводкой активности, которая отображается в приложении «Фитнес».

С помощью нового приложения Vitals часы будут отслеживать показатели здоровья за ночь: температуру, частоту дыхания и сердечных сокращений и др. Если произойдет нечто из ряда вон выходящее, приложение предупредит вас об этом. Программа может помочь связать обнаруженные отклонения с их возможными причинами. Например, предположить, что из-за употребления алкоголя вы меньше спите или что во время сна у вас учащается сердцебиение, что может быть связано с высокой температурой тела в ночное время.

Другое важное изменение – нагрузка во время тренировки. Теперь у пользователей есть возможность получить представление о том, какое влияние на них оказывает физическая нагрузка. Это особенно полезно для тех, кто придерживается определенного плана тренировок или стремится к какой-то цели, но в общем это может помочь любому человеку лучше узнать свою физическую форму. У некоторых типов тренировок есть шкала оценки затраченных усилий от 1 до 10. Если ее не удается автоматически сгенерировать для какой-либо тренировки, вы можете ввести результат вручную. Кроме того, можно изменить автоматическую оценку, например, повысить ее, если во время силовых тренировок у вас болели мышцы, и вы считаете, что оценка от Apple слишком занижена. В конечном итоге, эти цифры помогут вам лучше понять то, как вы работаете. Например, если вы 5 дней подряд оценивали усилия, затрачиваемые на тренировку на 8-10 баллов, возможно, денёк вам не стоит сильно напрягаться. У пользователей также будет возможность сравнить свои результаты за последние 7 дней с таковыми за предыдущие 3 недели, чтобы понять, были ли затрачиваемые за последнюю неделю усилия ниже, выше или остались примерно на таком же уровне, который наблюдался в течение месяца.

Несмотря на значительные изменения в области фитнеса, в watchOS 11 есть и другие улучшения, которых я с нетерпением жду.

  • Smart Stack поумнел. Он предлагает больше виджетов, а также отображает виджеты, которые, по его мнению, могут оказаться полезными. Для этого используются такие факторы, как время, местоположение и др.
  • Функция «На связи» теперь доступна на Apple Watch. С помощью нее можно сообщать друзьям и родственникам о том, что вы пришли домой или о том, что вы не пришли вовремя. Фишка интегрирована в приложение «Тренировка», так что ее можно использовать, чтобы кто-либо из числа ваших близких или друзей получал уведомление, если вы вдруг не пришли с тренировки.
  • Теперь на watchOS будет доступна функция «Эфир активности». Это значительно упростит отслеживание рейсов, движения такси, спортивных результатов и других событий прямо на часах.
  • В приложении для контроля цикла можно отметить начало беременности. Оно начнет отслеживать срок и предложит, какие меры можно предпринять. Программа может спросить, например, хотите ли вы увеличить порог частоты сердечных сокращений или напомнить вам о необходимости чаще следить за своим психическим состоянием.
  • Приложения теперь будут срабатывать на жест двойного смыкания. Сторонние приложения, когда запущены, будут выполнять определенные действия при выполнении данного жеста.

iPadOS 18

В дополнение к функциям Apple Intelligence, почты, сообщений и другим фишкам, которые мы рассмотрели в части про iOS 18, iPad получил несколько новых функций. Начнем с нововведения, на которое, скорее всего, многим будет все-равно: Apple Pencil.

Теперь iPad сможет распознать ваш почерк. Когда вы что-то пишете, устройство может сохранить ваш почерк, но при этом подправить текст, чтобы сделать его более разборчивым. Если вы пишете с помощью Apple Pencil, а затем вставляете текст из другого приложения, он преобразуется и будет выглядеть так, как будто вы сами его и писали. Аналогичный процесс автоматической корректировки можно применить к рисункам, которые пользователи создают в заметках.

Математические заметки. Функция, которая, как можно было подумать из презентации Apple, работает только с Apple Pencil. Однако я так не считаю. Думаю, что она работает и тогда, когда пользователь печатает. Эта функция появится и в macOS, но пока не понятно, будет ли она в iOS. Если вы хотите узнать подробнее о математических заметках, можете почитать этот материал.

Ещё немного о математике. В iPad, впервые за 14 лет его существования, наконец-то появился калькулятор! Его отсутствие было причиной множества шуточек на просторах интернета в течение многих лет. Теперь, как говорится, «шутки в сторону». В калькуляторе на iPad есть все, от базовых функций, до научного режима и функции конвертации единиц измерения.

Обновленный SharePlay. Теперь, если, к примеру, вам нужно помочь что-то сделать другому пользователю, можно управлять его устройством, если у вас есть общий доступ к экрану. Вы также можете использовать Apple Pencil, чтобы, например, показать на что-либо на вашем устройстве, и собеседник увидит указатель на своем экране.

Единственная функция, которую я не совсем понял, — плавающие панели вкладок, которые могут автоматически превращаться в боковые панели и обратно.

macOS Sequoia

macOS Sequoia в этот раз не является крупным обновлением, но в нем есть функция, о которой вы определенно захотите узнать. Операционная система для компьютеров и ноутбуков Apple также получила поддержку Apple Intelligence, математических заметок, приложения «Пароли».

Важным нововведением в macOS стал режим iPhone mirroring. Выберите функцию в пункте управления macOS, и на вашем Mac появится изображение экрана iPhone в натуральную величину. Для выполнения жестов на смартфоне можно использовать мышь/ трекпад, а клавиатуру — для ввода текста. Звук с iPhone воспроизводится через динамики на Mac. Примечательно то, что во время управления с компьютера или ноутбука, смартфон не нужно разблокировать. Он может находиться, скажем, в сумке или на кровати. Ну а что, век без проводов. Теперь на вашем Mac будут показываться уведомления с iPhone. При нажатии на уведомление начнется отображение экрана телефона с открытым приложением, от которого оно было получено.

Другие функции macOS Sequoia

  • Safari может брать основную информацию с веб-страницы и показывать её вам, например, контакты компании. В браузере также можно включить отображение краткой сводки о содержании страницы и автоматически сгенерированного оглавления (если включен режим чтения).
  • Предварительный просмотр работает с приложениями для видеоконференций. Согласитесь, полезно будет увидеть то, как вы и окружающая вас обстановка будете выглядеть во время онлайн совещания? Фон можно заменить на уже готовый или созданный на основе ваших фотографий.

О чем ещё рассказала Apple

Apple поведала ещё о нескольких нововведениях, которые, по моему скромному мнению, не заслуживают отдельного раздела статьи. Приношу свои извинения всем владельцам Apple Vision Pro, читающим данный материал.

  • В visionOS 2.0 увеличено разрешение дисплеев Mac, которые могут быть отображены на Apple Vision Pro.
  • Алгоритмы машинного обучения могут превратить любую фотографию в пространственную, которую можно смотреть на Apple Vision Pro, а SharePlay теперь можно использовать для того, чтобы группа людей могла просматривать одни и те же фотографии и при этом каждый использовал свою гарнитуру виртуальной реальности от Apple.
  • В visionOS появились новые жесты для выполнения повседневных задач, таких как проверка заряда батареи.
  • Теперь, при просмотре фильмов из Apple TV Plus, можно получить информацию о том, какие актеры в данный момент на экране, как зовут их персонажей и как называется песня, которая сейчас играет. И все это в реальном времени!
  • Apple TV стала поддерживать большее число колонок, получила обновленную функцию «Улучшение диалогов», а также на WWDC было упомянуто автоматическое добавление субтитров при перемотке назад или уменьшении громкости.
  • В Apple TV появилась возможность использовать ваши собственные фотографии или кадры из фильмов Apple TV Плюс в качестве заставки.

Что в итоге

Большое внимание уделяется искусственному интеллекту, что неудивительно, учитывая характерную для Apple заботу о конфиденциальности пользователей. Также было представлено несколько, на мой взгляд, хороших новых функций для всех устройств компании. Я отношусь к искусственному интеллекту и Siri с осторожным оптимизмом и с нетерпением жду, когда смогу увидеть, насколько это все хорошо работает. Я в восторге от функций watchOS, связанных с фитнесом, заинтригован функцией математических заметок и некоторыми другими изменениями в iPadOS. Ещё, если бы я чаще пользовался Mac, то с большим нетерпением ждал бы iPhone mirroring.

А что обо всем этом думаете вы?

Источник: AppleVis

Поделиться