Как Apple зайдёт в AI
Есть два типа людей: одни считают, что Apple внезапно представит на WWDC в июне нечто такое, что разом выиграет гонку с OpenAI, Google, Microsoft, Amazon и прочими. Другие верят, что не гонку, а полимеры, и не на WWDC, а в карты, и не выиграла, а проиграла.
Тем не менее уже вышло множество посвящённых LLM научных работ под авторством сотрудников AI-подразделения Apple. Их содержимым спекулируют, чтобы понять мышление компании: Siri нужно научить общаться без фразы-активации «Привет, Сири», понимать контекст задаваемых вопросов, приложению Health использовать тонны локальных данных о здоровье для лучшего понимания текущего состояния человека и полезных советов, а различным приложениям для креативности — научиться генерировать и улучшать картинки запросами в духе «Сделай небо более голубым».
В обзоре этих работ от The Verge самой перспективной разработкой называют Ferret: на первый взгляд это просто модель, помогающая опознать объект на фото среди других объектов и понять, как они связаны друг с другом. Но в теории это может помочь условной Siri понимать всё происходящее на экране и совершать действия — примерно так, как должна работать LAM от Rabbit.
[Представьте] Siri, которая понимает, что вы хотите, подключённая к устройству, которое видит и понимает всё, что происходит на вашем экране. Это телефон, который буквально может использовать сам себя.
Но это фантазии. А вот ближе к реальности — фокус Apple на локальных моделях: они слабее облачных, но им достаточно железа смартфона. И это женится с инфой, что компания ведёт переговоры с Google и OpenAI по интеграции их нейросетей в iOS.
AI в iOS 18 будет развиваться в двух направлениях. Первое — всё, что касается внешнего интернета — будет улучшено при помощи нейросети партнёра (кем бы он в итоге не оказался). Apple не будет пытаться выкатить свою версию «убийцы ChatGPT» — они пытались и поняли, что момент упущен. Кроме того, Apple не хочет и не может отвечать за контент внешнего интернета: мало ли что там произойдёт, мало ли как прогаллюцинирует помощник. От поиска по публичному интернету отстроятся условной надписью «powered by OpenAI».
Второе направление — личные данные: заметки, файлы, фото и видео, медицинская информация, может быть, даже почта и сообщения. Главный посыл здесь — работа над сенситивной информацией, которая находится локально на устройстве, тоже должна происходить локально на устройстве. Поэтому Apple и нужны локальные модели: создать ощущение безопасности. И хотя почти все приватные данные телефон легко покидают, синхронизируясь с iCloud для доступа с других устройств, разница есть.
Простой пример: все в курсе, что у Google есть полный доступ к ящикам Gmail. Google зарабатывает на контекстной рекламе: то, что вам в ящик упала маршрутная квитанция с билетами в Сочи, это ценная информация — и за знание, что вы там окажетесь, заплатят отели, прокаты машин, рестораны. Но как будто уже многовато народа узнало о том, что ты едешь в Сочи ещё до того, как ты успел сказать даже своей жене, не так ли?
Стрёмно, когда непонятная компания где-то в облаке трогает своими сальными пальцами твои личные вещи, а тем более демонстрирует кому-то ещё и потом возвращается к тебе: «Вот что мы насчёт этого думаем». Но когда это происходит чисто на телефоне, тебе ОК, особенно если Apple убеждает тебя, что миссия её существования — обеспечение твоей приватности.
Звучит не так уж плохо: ну и что, что модели будут локальные и слабенькие, зато они будут постоянно и постепенно обучаться на моих данных — и никто другой к ним доступ получить не сможет. Siri сможет легко отвечать на вопросы, в каком PDF-документе лежит нужный договор, с каким человеком я общался насчёт аренды машины, какое важное письмо осталось неотвеченным и каких тренировок мне не хватает.
Хорошо работающие локально модели отвадят пользователей iOS от передачи своих данных для обучения моделей конкурентов, что ослабит их в перспективе, а в моменте — выгодно выделит продукты Apple.