На недавней конференции WWDC26 Apple представила третье поколение своих моделей Foundation Models (AFM), состоящее из пяти моделей, некоторые из которых работают локально, а некоторые - в облаке. Одной из них управляют серверы Google на чипах Nvidia. Давайте разберёмся, как это будет работать.
Немного предыстории
Когда Apple впервые анонсировала свои модели Foundation в 2024 году, в линейке был локальный языковой модель с примерно 3 миллиардами параметров и «более крупная серверная языковая модель, доступная с помощью Private Cloud Compute и работающая на серверах Apple silicon», как тогда выразилась компания.
Private Cloud Compute был амбициозным проектом, который стремился предоставить облачные возможности ИИ при сохранении тех же гарантий конфиденциальности, которые пользователи ожидают от локальной обработки данных. Поэтому было критически важно держать всё «внутри» компании. Private Cloud Compute работал в дата-центрах Apple на серверах с чипами Apple silicon. Тем не менее, его гарантии конфиденциальности могли быть независимо проверены сторонними исследователями безопасности.
Однако, когда Apple столкнулась с трудностями в реализации своих амбиций в области ИИ, компания заключила партнёрство с Google, чтобы использовать Gemini как основу для своих новых усилий в области ИИ, результаты которых были представлены на WWDC26.
Новые модели Foundation от Apple
Третье поколение AFM включает пять моделей: AFM 3 Core и AFM 3 Code Advanced, которые являются локальными, и AFM Cloud, ADM 3 Cloud (Image) и AFM 3 Cloud Pro, которые работают на серверах. Буква D в ADM 3 Cloud (Image) обозначает диффузию - технологию, о которой мы уже упоминали ранее.
За исключением AFM 3 Cloud Pro, все остальные модели были разработаны для работы на устройствах с чипами Apple silicon. AFM 3 Cloud Pro, в свою очередь, работает на графических процессорах NVIDIA, размещённых в Google Cloud.
Это стало возможным благодаря тому, что Apple впервые расширила свою архитектуру Private Cloud Compute на стороннюю инфраструктуру, «при этом сохранив мощные меры безопасности и защиты конфиденциальности Apple», как заявила компания.
Обзор моделей
Что касается самих моделей, вот их краткое описание, представленное Apple:
- AFM 3 Core - следующее поколение нашей плотной модели с 3 миллиардами параметров, обеспечивающее качественный скачок.
- AFM 3 Core Advanced - наша самая мощная локальная модель. Она обладает мультимодальными возможностями, позволяя использовать выразительные голоса и высокоточную диктовку. Эта модель с 20 миллиардами параметров использует разреженную архитектуру, активируя от 1 до 4 миллиардов параметров за раз в зависимости от запроса. AFM 3 Core Advanced оптимизирована для самых мощных систем Apple silicon.
- AFM 3 Cloud - наш серверный рабочий лошадка, оптимизированный для скорости, эффективности и производительности.
- ADM 3 Cloud (Image) - для генерации и редактирования изображений, которая открывает доступ к продвинутым инструментам редактирования фотографий, новому Image Playground и многому другому.
- AFM 3 Cloud Pro - наша самая мощная серверная модель, которая поддерживает самые сложные сценарии использования, такие как агентное использование инструментов и сложное логическое рассуждение.
Ключевые моменты
Особое внимание стоит уделить AFM 3 Core Advanced и AFM 3 Cloud Pro. Начнём с AFM 3 Core Advanced, который включает 20 миллиардов параметров в локальной модели - это действительно впечатляющий результат. Большинство локальных моделей, ориентированных на широкую аудиторию, обычно имеют лишь несколько миллиардов параметров.
Чтобы обеспечить хорошую работу AFM 3 Core Advanced, Apple использовала разреженную архитектуру, которая активирует до 4 миллиардов параметров за раз в зависимости от запроса, вместо плотной архитектуры, которая требует активирования всех 20 миллиардов параметров для каждого запроса. Хотя концептуально это похоже на подход Mixture of Experts, такая выборочная активация основана на технике, изобретённой Apple и подробно описанной в исследовании Instruction-Following Pruning for Large Language Models.
Что касается AFM 3 Cloud Pro, это модель, работающая на внешней инфраструктуре. Вы можете ознакомиться с некоторыми техническими деталями этого расширения в статье, опубликованной в блоге безопасности Apple, но вот самый важный момент:
На этой основе Apple и Google сотрудничали, чтобы создать возможности, которые выходят далеко за рамки традиционного развертывания конфиденциальных вычислений:
«Мы не полагаемся исключительно на технологии конфиденциальных вычислений для снижения атак, использующих привилегированный доступ вне конфиденциальной виртуальной машины, включая атаки через побочные каналы. Мы рассматриваем каждый компонент - от прошивки до стека ОС хоста и гостя до кода приложений - как часть нашей основы доверенной вычислительной среды, подлежащей нашей проверяемой прозрачности и гарантии отсутствия привилегированного доступа.
Чтобы снизить риск атак на цепочку поставок, мы поддерживаем криптографически проверяемый, только добавляемый журнал всего аппаратного обеспечения Google Cloud, которое является частью флота PCC. Для компонентов, которые могут быть использованы для экстракции пользовательских данных в случае компрометации, наша программная аттестация основана как минимум на двух отдельных корнях доверия от независимых поставщиков.
