С появлением поколения M4 у Mac и MacBook, особенно доступные модели Mac Mini стали настоящими машинами для работы с искусственным интеллектом. Ярким примером служит Overcast: этот сервис для подкастов использует 48 Mac Mini для генерации аудиотранскрипций с помощью моделей распознавания речи от Apple. Генеральный директор Overcast, Марко Армент, стремится избежать растущих затрат на облачные решения для ИИ.
Экономическая целесообразность для бизнеса
Для малых и крупных компаний переход на собственные машины может быть экономически оправданным. В бизнесе действуют другие модели расчета, отличные от подписок, доступных для частных пользователей. В определенный момент вложения в оборудование начинают приносить больше пользы, чем плата за каждый доступ к API.
А что насчет частного использования?
Задумываетесь, стоит ли инвестировать в новый Mac, чтобы сэкономить на подписке у поставщика ИИ? Мы провели расчеты.
Общий объем памяти или мощная графика?
Большие серверы и приложения вне экосистемы Mac в основном работают на графических процессорах, преимущественно от Nvidia. Эта компания достигла успеха благодаря ИИ, став крупнейшим публичным предприятием и вытеснив Apple с этого места. Однако Apple Silicon имеет свои особенности. До M4 обработка ИИ-процессов происходила в общем объеме памяти, который использовался как VRAM.
С выходом M5 Apple оснастила ядра GPU аппаратным ускорением, что положительно сказалось на производительности при работе с большими языковыми моделями. Но есть одно "но": разработчики моделей и операционные системы, такие как Ollama, должны поддерживать это аппаратное ускорение.
На данный момент лишь одна модель из коллекции Ollama использует это ускорение. Даже в этом случае общий объем памяти продолжает использоваться, так что аппаратное ускорение графических ядер пока остается в ожидании. Тем не менее, вполне возможно, что в ближайшие годы количество моделей и приложений, использующих GPU Apple Silicon, увеличится.
На текущий момент общий объем памяти в Apple Silicon важнее, чем мощная графика, как в M5 Pro или Max.
Какой Mac подойдет для ChatGPT?
Если вы используете ChatGPT на умеренном уровне, теоретически достаточно и Mac с 16 ГБ общего объема памяти. Существуют большие языковые модели с 9 миллиардами параметров, которые могут работать на Mac с 16 ГБ. Более подробную информацию можно найти здесь.
Однако для программирования, анализа больших данных и других ресурсоемких задач подойдут специализированные модели с большим количеством параметров. Убедитесь, что количество параметров (в миллиардах) не превышает объем общей памяти (в ГБ).
Сравнение MacBook Pro M5 и Mac Mini
Мы провели примерный расчет на основе MacBook Pro M5 с актуальными ценами от Apple. Безусловно, Mac Mini выглядит более привлекательным вариантом для таких задач, так как за экран и клавиатуру MacBook Pro вы платите примерно на 1000 евро больше при сопоставимых процессорах и оперативной памяти (только SSD в Mac Mini значительно меньше, чем в MacBook Pro). Но текущие сроки доставки в 16 недель делают подобные расчеты малореальными. Возможно, ситуация изменится с выходом Mac Mini M5 (Pro), который ожидается этим летом.
Сколько стоит увеличить объем памяти в MacBook Pro?
В текущем MacBook Pro M5 переход с 16 ГБ на 24 ГБ стоит 250 евро, а на 32 ГБ - уже 500 евро. Чтобы использовать 48 ГБ общей памяти, нужно выбрать MacBook Pro M5 Pro, где разница составит 1100 евро по сравнению с начальной конфигурацией на 16 ГБ. Mac с 64 ГБ также доступен с M5 Pro, и его цена на 1550 евро выше, чем у самой доступной модели.
Если вы останетесь на M5, увеличение общего объема памяти для локального ИИ окупится примерно за два года. Подписка на ChatGPT для частных пользователей стоит около 23 евро в месяц, и дополнительные 500 евро вы сэкономите примерно за 21 месяц. Переход на M5 Pro в MacBook и увеличение объема оперативной памяти также имеют такие же ценовые скачки в 500 евро. 1100 евро или 1550 евро за увеличение объема памяти окупятся за четыре и пять с половиной лет, соответственно, за счет экономии на подписке ChatGPT.
