Скорость работы AI-моделей на ваших Mac с Apple Silicon теперь стала еще выше! Если вы интересуетесь локальными решениями для работы с искусственным интеллектом, то Ollama - это то, что вам нужно. Давайте разберемся, что нового в этом приложении и как его использовать.
Что такое Ollama?
Ollama - это приложение для Mac, Linux и Windows, которое позволяет пользователям запускать AI-модели локально на своих компьютерах. В отличие от облачных сервисов, таких как ChatGPT, Ollama позволяет загружать и запускать модели прямо на вашем устройстве, что избавляет от необходимости постоянного интернет-соединения.
Преимущества локального запуска AI
Пользователи могут загружать модели из открытых сообществ, таких как Hugging Face, или даже напрямую от поставщиков моделей. Однако запуск локальных LLM (large language models) может быть непростым, так как даже небольшие модели требуют значительных ресурсов, таких как оперативная и графическая память.
Новые возможности с MLX
Недавно Ollama представила предварительную версию своего приложения (Ollama 0.19), которая построена на основе фреймворка машинного обучения Apple - MLX. Это позволяет значительно ускорить работу локальных AI-моделей на Mac с Apple Silicon благодаря единой архитектуре памяти.
Ускорение работы на Apple Silicon
С обновлением Ollama теперь работает быстрее на всех устройствах Apple Silicon. На чипах M5, M5 Pro и M5 Max приложение использует новые нейронные ускорители GPU, что улучшает время до первого токена (TTFT) и скорость генерации (токены в секунду).
Поддержка персональных ассистентов и кодирующих агентов
С обновлением Ollama стало проще запускать персональных ассистентов, таких как OpenClaw, а также кодирующие агенты, такие как Claude Code, OpenCode или Codex. Однако стоит учесть, что Ollama рекомендует использовать Mac с более чем 32 ГБ единой памяти, что может быть проблемой для многих пользователей.
Где узнать больше?
Чтобы узнать больше о Ollama, вы можете перейти по этой ссылке. Если вас интересует проект MLX от Apple, все детали можно найти здесь.
