Chat with MLX
Открытый macOS-клиент для чата с локальными документами через LLM на Apple Silicon
Все вопросы к документу остаются на диске — ни один токен не улетает на сторонний сервер. Chat with MLX — открытый проект для macOS, который подключает личные файлы к языковой модели и использует библиотеку MLX для ускорения на чипах Apple Silicon.
Что умеет
- Загружает документы и ищет по ним ответы через retrieval-augmented generation — модель отвечает, опираясь на содержимое файла, а не только на свои знания
- Переключает режим общения на лету — «разговор» или «ассистент» — в зависимости от задачи
- Настраивает поведение модели под себя через отдельный режим тонкой настройки ответов
- Работает с открытыми моделями, которые скачиваются с Hugging Face, включая семейство Gemma
- Держит всю обработку на устройстве — обещание проекта в том, что данные не покидают Mac
Цены и доступ
Проект открытый и бесплатный, распространяется по лицензии MIT. Готовой сборки под установку пока нет — приложение собирают вручную из исходников через npm и pip, задача с упаковкой в обычное .app всё ещё числится в открытых.
Для тех, кто держит архив исследований или личных заметок и не готов заливать его в облачный чат-бот, это редкий случай локального инструмента, а не подписки — плата здесь не деньгами, а временем на сборку.
