Индустрия убедила нас, что создание персонального ИИ сводится к хитрому промптингу или файн-тюнингу тяжелых опенсорс-моделей. Проект texts-to-transformer предлагает радикально иной подход — обучение языковой модели с абсолютного нуля исключительно на вашей истории iMessage. Весь процесс происходит локально на Mac с процессорами Apple Silicon через фреймворк MLX. Здесь нет никакого претрейна: токенизатор и веса трансформера инициализируются с чистого листа.

По умолчанию скрипт собирает decoder-only архитектуру всего на 1.38 млн параметров с контекстным окном в 256 токенов. Вопрос в том, есть ли практический смысл в такой микромодели. Разработчики признают, что это не ассистент и не советчик. Нейросеть не способна рассуждать или оперировать фактами. За 8 млн обучающих токенов она успевает усвоить лишь ваш стиль письма, частые опечатки, сленг и ритм коротких реплик. По сути, мы получаем продвинутую версию предиктивного ввода, а не полноценную модель.

Пайплайн довольно бережно работает с данными: оригинальная база chat.db читается в безопасном режиме, а контакты хешируются. Правда, техническая элегантность разбивается о специфику алгоритмов. Низкое соотношение токенов к параметрам часто приводит к банальному заучиванию обучающей выборки. Трансформер неизбежно запоминает целые фрагменты приватных диалогов, адреса и личные секреты. Полученный чекпоинт становится опасным активом, который нельзя выносить за пределы локального диска, что оставляет проект в категории любопытных технических экспериментов.