Все привыкли, что Markdown — базовый и единственный адекватный формат для ответов языковых моделей. Он легкий, человекочитаемый и поддерживается любым фронтендом по умолчанию. Так ли это на самом деле, если мы говорим о сложных автономных агентах?
Разработчики Claude из Anthropic опубликовали репозиторий html-effectiveness, где исследуют использование HTML вместо привычной разметки для структурирования ответов ИИ. Markdown отлично справляется с обычным текстом. Но когда агенту нужно вернуть сложную вложенную структуру, передать параметры для API или разделить внутренний монолог и финальный ответ, парсить звездочки и решетки становится больно. HTML решает эту проблему через жесткую иерархию тегов. Это снижает риск ошибок парсера на стороне приложения и оставляет меньше пространства для галлюцинаций формата.
Правда, за такую предсказуемость приходится платить токенами. Громоздкие открывающие и закрывающие теги съедают контекстное окно гораздо быстрее, чем минималистичный синтаксис. Вопрос в том, перевешивает ли надежность извлечения данных возросшие затраты на инференс. Для создания стандартного чат-бота переход на HTML выглядит избыточным. Но если проектировать сложные автоматизированные workflow, где ответ модели передается другим скриптам, строгая разметка может избавить от постоянного переписывания регулярных выражений.
Поделиться:
ODS: запуск локальной LLM, Open WebUI и RAG одной командой
Инференс-движок TurboFieldfare позволяет запускать LLM на 26 млрд параметров с 2 ГБ оперативной памяти на Apple Silicon