Бигтех договорился об одной строке в файле robots.txt против обучения нейросетей

Если открыть корневой каталог почти любого независимого медиа или продакшен-студии, файл robots.txt за последние пару лет превратился в бесконечный список запретов. Десятки строчек, где арт-директора и технические специалисты вручную прописывали имена каждого отдельного ИИ-бота: запретить сбор OpenAI, запретить Claude, запретить краулерам Google поглощать иллюстрации, моушн-кейсы и верстку для чужого претрейна. В октябре 2026 года в этой партизанской войне наметился компромисс. Крупнейшие игроки индустрии искусственного интеллекта — Anthropic, Google, Microsoft и OpenAI — публично поддержали общий протокол, позволяющий одной командой отрезать контент сайта от датасетов для обучения базовых генеративных моделей.

Как устроен новый протокол

Техническая основа нового решения родилась внутри рабочей группы Internet Engineering Task Force (IETF). Автором концепции выступил технический специалист по стандартизации из Anthropic Кевин Келли. Он предложил специальный сигнал — токен политики (Policy Token), который добавляется напрямую в robots.txt. Сейчас этот механизм зафиксирован в проектных документах IETF: черновике draft-kelley-aipref-training-preference-signal, описывающем сам сигнал, и черновике draft-ietf-aipref-vocab, где формируется единый словарь рабочей группы AI Preferences.

Суть нововведения проста: владельцам цифровых площадок больше не придется отслеживать появление каждого нового сборщика данных и судорожно пополнять конфигурации сервера. Единый сигнал передает предпочтения сайта сразу всем платформам, согласившимся соблюдать правила. При этом участие в инициативе остается добровольным, а уже настроенные точечные правила для отдельных ботов не аннулируются и продолжают работать параллельно.

Расстановка сил и сроки внедрения

Несмотря на общий консенсус, компании двигаются к внедрению стандарта с разной скоростью:

• Anthropic уже активировала поддержку единого сигнала в своей инфраструктуре.
• OpenAI официально присоединилась к рабочей группе IETF в день анонса, пообещав внедрить сигнал в ближайшие месяцы и выпустить отдельный релиз с техническими деталями интеграции.
• Google планирует реализовать поддержку протокола в течение следующего года.
• Microsoft также наметила запуск на следующий год, но готовит более гибкую схему управления контентом.

Подход Microsoft выделяется детализацией. Компания намерена разделить управление правами на две независимые ветки: обучение моделей (AI training) и процедуру граундинга (AI grounding) — обращение алгоритмов к проверенному сайту ради фактчекинга и сокращения галлюцинаций. Издатели смогут, например, закрыть свой контент от включения в веса будущих моделей, но разрешить поисковым ассистентам цитировать материалы со ссылкой на источник. При любом выборе сайт продолжит в обычном режиме индексироваться в поисковике Bing.

От блокировок через CDN к правилам вежливости

Появлению этого протокола предшествовало глухое раздражение веб-индустрии. Нагрузка от парсеров росла лавинообразно, вынуждая медиа и визуальные архивы защищаться радикальными методами. Сайты закрывали доступ целым диапазонам адресов на уровне CDN — например, через функционал Cloudflare, отсекающий подозрительных ботов еще на подлете к серверу. Другие пытались внедрять платные спецификации вроде Really Simple Licensing (RSL), требуя деньги за каждый автоматический визит краулера.

Новый протокол IETF — попытка перевести этот конфликт в рамки цивилизованного диалога. OpenAI заявляет, что рассчитывает на формирование открытого веба, в котором авторы легко определяют границы использования своих материалов. Компания подчеркивает готовность корректировать методы работы по мере развития дискуссий о контроле и справедливости, призывая остальных разработчиков генеративных систем подключиться к единому стандарту.

Для креативных команд, агентств и авторов визуального контента этот шаг меняет ежедневную рутину защиты портфолио. Больше не нужно переписывать системные файлы каждую неделю, боясь, что свежий робот незаметно утащит графику и тексты в обучающую выборку. Впрочем, насколько надежно сработает добровольное соглашение технологических гигантов, покажет только практика его применения.