Защита сайта на Битрикс от AI-ботов

Требуется реализовать техническое задание по ограничению доступа AI-ботов к сайту на CMS Битрикс. Основная цель — снизить нагрузку на сервер и защитить контент и инфраструктуру сайта от нецелевого сканирования AI-ботами, включая сборщиков данных для обучения нейросетей. При этом необходимо сохранить индексацию поисковыми системами (Яндекс, Google) и обеспечить доступ легитимных сервисов.

Задача предполагает дифференцированную блокировку, то есть отсечение именно AI-краулеров без нарушения SEO. Подробное техническое задание доступно по ссылке.