Если в качестве источника вашего CDN-ресурса выступает сайт, то его копия, располагающаяся на персональном домене (cname) может быть проиндексирована поисковыми системами.
Чтобы запретить поисковым системам индексировать копию сайта:
- Создайте на источнике папку и поместите в неё файл robots.txt с настройками запрета индексации:
User-agent: *
Disallow: / - В настройках CDN ресурса создайте правило со следующими настройками:
Тип шаблона пути: Регулярное выражение
Шаблон правила: robots.*
Rewrite: /(.*) /folder/$1
Где folder - название папки, которую вы создали на первом шаге.
Пример настроек правила:
Как это работает?
Поисковые боты проверяют указанные в файле «robots» настройки для индексирования.
С помощью правила мы перезаписываем путь, по которому будут обращаться поисковые боты при посещении персонального домена. Например, если ваш персональный домен cdn.domain.com, то поисковые боты будут видеть файл cdn.domain.com/robots.txt, который фактически располагается в директории /folder/robots.txt и, т.к. в этом файле указаны директивы, запрещающие индексирование, персональный домен cdn.domain.com не попадет в выдачу поисковых систем.
! На индексирование самого сайта эти настройки не повлияют.