# Запись «User-agent» должна содержит название поискового робота. User-agent: * означает, что следующие за ней Disallow относятся ко всем роботам, кроме тех, для которых есть свои строки User-agent. User-agent: * # Для индексирования запрещен файл _call_libs_root.php, находящийся в корневом каталоге и файл website_studio_link_exchange.php в директории «bestsitestudio». Disallow: /_call_libs.php Disallow: /buy_website.php Disallow: /compare_packages.php Disallow: /free_trial.php Disallow: /ready_website_samples.php # Для индексирования запрещены директория «memberarea» и всё содержимое данной директории. Disallow: /cgi-bin/ Disallow: /memberarea/ # Для индексирования запрещены директория «admin», а так же все файлы и директории, начинающиеся c «admin»: «admin.htm», «adminka.htm», директории: «admin», «admin1» и т.д. # Disallow: /admin # Disallow: /config