# Разрешаем всем ботам индексировать весь сайт
User-agent: *
Disallow:

# Указываем Яндексу на главное зеркало
# спецификация стандарта http://help.yandex.ru/webmaster/?id=996567
User-agent: Yandex
Disallow: /*&plusme=
Disallow: /*?text=
Disallow: /*&text=
Disallow: /*&plus=
Disallow: /*&otkuda=
Disallow: /*&sortingby=
Disallow: /*&price_from=
Disallow: /*&cur_page=1
Disallow: /*&cur_page=2
Disallow: /*&cur_page=3
Disallow: /*&cur_page=4
Disallow: /*&cur_page=5
Disallow: /*&cur_page=6
Disallow: /*&cur_page=7
Disallow: /*&cur_page=8
Disallow: /*&cur_page=9
Allow: /
Crawl-delay: 0.5
Host: morozilnik.ru

# Ограничиваем нагрузку бота Yahoo (20 секунд на страницу)
User-Agent: Yahoo! Slurp
Disallow: 
Crawl-delay: 20

# Директивы для бота Google
# User-agent: googlebot
# Disallow: 
# Crawl-delay: 2

User-Agent: NimbleCrawler
Disallow: /