Robots.txt генератор
Построение robots.txt разрешает и запрещает правила, задержку сканирования и директивы по карте сайта.
Один путь на строку, начиная с /. Пространства кода как %20 и # как %23.
robots.txt controls crawling; it does not secure private pages or guarantee removal from search. Google ignores Crawl-delay. One agent token per line (letters, _, -, or *).
robots.txtReview before publishing at the site root. Manual edits are copied and downloaded; changing form fields regenerates the file.