Tạo Robots.txt Generator
Xây dựng robots.txt cho phép và không cho phép các quy tắc, trì hoãn crawl và hướng dẫn sitemap.
Một con đường cho mỗi dòng, bắt đầu với /. Mã khoảng trống là %20 và # là %23.
robots.txt controls crawling; it does not secure private pages or guarantee removal from search. Google ignores Crawl-delay. One agent token per line (letters, _, -, or *).
robots.txtReview before publishing at the site root. Manual edits are copied and downloaded; changing form fields regenerates the file.