Robots.txt জেনারেটর
robots.txt নির্মাণ করুন, নিয়মগুলি অনুমোদন এবং নিষিদ্ধ করুন, crawl delay, এবং sitemap নির্দেশাবলী।
লাইন প্রতি একটি পথ, শুরু /. %20 এবং # হিসাবে %23 হিসাবে স্পেস এনকোড করুন।
robots.txt controls crawling; it does not secure private pages or guarantee removal from search. Google ignores Crawl-delay. One agent token per line (letters, _, -, or *).
robots.txtReview before publishing at the site root. Manual edits are copied and downloaded; changing form fields regenerates the file.