Robots.txt Oluşturucu
Robots.txt için izin, engelleme, tarama gecikmesi ve site haritası kuralları oluşturun.
Her satıra / ile başlayan bir yol yazın. Boşlukları %20, # işaretini %23 olarak kodlayın.
robots.txt taramayı yönetir; özel sayfaları korumaz veya aramadan kaldırılmasını garanti etmez. Google Crawl-delay’i yok sayar. Her satıra bir aracı yazın (harf, _, -, veya *).
robots.txtSite köküne yayımlamadan önce inceleyin. Elle düzenlenen metin dışa aktarılır; form alanlarını değiştirmek dosyayı yeniden oluşturur.