Robots.txt Oluşturucu
Web siteniz için arama motoru tarama ve dizin oluşturma kurallarını belirleyen robots.txt dosyasını hızlıca oluşturun. Kullanıcı aracısı, erişim izinleri, tarama gecikmesi ve site haritası girişlerini yapılandırın.
Aracı çalıştır
Robots.txt dosyası, web sitenizin hangi bölümlerinin arama motoru botları tarafından taranıp dizine eklenebileceğini belirleyen önemli bir metin dosyasıdır. Bu çevrimiçi araç, robots.txt içeriğini saniyeler içinde oluşturmanızı sağlar. Kullanıcı aracısı (User-agent) alanına hangi bot için kural yazacağınızı girin; varsayılan olarak tüm botları kapsayan yıldız (*) işareti kullanılır. 'Tümüne İzin Ver' seçeneği açıkken dosyada boş bir Disallow yönergesi yer alır, yani tüm sayfalar taranabilir. Bu seçeneği kapatıp 'İzin Verilmeyen Yollar' alanına her satıra bir tane olmak üzere engellemek istediğiniz dizinleri veya dosya yollarını yazabilirsiniz. Örneğin /admin/ veya /private/ gibi. Bu alan boş bırakılırsa tüm siteye erişim engellenir. Site haritası URL'si ve tarama gecikmesi (saniye cinsinden) gibi ek yönergeler de ekleyebilirsiniz. Oluşturulan metni kopyalayıp web sitenizin kök dizinindeki robots.txt dosyasına yapıştırabilirsiniz. Yolları doğru yazdığınızdan emin olun; geçersiz bir yol tarama sorunlarına yol açabilir.
Kullanım
- Kullanıcı aracısı (User-agent) alanına kural uygulanacak bot adını girin. Tüm botlar için * (yıldız) işaretini kullanın.
- Tüm sayfalara izin vermek için 'Tümüne İzin Ver' seçeneğini işaretli bırakın. Belirli yolları engellemek için bu seçeneği kaldırın.
- Engellenecek yolları 'İzin Verilmeyen Yollar' alanına her satıra bir tane olacak şekilde yazın. Örneğin: /admin/ veya /private/
- İsteğe bağlı olarak 'Site Haritası URL'si' alanına site haritanızın tam URL'sini girin.
- İsteğe bağlı olarak 'Tarama Gecikmesi' alanına botların istekler arasında beklemesi gereken saniye sayısını girin.
- 'Oluştur' düğmesine tıklayın ve oluşan robots.txt metnini kopyalayın.
Örnekler
- Örnek 1: Tüm botlara izin ver, site haritası ekle. Kullanıcı aracısı: *, Tümüne İzin Ver: açık, Site Haritası URL'si: https://ornek.com/sitemap.xml. Çıktı: User-agent: * Disallow: Sitemap: https://ornek.com/sitemap.xml
- Örnek 2: Yalnızca Googlebot'u engelle, /admin/ yolunu kapat. Kullanıcı aracısı: Googlebot, Tümüne İzin Ver: kapalı, İzin Verilmeyen Yollar: /admin/. Çıktı: User-agent: Googlebot Disallow: /admin/
- Örnek 3: Tüm botları engelle, tarama gecikmesi 5 saniye. Kullanıcı aracısı: *, Tümüne İzin Ver: kapalı, İzin Verilmeyen Yollar: /, Tarama Gecikmesi: 5. Çıktı: User-agent: * Disallow: / Crawl-Delay: 5
SSS
Robots.txt dosyası nedir ve neden önemlidir?
Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp dizine ekleyebileceklerini söyleyen bir metin dosyasıdır. Yanlış yapılandırma, önemli sayfaların dizine eklenmemesine veya hassas alanların taranmasına neden olabilir.
Tüm botlara izin vermek ne anlama gelir?
'Tümüne İzin Ver' seçeneği açıkken Disallow yönergesi boş bırakılır. Bu, tüm botların sitenin tamamını tarayabileceği anlamına gelir. Çoğu site için varsayılan ve güvenli bir ayardır.
İzin verilmeyen yolları nasıl yazmalıyım?
Her satıra bir tane olmak üzere, engellemek istediğiniz dizin veya dosya yolunu yazın. Örneğin: /admin/ (admin dizini) veya /private.html (belirli bir dosya). Yolların başında / işareti olmalıdır.
Tarama gecikmesi (Crawl-Delay) ne işe yarar?
Tarama gecikmesi, botların ardışık istekleri arasında beklemesi gereken saniye sayısını belirtir. Sunucunuzu aşırı yüklememek için kullanılır. Tüm botlar bu yönergeyi desteklemez.
Oluşturulan metni nasıl kullanabilirim?
Oluşturulan robots.txt metnini kopyalayın ve web sitenizin kök dizinine (örneğin, https://ornek.com/robots.txt) yükleyin. Dosyayı bir metin düzenleyiciyle de oluşturabilirsiniz.