Robots.txt Dosyası Oluşturma Adımları

Robots.txt metni hangi amaçla hazırlanır?

Robots.txt Generator, arama motorlarının tarama ve dizine ekleme süreçlerine yönelik robots.txt metni hazırlamanıza yardımcı olur. Kullanıcı aracısını, erişim tercihini, engellenecek yolları ve isteğe bağlı ek satırları tek bir çıktı içinde düzenleyebilirsiniz. Kullanıcı aracısı alanını boş bıraktığınızda * varsayılanı kullanılır ve metin, bu değeri taşıyan bir User-agent satırıyla başlar. Böylece belirli bir kullanıcı aracısı yazmadan genel bir kural yapısı hazırlayabilirsiniz.

Araç, özellikle farklı yollar için erişim düzeni tasarlarken hangi satırların oluşacağını görmek isteyenler için kullanışlıdır. Site haritası ve tarama gecikmesi alanları da boşluk dışı içerik verildiğinde çıktıya eklenebilir. Ortaya çıkan metni, kapsamını ve yazdığınız değerleri kontrol ederek değerlendirin; bir satırın çıktıda bulunması, tarama veya dizine ekleme sonucunun garanti edildiği anlamına gelmez. Bu nedenle hazırlık sırasında hedeflediğiniz yolları ve seçtiğiniz erişim kapsamını dikkatle inceleyin.

Robots.txt nasıl oluşturulur?

1. Kullanıcı aracısını girin veya boş bırakın. Belirli bir tarayıcıya yönelik değer kullanacaksanız bunu ilgili alana yazın. Alanı boş bırakırsanız * değeri kullanılır. Üretilen metnin başlangıcında, girdiğiniz değeri içeren bir User-agent satırı yer alır.

2. Erişim seçeneğini belirleyin. İzin verme seçeneği açık bırakıldığında çıktı içinde boş bir Disallow: yönergesi bulunur. Belirli yolları engellemek istiyorsanız bu seçeneği kapatın ve yolları ayrı satırlara yazın.

3. Yolları düzenleyin. Her satırdaki baş ve sondaki boşluklar kaldırılır, boş satırlar dikkate alınmaz ve kalan satırlar ayrı Disallow yönergelerine dönüştürülür. Kullanılabilir bir yol yazmadan seçeneği kapatırsanız sonuçta Disallow: / satırı oluşur.

4. Ek alanları kullanın. Site haritası alanına boşluk dışı metin girildiğinde, çıktıya boş satırdan sonra bir Sitemap satırı eklenir. Tarama gecikmesi alanında boşluk dışı metin varsa ayrıca Crawl-Delay satırı yazılır.

5. Metni gözden geçirin. Kullanıcı aracısını, erişim seçimini, yolları ve ek satırları beklediğiniz kapsamla karşılaştırın. Özellikle izin seçeneği kapalıyken yol alanının boş kalmadığını kontrol edin.

Üretilen metin nasıl okunur?

Çıktıyı yorumlarken ilk olarak User-agent satırına bakın. Kullanıcı aracısı alanını boş bıraktıysanız burada * bulunur; farklı bir değer verdiyseniz satırda o değer gösterilir. Sonraki bölümdeki erişim yönergesi, seçiminizin çıktıya nasıl aktarıldığını gösterir. İzin açıkken boş Disallow: satırı görülür. İzin kapalıyken kullanılabilir yollar, girildikleri satır düzeni işlendikten sonra ayrı Disallow satırları hâline gelir.

İzin kapalı olduğu hâlde işe yarar bir yol bulunmuyorsa / yönergesinin görünmesi beklenen sonuçtur. Bu satırın kapsamını, yol alanını nasıl doldurduğunuzu tekrar kontrol ederek değerlendirin. Sitemap ve Crawl-Delay satırları yalnızca ilgili alanlarda boşluk dışı metin bulunduğunda eklenir; boş bırakılan alanlar için bu satırları görmezsiniz. Girdi değerlerinin URL veya sayı olarak ayrıca doğrulandığını varsaymadan önce metindeki yazımı ve amacınızı kendiniz karşılaştırın. Araç, verilen bilgileri belirtilen metin ve satır işleme kurallarıyla çıktıya aktarır.

Uygulamalı örnek

Mağaza yöneticisi, yönetim ve taslak yolları için iki ayrı erişim yönergesi içeren bir metin hazırlıyor ve ek satırların çıktıda görünüp görünmediğini denetliyor.

Bir mağaza sitesinde kullanıcı aracısı alanına * yazın, erişim seçeneğini kapatın ve yollar alanına /admin ile /taslak değerlerini ayrı satırlarda girin. Site haritası ve tarama gecikmesi alanlarına da boşluk dışı değerler ekleyerek oluşan satırları karşılaştırın; burada önemli olan iki yolun ayrı yönergeler hâline gelmesidir.

Çıktı, User-agent satırını, iki ayrı Disallow yönergesini ve girilen ek alanlar boşluk dışı metin içeriyorsa Sitemap ile Crawl-Delay satırlarını gösterir.

Sınırlamalar

• Alanlar, belirtilen boşluk ve satır işleme davranışıyla çıktıya aktarılır; URL, sayı veya başka bir anlam denetimi yapıldığı varsayılmamalıdır.

Sık yapılan hatalar

• Erişim seçeneğini kapatıp yol alanını boş bırakmak, / için bir Disallow yönergesi oluşturur. Daha dar bir kapsam istiyorsanız hedef yolları boşluk dışı metin içeren ayrı satırlarda yazın.

Sık sorulan sorular

Kullanıcı aracısı alanını boş bırakırsam ne olur?

Alanı boş bırakırsanız * varsayılanı kullanılır ve metin, bu değeri içeren bir User-agent satırıyla başlar. Belirli bir değer yazarsanız başlangıç satırında yazdığınız değer gösterilir ve bunu kontrol edebilirsiniz.

Belirli yolları nasıl engelleyebilirim?

Önce erişim seçeneğini kapatın, ardından engellenecek yolları ayrı satırlara yazın. Satırlar işlenirken baş ve sondaki boşluklar kaldırılır; boş satırlar atlanır ve kalan yollar ayrı Disallow yönergeleri olur.

Site haritası ve tarama gecikmesi satırlarını ekleyebilir miyim?

İlgili alana boşluk dışı metin girerseniz site haritası için Sitemap, tarama gecikmesi için Crawl-Delay satırı eklenir. Alan boş veya yalnızca boşluk içeriyorsa o satır oluşturulmaz; girilen değeri ayrıca gözden geçirin.