Nasıl kullanılır?
- Tüm tarayıcılar için varsayılan politikayı seçin ve /cart/ veya /search gibi ziyaret etmemeleri gereken yolları ekleyin.
- Farklı kurallara ihtiyaç duyan belirli tarayıcılar için gruplar ekleyin veya hazır ayarlardan birini kullanın.
- XML site haritanızın tam URL'sini ekleyin.
- robots.txt dosyasını indirin ve https://your-domain/robots.txt adresinden sunulması için sitenizin kök dizinine yükleyin.
Nasıl çalışır?
robots.txt, tarayıcılara hangi URL'leri ziyaret edebileceklerini bildiren ve bir sunucunun kök dizininde bulunan düz metin dosyasıdır. RFC 9309 standardıyla tanımlanmıştır. Dosyada gruplar bulunur: Bir veya daha fazla User-agent satırını Allow ve Disallow kuralları izler. Tarayıcı, adıyla en özel şekilde eşleşen grubu kullanır; eşleşme yoksa * grubuna başvurur. Kendi grubuyla * grubundaki kuralları birleştirmez. Bir grupta, eşleşen en özel (en uzun) kural geçerlidir; eşitlik durumunda Allow önceliklidir.
Yollar, URL yolunun başından itibaren eşleştirilir ve büyük-küçük harfe duyarlıdır. * herhangi bir karakter dizisiyle eşleşir, $ ise URL'nin sonunu belirtir. Boş bir “Disallow:” hiçbir şeyi engellemez. Bu araçta / veya * ile başlamayan satırlar, tarayıcılar da bunları yok sayacağı için yok sayılır ve işaretlenir. Sitemap satırları tam URL olmalı ve tek bir grup için değil, dosyanın tamamı için geçerlidir.
Önemli sınırlamalar: robots.txt taramayı denetler, dizine eklemeyi değil. Engellenen bir URL, başka sayfalardan bağlantı veriliyorsa arama sonuçlarında açıklama olmadan yine de görünebilir. Bir sayfanın arama sonuçlarında görünmesini önlemek için taramaya izin verin ve bunun yerine noindex robots meta etiketi kullanın. Her sunucu adı ve protokol için ayrı bir dosya gerekir; bu nedenle blog.example.com için ayrı bir robots.txt dosyası gerekir.
Örnekler
Sepeti ve site içi aramayı gizleyen mağaza
Her şeye izin verin; ardından /cart/, /checkout/ ve /search yollarını engelleyin. Sitemap: https://example.com/sitemap.xml satırını ekleyin. Ürün ve kategori sayfaları taranabilir kalır.
Test ortamı sitesi
“Her şeyi engelle” seçeneğini belirleyin. Kurallara uyan tarayıcılar siteyi atlar; ancak robots.txt yalnızca bir istekte bulunduğundan test ortamını ayrıca parolayla koruyun.
Yapay zekâ eğitimi için kullanılan tarayıcıları devre dışı bırakma
Yapay zekâ tarayıcıları ayarı, GPTBot, CCBot, Google-Extended, ClaudeBot ve PerplexityBot için Disallow: / kuralını içeren bir grup ekler. Googlebot gibi arama tarayıcıları * grubundaki kuralları izlemeye devam eder.
Sık sorulan sorular
robots.txt dosyasını nereye koymalıyım?
Sunucunun kök dizinine koyun; böylece https://example.com/robots.txt adresinden erişilebilir. Alt klasörlerdeki robots.txt dosyaları yok sayılır.
Disallow bir sayfayı arama sonuçlarından kaldırır mı?
Güvenilir biçimde kaldırmaz. Disallow taramayı engeller, ancak URL başka bir yerden bağlantı alıyorsa listelenmeye devam edebilir. noindex meta etiketi veya başlığı kullanın ve tarayıcının görebilmesi için sayfanın taranmasına izin verin.
Her bot robots.txt kurallarına uyar mı?
Hayır. robots.txt kurallarına uymak isteğe bağlıdır. Büyük arama motorları ve birçok yapay zekâ tarayıcısı bu kurallara uyduğunu belirtir; ancak veri kazıyıcılar ve kötü amaçlı botlar bunları yok sayabilir.
Google Crawl-delay yönergesini kullanır mı?
Hayır, Google Crawl-delay yönergesini yok sayar. Bing'inki dahil bazı diğer tarayıcılar bu yönergeyi okur. Google, sunucunuzun yanıtlarına göre tarama hızını otomatik olarak ayarlar.
CSS ve JavaScript dosyalarını engellemeli miyim?
Hayır. Arama motorları sayfaları işler ve sayfa düzenini ve içeriğini anlamak için bu dosyalara ihtiyaç duyar. Bu dosyaları engellemek, sayfaların tarayıcılara bozuk görünmesine neden olabilir.
Gizlilik
Dosya tarayıcınızda oluşturulur. Kurallarınız ve URL'leriniz hiçbir yere gönderilmez veya kaydedilmez.