Robots.txt ve Meta Robots ile Tarama Nasıl Kontrol Edilir?

Robots.txt, arama motoru botlarına sitenizde hangi alanları tarayıp tarayamayacaklarını söyleyen bir dosyadır; meta robots ise belirli bir sayfanın indekslenmesi, takip edilmesi veya arama sonuçlarında nasıl ele alınması gerektiğini belirtir. Tarama kontrolü için robots.txt, indeks kontrolü için meta robots kullanılır; bu iki mekanizma birbirinin yerine geçmez. En kritik kural şudur: Bir sayfanın Google’dan kaldırılmasını istiyorsanız sadece Disallow yazmak çoğu durumda yeterli değildir, sayfanın noindex yönergesini görebilecek şekilde taranabilir olması gerekir.

Robots.txt nedir ve arama motoru taramasını nasıl etkiler?

Robots.txt, bir web sitesinin kök dizininde bulunan düz metin dosyasıdır. Tipik konumu https://ornekalanadi.com/robots.txt şeklindedir. Arama motoru botları bir siteyi taramadan önce çoğunlukla bu dosyayı kontrol eder ve kendilerine verilen izin ya da kısıtlamalara göre hareket eder.

Robots.txt dosyasının temel amacı, arama motorlarının tarama kaynaklarını daha verimli kullanmasına yardımcı olmaktır. Örneğin filtre parametreleri, dahili arama sonuçları, sepet sayfaları, kullanıcı paneli URL’leri veya sonsuz varyasyon üreten listeleme URL’leri gereksiz tarama yükü oluşturabilir. Bu tür alanlar robots.txt ile sınırlandırılabilir.

Ancak robots.txt bir güvenlik aracı değildir. Bir URL’yi robots.txt ile engellemek, o URL’nin gizlendiği anlamına gelmez. Dosya herkes tarafından görüntülenebilir ve Disallow edilen yollar açıkça görülebilir. Gizli tutulması gereken alanlar için kimlik doğrulama, yetkilendirme, sunucu düzeyinde erişim kontrolü veya uygun HTTP durum kodları kullanılmalıdır.

Robots.txt genellikle şu bileşenlerden oluşur:

• User-agent: Hangi bot için kural yazıldığını belirtir. Örneğin Googlebot, Bingbot veya tüm botlar için yıldız işareti kullanılabilir.
• Disallow: Belirtilen botun taramaması istenen yolu belirtir.
• Allow: Daha geniş bir engel içinde taranmasına izin verilen özel yolu belirtir.
• Sitemap: XML site haritasının konumunu bildirir.
• Crawl-delay: Bazı botlar için istekler arasında bekleme süresi önerebilir; tüm arama motorları tarafından desteklenmez.

User-agent: *; Disallow: /arama/; Disallow: /sepet/; Allow: /blog/; Sitemap: https://www.ornekalanadi.com/sitemap.xml

Bu örnekte tüm botlara, arama ve sepet dizinlerini taramamaları söylenirken blog dizinine izin verilir. Sitemap satırı ise arama motorlarına site haritasının nerede olduğunu bildirir.

Meta robots nedir ve indeksleme kararında ne işe yarar?

Meta robots, HTML sayfasının başlık bölümünde yer alan ve arama motorlarına sayfanın indekslenmesi ya da bağlantılarının takip edilmesi hakkında yönerge veren etikettir. Robots.txt taramayı kontrol ederken meta robots daha çok indeksleme ve bağlantı takibi kararını etkiler.

En yaygın meta robots değerleri şunlardır:

• index: Sayfanın indekslenmesine izin verir. Çoğu durumda varsayılan davranış budur.
• noindex: Sayfanın arama motoru indeksinde yer almamasını ister.
• follow: Sayfadaki bağlantıların takip edilebileceğini belirtir. Varsayılan davranış genellikle budur.
• nofollow: Sayfadaki bağlantıların takip edilmemesini ister.
• noarchive: Arama sonuçlarında önbellek kopyasının gösterilmemesini isteyebilir.
• nosnippet: Arama sonucunda metin veya video önizlemesi gösterilmemesini isteyebilir.
• max-snippet, max-image-preview, max-video-preview: Önizleme uzunluğu ve görsel/video önizleme seviyeleri için daha ayrıntılı kontrol sağlar.

Meta robots yönergeleri sadece bot sayfayı tarayabildiğinde görülebilir. Bu nedenle noindex uygulanacak sayfanın robots.txt ile engellenmemesi gerekir. Eğer bir sayfa robots.txt nedeniyle taranamıyorsa, arama motoru o sayfanın HTML içindeki noindex etiketini okuyamaz.

HTML meta etiketi dışında, PDF gibi HTML olmayan dosyalar veya sunucu düzeyinde yönetilmek istenen kaynaklar için X-Robots-Tag HTTP başlığı da kullanılabilir. Bu yöntem özellikle dokümanlar, medya dosyaları ve dinamik çıktı veren URL’ler için kullanışlıdır.

Disallow ve noindex arasındaki fark nedir?

Disallow taramayı durdurmaya çalışır; noindex indekslemeyi durdurmaya çalışır. Bu iki yönerge benzer görünse de SEO açısından farklı sorunları çözer. Yanlış seçim, önemli sayfaların taranmamasına veya indeks dışı kalması gereken sayfaların arama sonuçlarında görünmeye devam etmesine yol açabilir.

Örneğin bir e-ticaret sitesinde /sepet/ URL’si arama motorları için değer taşımıyorsa Disallow ile tarama dışı bırakılabilir. Buna karşılık kısa süreli bir kampanya sayfasının arama sonuçlarında görünmesini istemiyorsanız, sayfanın taranabilir olması ve noindex taşıması daha doğru yaklaşımdır.

Bir başka kritik senaryo da daha önce indekslenmiş bir URL’yi kaldırmaktır. URL hâlihazırda Google’da görünüyorsa ve siz önce robots.txt ile engellerseniz, Google sayfayı tekrar tarayıp noindex etiketini göremez. Bu durumda URL arama sonuçlarında başlık veya içerik olmadan, sadece bilinen URL olarak kalabilir. İndeks sorunlarının nedenlerini daha geniş çerçevede değerlendirmek için Google’ın bir sayfayı neden indekslemediğini açıklayan yaygın sebepler kontrol edilmelidir.

Robots.txt hangi sayfalar için kullanılmalı, hangi sayfalarda kullanılmamalıdır?

Robots.txt, arama motorlarının hiç taramasını istemediğiniz, SEO değeri düşük veya sonsuz URL varyasyonu oluşturabilecek alanlar için uygundur. Buna rağmen her “değersiz” sayfa otomatik olarak Disallow edilmemelidir. Çünkü bazı sayfalar kullanıcı için gerekli olabilir, bazıları ise botların site yapısını anlaması için bağlantı sinyali taşıyabilir.

Robots.txt ile engellenebilecek URL türleri nelerdir?

• Dahili arama sonuçları: /arama?q=... gibi sayfalar sınırsız kombinasyon üretebilir.
• Sepet ve ödeme adımları: Kullanıcıya özel veya işlem odaklı sayfalardır.
• Oturum ve kullanıcı paneli URL’leri: Giriş, hesap, favoriler gibi alanlar arama sonuçları için anlamlı değildir.
• Yoğun parametre üreten filtreler: Renk, beden, sıralama, stok, fiyat aralığı gibi kombinasyonlar kontrolsüz büyüyebilir.
• Test veya geçici dizinler: Yayına açık olmamalıdır; gerekiyorsa robots.txt yerine erişim koruması da kullanılmalıdır.

Robots.txt ile engellenmemesi gereken kaynaklar hangileridir?

• CSS ve JavaScript dosyaları: Google’ın sayfayı doğru render etmesi için bu kaynaklara erişebilmesi gerekir.
• Önemli kategori ve ürün sayfaları: Organik görünürlük hedefleyen sayfalar taranabilir olmalıdır.
• Noindex taşıması gereken sayfalar: Bot noindex etiketini okuyamazsa indeksleme kontrolü çalışmayabilir.
• Canonical sinyali vermesi gereken sayfalar: Canonical etiketinin görülebilmesi için tarama erişimi gerekebilir.
• Mobil görünüm veya responsive kaynakları: Mobile-first indexing döneminde botun sayfayı kullanıcı gibi görebilmesi önemlidir.

Özellikle JavaScript ağırlıklı sitelerde CSS ve JS kaynaklarını yanlışlıkla engellemek, arama motorlarının içeriği eksik görmesine neden olabilir. SPA, client-side rendering ve render kuyruğu gibi konularda daha teknik kontroller için JavaScript SEO ve SPA sitelerin indekslenmesi rehberiyle birlikte değerlendirme yapmak yararlı olur.

Yaygın robots.txt hataları nelerdir ve nasıl önlenir?

Robots.txt hataları çoğu zaman küçük bir satırdan kaynaklanır; etkisi ise tüm siteye yayılabilir. Özellikle canlıya alma, staging ortamı taşıma, CMS geçişi, tema değişikliği veya e-ticaret filtre yapısı güncellemelerinde robots.txt mutlaka kontrol edilmelidir.

Tüm siteyi yanlışlıkla Disallow etmek neye yol açar?

En riskli hata, tüm botlar için tüm siteyi engelleyen şu kuralın canlı ortamda kalmasıdır:

User-agent: *; Disallow: /

Bu kural, botlara sitenin hiçbir alanını taramamaları gerektiğini söyler. Staging ortamlarında sık kullanılır; ancak canlıya taşındığında organik görünürlükte ciddi sorunlara neden olabilir. Yeni yayına alınan projelerde robots.txt dosyasının staging ayarlarıyla kalmadığı doğrulanmalıdır.

Noindex sayfasını robots.txt ile engellemek neden çelişkilidir?

Bir sayfaya hem noindex koyup hem robots.txt ile taramayı engellemek yaygın bir hatadır. Çünkü bot sayfayı tarayamazsa noindex yönergesini okuyamaz. İndeksten çıkarmak istediğiniz sayfa için önce taramaya izin verilmeli, noindex yönergesi bot tarafından görülebilmeli ve arama motoru bu sinyali işleyebilmelidir.

Yanlış joker karakter ve yol eşleşmeleri nasıl sorun çıkarır?

Robots.txt kurallarında yol eşleşmeleri dikkatli yazılmalıdır. Örneğin Disallow: /tag kuralı sadece /tag/ dizinini değil, /tag-yonetimi gibi istenmeyen başka yolları da etkileyebilir. Daha net kontrol için dizin yapısını doğru kullanmak gerekir.

Sitemap satırını eklememek robots.txt için hata mıdır?

Sitemap satırı zorunlu değildir; ancak robots.txt içinde XML site haritasını belirtmek arama motorlarına keşif kolaylığı sağlar. Özellikle büyük sitelerde, e-ticaret yapılarında, haber sitelerinde ve sık güncellenen kataloglarda sitemap referansı pratik bir sinyaldir.

Crawl-delay nedir ve bot yönetiminde ne zaman kullanılmalıdır?

Crawl-delay, bazı botlara iki istek arasında beklemeleri gereken süreyi öneren robots.txt yönergesidir. Ancak bu yönerge tüm arama motorları tarafından aynı şekilde desteklenmez. Örneğin Googlebot, robots.txt içindeki crawl-delay yönergesini desteklemez; Googlebot tarama davranışı için Google Search Console’daki tarama ayarları ve sitenin sunucu yanıtları daha belirleyici olabilir.

Crawl-delay kullanımı özellikle sunucu kaynakları sınırlı olan, bot trafiğinden etkilenen veya agresif tarama yapan belirli botları yavaşlatmak isteyen sitelerde gündeme gelir. Ancak bu yönergeyi gelişigüzel eklemek, destekleyen botlar için keşif hızını yavaşlatabilir. Yeni içeriklerin geç keşfedilmesi, büyük sitelerde indeks yenilenmesinin gecikmesi veya ürün stok değişikliklerinin arama motorlarına daha geç yansıması gibi etkiler oluşabilir.

Bot yönetimi sadece crawl-delay ile yapılabilir mi?

Bot yönetimi yalnızca crawl-delay’den ibaret değildir. Daha sağlıklı yönetim için robots.txt, sunucu logları, HTTP durum kodları, site mimarisi, iç bağlantılar, site haritaları ve sunucu performansı birlikte değerlendirilmelidir.

• Sunucu loglarını inceleyin: Hangi botun hangi URL’leri ne sıklıkta taradığını görün.
• Gereksiz URL kalıplarını ayırın: Filtre, sıralama, parametre ve dahili arama sayfalarını sınıflandırın.
• Değerli sayfalara iç bağlantı verin: Botların önemli sayfalara daha kolay ulaşmasını sağlayın.
• Site haritalarını temiz tutun: Noindex, yönlendirmeli veya hata veren URL’leri sitemap içinde tutmayın.
• Sunucu yanıtlarını izleyin: 5xx hataları ve yavaş yanıtlar tarama verimliliğini düşürebilir.

Botların gerçekte ne yaptığını anlamanın en güvenilir yollarından biri log dosyası analizidir. Robots.txt kurallarının sahada nasıl karşılık bulduğunu görmek için Googlebot’un sitenizi nasıl gezdiğini log dosyası analiziyle incelemek, tahmine dayalı kararların önüne geçer.

E-ticaret ve listeleme sayfalarında robots.txt nasıl kurgulanmalıdır?

E-ticaret sitelerinde robots.txt kararları genellikle kategori, filtre, sıralama, arama, ürün varyasyonu ve sayfalama yapıları etrafında şekillenir. Burada amaç tüm filtreleri kapatmak değil, arama talebi ve kullanıcı değeri olan sayfaları erişilebilir tutarken sonsuz kombinasyonları kontrol altına almaktır.

Örneğin “siyah koşu ayakkabısı” gibi arama niyeti olan bir filtre sayfası organik hedef olabilir. Buna karşılık “siyah + 42 numara + indirimli + stokta olmayan + fiyat artan” gibi çok katmanlı kombinasyonlar tarama bütçesini gereksiz tüketebilir. Bu ayrım yapılmadan tüm parametreleri Disallow etmek, potansiyel organik iniş sayfalarını da devre dışı bırakabilir.

Kategori sayfalarının ticari değer taşıdığı yapılarda robots.txt tek başına düşünülmemelidir. Kategori metni, ürün çeşitliliği, index/noindex kararı, canonical, sayfalama, iç bağlantı ve URL standardı birlikte ele alınmalıdır. Satış odaklı listeleme yapıları için kategori sayfası SEO ile satış potansiyelini artırmaya yönelik kontroller robots.txt kararlarını tamamlar.

Sayfalama URL’leri robots.txt ile engellenmeli mi?

Sayfalama URL’lerini otomatik olarak robots.txt ile engellemek çoğu durumda risklidir. Çünkü ikinci, üçüncü veya sonraki sayfalarda yer alan ürünler ve içerikler botlar tarafından daha zor keşfedilebilir. Sayfalama yapısında amaç, botun listeyi anlayabilmesini ve derin sayfalardaki öğelere erişebilmesini sağlamaktır.

Sayfalama URL’leri kalite, tekrar ve tarama verimliliği açısından ayrıca değerlendirilmelidir. Bu konuda pagination SEO için listeleme sayfalarının nasıl yönetileceği ayrı bir kontrol alanı olarak ele alınmalıdır.

Meta robots hangi senaryolarda robots.txt yerine tercih edilmelidir?

Meta robots, sayfanın taranmasına izin verip arama sonuçlarında yer almamasını istediğiniz durumlarda tercih edilmelidir. Bu özellikle kullanıcı için gerekli ama organik arama için hedeflenmeyen sayfalarda kullanışlıdır.

• Teşekkür sayfaları: Form veya satın alma sonrası görülen sayfalar indekslenmemelidir.
• Kopya kampanya sayfaları: Aynı içeriğin farklı kampanya URL’lerinde çoğalması engellenebilir.
• Düşük değerli arşiv sayfaları: Kullanıcı deneyimi için var olan ancak arama sonucu hedefi olmayan sayfalar noindex olabilir.
• Geçici içerikler: Kısa süreli sayfalar, yayından kaldırılmadan önce indeks dışı yönetilebilir.
• İçerik budama adayları: Performansı düşük, güncellenmeyecek veya birleştirilecek sayfalar geçici olarak noindex stratejisine alınabilir.

Noindex kararı, içerik stratejisinden bağımsız verilmemelidir. Bir sayfa zayıfsa seçenekler sadece noindex veya silme değildir; güncelleme, birleştirme, yönlendirme, canonical kullanımı veya iç bağlantı düzenleme de düşünülebilir. Zayıf sayfaları sistemli temizlemek için içerik budama ile düşük değerli sayfaların nasıl yönetileceği robots ve meta robots kararlarına iyi bir çerçeve sağlar.

Robots.txt ve meta robots testleri nasıl yapılmalıdır?

Robots.txt ve meta robots ayarları yayına alınmadan önce test edilmeli, yayından sonra da gerçek tarama verileriyle doğrulanmalıdır. Sadece dosyaya bakmak yeterli değildir; botun ilgili URL’ye erişip erişmediği, hangi HTTP durum kodunu aldığı, HTML içinde hangi yönergeyi gördüğü ve indeks durumunun ne olduğu birlikte incelenmelidir.

Yayına almadan önce hangi kontroller yapılmalı?

1. Robots.txt konumunu kontrol edin: Dosya kök dizinde ve doğru protokol/alan adı altında erişilebilir olmalıdır.
2. Canlı ve staging ayrımını doğrulayın: Test ortamı kuralları canlı siteye taşınmamalıdır.
3. Kural kapsamını URL örnekleriyle test edin: Her Disallow ve Allow kuralı için gerçek URL örnekleriyle eşleşme kontrolü yapın.
4. Önemli kaynakların engellenmediğini doğrulayın: CSS, JS, görsel ve render için gerekli dosyalar erişilebilir olmalıdır.
5. Meta robots etiketlerini sayfa kaynak kodunda kontrol edin: noindex veya nofollow yanlış şablonlara yayılmış mı bakın.
6. Sitemap temizliğini kontrol edin: Sitemap içinde sadece indekslenebilir, 200 durum kodlu ve kanonik URL’ler yer almalıdır.

Yayından sonra doğrulama nasıl yapılır?

Yayından sonra Google Search Console’daki URL Denetleme aracı, sayfa indeksleme raporları ve tarama istatistikleri kontrol edilmelidir. Bir URL’nin “robots.txt tarafından engellendi” olarak görünmesi, kuralın beklenen şekilde çalışıp çalışmadığını anlamak için incelenmelidir. Ancak tek bir rapora bakarak karar vermek yerine örnek URL setleri üzerinden değerlendirme yapılmalıdır.

Teknik doğrulama için şu soruların yanıtı aranmalıdır:

• Önemli sayfalar Googlebot tarafından taranabiliyor mu?
• Noindex taşıyan sayfalar robots.txt ile engellenmeden taranabiliyor mu?
• Disallow edilen URL’ler sitemap içinde yanlışlıkla yer alıyor mu?
• Tarama hataları belirli bir dizinde yoğunlaşıyor mu?
• Sunucu loglarında botlar gereksiz parametreleri hâlâ yoğun şekilde geziyor mu?
• Yönlendirme zincirleri botların tarama verimliliğini düşürüyor mu?

Robots.txt için uygulanabilir karar matrisi nasıl oluşturulur?

Robots.txt ve meta robots kararlarını tek tek URL bazında vermek büyük sitelerde sürdürülebilir değildir. Daha iyi yöntem, URL türlerine göre bir karar matrisi oluşturmaktır. Böylece geliştirici, SEO uzmanı, içerik ekibi ve ürün yöneticisi aynı kuralları anlayabilir.

Bu matris düzenli olarak güncellenmelidir. Yeni filtre yapısı, yeni CMS modülü, yeni dil klasörü, yeni ürün varyasyon sistemi veya blog taksonomisi eklendiğinde robots.txt kararları da yeniden değerlendirilmelidir.

Robots.txt hakkında en sık sorulan sorular nelerdir?

Robots.txt ile bir sayfayı Google’dan tamamen kaldırabilir miyim?

Robots.txt tek başına güvenilir bir kaldırma yöntemi değildir. Sayfa daha önce indekslendiyse, bot sayfayı tarayamadığı için noindex etiketini göremeyebilir. Kaldırma için genellikle noindex, uygun HTTP durum kodu, yönlendirme veya arama motoru kaldırma araçları senaryoya göre değerlendirilmelidir.

Noindex verdiğim sayfayı robots.txt ile de engellemeli miyim?

Hayır, çoğu durumda bu iki yönerge birlikte kullanılmamalıdır. Noindex’in çalışması için botun sayfayı tarayıp etiketi görmesi gerekir. Robots.txt ile engellenen bir sayfadaki noindex yönergesi arama motoru tarafından okunamayabilir.

Googlebot crawl-delay kuralına uyar mı?

Googlebot robots.txt içindeki crawl-delay yönergesini desteklemez. Googlebot’un tarama davranışı; sitenin yanıt hızı, hata oranı, site yapısı, içerik güncelliği ve Google Search Console’daki ilgili sinyallerle birlikte değerlendirilmelidir.

Robots.txt dosyasında sitemap belirtmek zorunlu mu?

Zorunlu değildir; ancak iyi bir uygulamadır. Sitemap satırı, arama motorlarının XML site haritasını kolayca bulmasına yardımcı olur. Özellikle büyük, sık güncellenen veya çok bölümlü sitelerde bu satırın eklenmesi önerilir.

CSS ve JavaScript dosyalarını robots.txt ile kapatmak sorun olur mu?

Evet, önemli bir sorun olabilir. Arama motorları sayfayı kullanıcıya benzer şekilde render etmek için CSS ve JavaScript kaynaklarına ihtiyaç duyabilir. Bu kaynakları engellemek, içeriğin eksik anlaşılmasına ve teknik SEO sorunlarına yol açabilir.

Robots.txt değişikliklerinden sonra etkiler ne zaman görülür?

Etki süresi sitenin taranma sıklığına, URL’nin önemine, iç bağlantı yapısına ve arama motorunun yeniden tarama zamanlamasına bağlıdır. Değişiklikten sonra URL Denetleme, indeksleme raporları ve log dosyaları birlikte takip edilmelidir.

En güvenli robots.txt yaklaşımı nedir?

En güvenli yaklaşım, önce URL türlerini sınıflandırmak, sonra hangi URL’lerin taranması ve indekslenmesi gerektiğine karar vermektir. Robots.txt taramayı, meta robots indekslemeyi, sitemap keşfi, canonical ise tercih edilen URL sinyalini yönetir. Bu sinyaller çelişmeyecek şekilde birlikte kurgulanmalıdır.