Kısaca robots.txt nedir? Nasıl oluşturulur? Diye baktığımız zaman bir web sitesinin kök dizininde yer alan ve arama motorlarına tarama ve dizin ekleme işlemi esnasında hangi sayfaları tarayacağını ve dizine ekleyeceği konusunda talimat veren metin dosyası olduğunu görebiliriz.
Bir arama motorunun nasıl çalışacağına dair yapılan tarama aşamasında arama motorunun halka açık webde yer alan ve indeksine ekleyeceği sayfayı bulmaya çalıştığı bilinir. Herhangi bir web sitesine göz atarken, yapmış oldukları ilk şey robots.txt dosyasının içeriğini aramak ve kontrol altında tutmaktır.
Dosyada verilen kurallara göre, tarama yapabilecekleri URL’lerin listelerini yaparlar. Sonrasında ise belirli bir web sitesi için dizine ekleme yaparlar. Bu robots.txt arama motorlarına bir sitenin belirlenmiş bazı sayfalarını söyleyen bir dosya olarak biliniyor.
Büyük arama motorları Robots.txt isteklerini tanır ve kabul eder. Çoğu sitenin robots.txt dosyasına ihtiyacı yoktur. Çünkü Google genellikle web sitenizdeki önemli olan tüm sayfaları bulup dizine ekleyebilir. Hatta bir önemi olmayan veya diğer sayfalarının tekrarlanan sürümlerini dizine almaz.
Yani robots.txt hangi sitelerin taranması gerektiğine ilişkin kuralları içeren ve site sahiplerinin, hangi tarayıcıların URL adreslerini ziyaret edebileceği, ne kadarlık bir kapasite tüketebileceğine izin verdiği konusunda daha fazla denetime sahip olma sözünü veren bir dosyadır. Bu dosyanın SEO üzerinden de oldukça büyük faydaları bulunur.
Robots.txt Nedir?
Robot Engelleme Standardı, bir başka adıyla robots.txt arama motoru botlarının hangi bölümlerini nasıl tarayacağını direktifler yoluyla aktarılan txt dokümanına verilen bir isim olarak biliniyor. Bu dosyayı verimli bir şekilde kullanarak web sitenizin alt klasörlerini, alt klasörün içinde bulunan bir URL’yi veya Prefix’i içeren bir URL bloğunu komple arama motoru botlarının tarama yapmasına kapatabilir veya açabilirsiniz.
Web sitelerin ana domain dizininde yer alan robots.txt dosyası günümüzde oldukça büyük arama motorları tarafından takip ediliyor. Robots.txt dosyasında yapacağınız komutlar arama motoru botları tarafından takip ediliyor.
Sizin yönlendirmeniz sayesinde sitenin taraması başlamış oluyor. Büyük arama motorlarının büyük bir çoğunluğu robots.txt dosyasının konutlarına uyum gösteriyor. Ama günümüzde hâlâ robots.txt dosyasını kullanmayan bot tipleri de bulunuyor.
Bu duruma göre büyük arama motorları arasında olan Google robots.txt dosya yönlendirmelerinin yanında her zaman sayfa kaynak kodlarından meta robots işaretlemelerinin kullanılmasını tavsiye eder.
Bir web sitesine özel olarak ortaya çıkarılan robots.txt dosyası web sitesinin barındığı ana dizin üzerinde barınıyor. Bir alt klasör altına ekleme yapılmadan direkt olarak site ana dizin içinde diğer dokümanlar ile beraber “işleme tabii tutulmadan” barınır.
Arama motoru botları sitenize gelmeden önce öncelikli olarak bu dosyayı inceleme altına alır. Sonra ise bu komutlar doğrultusunda siteyi taramaya başlar. Bu yüzden bu dosya içinde yer alan her konutun doğru olduğundan emin olmak gerekir. Yoksa sitenin tamamı veya büyük bir bölümü taramaya kapalı olabilir. Bu web sitenizin SEO performansına büyük bir ölçüde zarar verir.
Bir başka durumda tarama bütçesini optimize etmek için bu dosya ile önemsiz sayfaları taramaya kapatabilirsiniz. Eğer böyle bir şey yaparsanız SEO performansınız da büyük ölçüde artış gösterir. Çünkü arama motoru botlarının sitemiz için ayırdığı kaynağı önemli sayfalar için ayırmış oluruz. İşte bu yüzden robots.txt dosyasının önemini görmüş oluruz.
Görmüş olduğunuz gibi robots.txt hakkında yer alan detaylı bilgiler bu şekilde yerini alıyor. Robots.txt nedir sorusuna bu şekilde cevap verebiliriz. Robots.txt bir web sitesi sahibi için son derece önemli bir dosyadır. Web sitenizi arama motorlarında üst düzeye çıkararak görünür olmanızı sağlar.
Robots.txt Nasıl Oluşturulur?
Bu dosyayı oluşturmak için yapmanız gereken bazı şeyler vardır. Dosyayı oluşturmak için Notepad, TextEdit gibi metin düzenleyicileri kullanabilirsiniz. Eğer gerekli komutlar hakkında bilgi sahibiyseniz ihtiyaç duyacağınız tek şey “txt” uzantısına sahip olan bir metin dosyasıdır.
Yapacağınız bu basit işlem için ücretsiz olarak robots.txt oluşturma araçlarını kullanarak işinizi halledebilirsiniz. Arama motorunda “robots.txt generator” şeklinde bir araştırma yaparak çok fazla araca ulaşma imkânına sahip olabilirsiniz.
Bu robots. txt dosyasının SEO için önemi bilinir. Bu dosya tekrarlanan içerikleri engellemeye oldukça fazla yardımcı olur. Net bir şekilde web sitelerinin bölümlerini belirler. Tekrarlanan her dosyayı arama botlarına kesinlikle göstermez. Aynı zamanda bu dosya, subdomain, subfolder gibi bölümleri arama motoru botlarında gizler. Robots.txt nasıl oluşturulur diye sorarsanız eğer sizlere bu şekilde bir cevap verebiliriz.
Görmüş olduğunuz gibi robots.txt hakkında yer alan bilgiler bu şekilde yer alıyor. Bu dosyanın sağladığı faydalar da bu şekildedir. Bir internet sitesinin arama motorlarında ön planlara çıkması için bu dosya oldukça büyük bir önem taşır.
Arama motorları öncelikli olarak robots.txt dosyasını taramaya başlıyor. Bu yüzden bu metin dosyası internet üzerinde bilinirliğinizi büyük ölçüde arttırıyor. Eğer bir web sitesi sahibiyseniz robots.txt dosyasını kullanmanızda büyük bir fayda vardır.