Robots.txt Nedir, Nasıl Oluşturulur?

Arama motorları herhangi bir web sitesini tararken, öncelikli olarak robots.txt dosyasını gözden geçirirler. Bu sebeple, web site sahiplerinin bu dosya içerisinde bulunması gereken komutları net bir şekilde bilmesi gerekmektedir. Arama motoru botları, web siteleri tam anlamıyla tarayamadığından doğru bir indeksleme yapamamaktadırlar.

Robots.txt Nedir?

Web sunucularına eklenen, site kök dizininde yer alan bir metin dosyasıdır. Temel amacı arama motorlarına ait tarayıcıların hem sitenizde erişilmesini istediğiniz hem de istemediğiniz yerleri göstermesidir. Robots.txt dosyası kısaca, arama motorlarına ait botların web site ile iletişim kurduğu bir araç olarak tanımlanabilir. Amaç, metnin içerisinde yer alacak komutların amaca uygun şekilde seçilmesi gerekmektedir.

Robots.txt dosyası oluşturmak için herhangi bir yazılım ya da programlama bilgisine sahip olunması gerekmemektedir. Ancak SEO açısından oldukça önemli olduğu için bilinçli bir şekilde oluşturulması ve uygulanması gerekmektedir. Doğru komutlar yazıldığı zaman harikalar yaratabilen robots.txt dosyası, hatalı kullanım durumunda ise büyük sorun çıkarabilmektedir. Robot Engelleme Protokolü’nün bir parçası sayılabilen robots.txt dosyası; bir web sitesinin sınırlarını denetleme aracı olarak da düşünülebilir.

Search Engine Optimization (SEO) çalışmasından verim alabilmek için robot.txt dosyasının sağlayacağı avantajların tümünden yararlanmak oldukça fayda sağlayacaktır. Robots.txt dosyası SEO açısından tekrarlanan içerikleri engeller, site haritasında yer alan yerleri net olarak belirler, pek çok dosya ekinin sıralamasını engeller ve yine bazı alanlarda gizleme yapabilme konusunda önemli faydalar sağlar.

robots.txt dosyası oluşturma

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyası, “.txt” formatında oluşturulan ve içerisinde herhangi bir HTML işaretleme barındırmayan, son derece kolay oluşturabilen bir web dosyasıdır. Ana dizine eklenen robots.txt dosyası web sitesinin URL uzantısı bölümüne /robots.txt yazarak görüntülenebilmektedir. Pek çok kullanıcı için herhangi bir önem taşımayan robots.txt dosyasının barındırıldığı URL’in arama motoru botlarının siteye gerçekleştirmekte olduğu ziyarette uğranan tek adrestir.

Web sitesini ziyaret eden arama motoru botları site üzerinde herhangi bir tarama işlemine başlamadan önce web sitesinde yer alan robots.txt dosyasını ziyaret ederek web sitesinin hangi bölümlerinin taramaya açık olup olmadığı ile alakalı direktifleri kontrol ederler.

Arama motoru botlarının tarama biçimlerinin yönetilmesinde görevli robots.txt dosyası, görevi itibariyle bir rehber görevi görürken botlar için bağlayıcı bir yapı değildir. Yani arama motoru botlarının tamamı robots.txt dosyasında yer alan direktiflere uymakla yükümlü değildir ancak Google, Yandex, Bing gibi arama motoru botları ilgili direktifleri takip etmektedirler. Buna karşı olarak harici (zararlı, amaçsız) botların büyük bir bölümü robots.txt dosyasında yer alan direktifleri görmezden gelerek serbest tarama gerçekleştirir.

Robots.txt dosyası ile alakalı akılda tutulması gereken en önemli konu, alt domain yani asıl domainin bir alt domain yapısı içerisinde ayrıca bir robots.txt dosyasının oluşturulması gerektiğidir. Örneğin asıl domain olan inolyzer.com içerisinde oluşturduğunuz bir robots.txt dosyası ornek.inolyzer.com alt domain için geçerli değildir. Alt domain üzerinde yer alan URL adresleri ile alakalı tarama direktifleri, alt domain içerisinde oluşturulacak farklı bir robots.txt dosyası ile ayrıca yönetilmelidir.

Robots.txt Dosyasının Oluşturulması ve Kullanımı

Robots.txt herhangi bir text editörü yani metin oluşturma editörü (metin belgesi) ile kolaylıkla oluşturulur. Robots.txt oluşturulurken, çeşitli protokol formatlarının kullanılmasıyla robot tarama direktifleri oluşturulur. Protokol formatları kullanılarak arama motoru botlarının anlayacağı şekilde direktifler iletilir.

Örneğin:

User-agent: *

Disallow: /

Sitemap protokolü, Robots.txt dosyası içerisinde kullanılan bir diğer protokoldür.

Sitemap kullanımıyla belirtilmekte olan protokol ile arama motoru botlarına sitenin haritası oluşturulur. Site içerisinde yer alan URL’ler ile alakalı botların takip edebileceği bir site haritası iletilir. Blog sayfasının önemi arasında sitemap.xml üzerinde içeriklerin belirtilmesiyle daha da faydalıdır.

User-agent: *

Disallow:/

Sitemap: https://inolyzer.com/sitemap.xml

Robots.txt dosyası içerisinde sürekli olarak kullanılmakta olan * direktifi hem user-agent içerisinde hem de dizinler ile akalı direktiflerde hepsi anlamına gelir. Herhangi bir protokol içerisinde * ifadesini kullandığınız durumda hepsini kastettiğinizin bilgisini robots.txt dosyanızı görüntüleyen arama motoru botlarına sağlarsınız.

Örneğin:

User-agent: *

İfadesi ile bütün User-Agent tipindeki arama motoru botlarına hitap edilir ve bu User-Agent altında barınan tüm direktifler bütün arama motoru botları için aktif olur.

User-Agent: *

Allow:*

Bu şekilde bir kullanım gerçekleştirildiğinde tüm User-Agent’lar için tüm sitenin taranabilir olduğunu bildirilir.

User-Agent: *

Allow: */inolyzer/

Bu şekilde bir kullanım gerçekleştirdiğinde tüm User Agent’lar için ön eki (üst klasörü) ne olursa olsun /inolyzer/ sayfasının taranabilir olduğunu söylenmiş olunur.

$ Direktifi

$ ifadesi, Robots.txt dosyası içerisinde sıklıkla kullanılan bir diğer direktiftir. * ifadesinden farkı ise robots.txt üzerinde belirtilmekte olan herhangi bir string $ ifadesi ile sonlandırılmasıdır. Robots.txt üzerinden belirtilen herhangi bir URL veya uzantı için $ ifadesini kullanılması durumunda, arama motoru botları ilgili işlemin belirtilen metin ile sınırlı olduğunu anlamaktadır.

Robots.txt dosyaları hatalı şekilde oluşturulursa arama motorlarının web sitenizin tamamının ya da bir kısmının görülememesine sebep olur. Bu durumda bütün SEO çalışmalarının boşa gitmesine sebep olur çünkü sayfanız taranmadığından içerikleriniz hakkında arama motorunun bilgisi olmayacaktır. Bu sebeple de ilk sayfalarda yer almak mümkün değildir.