Robots.txt Nedir?

Arama motorları Robots.txt, arama motorlarına bir sitenin hangi kısımlarının taranıp taranmayacağını bildiren ve kök dizinde bulunan metin dosyasıdır. Arama motoru örümcekleri sayfaların dizine eklenmesi için belirlenen yerleri tarar ve kullanıcının yaptığı arama sonucu taradığı sayfalardan ilgili olanları sonuç sayfasında gösterir. Web sitenizde olması zorunlu bir dosya değildir fakat sitenin SEO çalışması açısından faydası bulunmaktadır. Bazen web site sahipleri, sitedeki bazı sayfaların taranmasını ve dizine eklenmesini gerekli görmez. Bu isteği yerine getirmek için robots.txt dosyasına ihtiyacınız var. Robots.txt nedir ve robots.txt oluşturma nasıl yapılır bu içerikten öğreneceksiniz.

Robots.txt sitenizi kontrol etmenize yarayan bir dosyadır. Çeşitli sebeplerden dolayı taranmasını istemediğiniz bir sayfayı, doğru komutlar vererek robots.txt dosyasından taramaya kapatabilirsiniz. Bu dosyada yazdığınız yönergeler arama motorları tarafından takip edilir ve böylece kontrol sizin elinizde olur. Bu dosyaya hangi durumlarda ihtiyaç duyulur diye sorabilirsiniz. Web sitesi tasarımları yapılırken çok fazla sayfa barındıran bir web sitesinde sadece en önemli sayfaların taranması komutu verilerek tarama tasarrufu yapılır. Bunun sonucunda arama motoru botları önemsiz bilgiler içeren ve kullanıcı tarafında getirisi olmayan sayfaları taramadan atlar. Robots.txt nedir öğrendiniz ve şimdi bir sonraki adımda, sitenizde hangi URL’lerin taranacağına karar vereceğiniz, robots.txt oluşturma aşamasıdır.

Robots.txt Oluşturma

Robots.txt oluşturma için ilk olarak bir metin düzenleyici uygulama gereklidir. Bulunma kolaylığı açısından Windows için Notepad ve Mac için TextEdit düzenleyicileri tercih edilir. Bunlara ek olarak robots.txt oluşturma aracı da kullanabilirsiniz. Robots.txt nedir öğrenmek için örnek bir dosyaya baktığınızda komutlardan oluşan bir dosya olduğunu görürsünüz. Temel komutları “allow”, “disallow”, “user-agent” ve “sitemap” oluşturur. “Allow” bu komutla şuna izin ver, “disallow” izin verme anlamına gelir ve bu komuttan sonra gelecek kısımları taramaya engellediğinizi söyler. “Sitemap” komutundan sonra site haritanızı işaret edersiniz. Böylece sitenizin SEO çalışmalarına katkı sağlamış olursunuz.