Robots.txt Dosyası Nedir? Nasıl Oluşturulur?
Robots.txt dosyası, yeni açılmış veya kurgusal yenileme yapan bir web sitesi için basit bir metin dosyası olarak çalışır. Google ve diğer arama motorlarının bot adı verilen yazılımları tarafından standart protokol olarak görülür.
İÇİNDEKİLER
Arama motoru botlarına bazı direktiflerin verildiği ve hangi sayfalara erişebileceklerinin ya da erişemeyeceklerinin bildirildiği metin dosyasıdır. Yanlış yapılandırılırsa arama motorlarıyla sağlıklı bir ilişki kurulmasını engeller.
Robots.txt Dosyası Nedir?
Robots.txt dosyası, bir web sitesinin ufak metinlerinden oluşan ve kök dizine yerleştirilen komut dizesidir. Web sitesi sayfalarından hangilerini taramasını ya da hangilerinin taramaması gerektiği hakkında direktiflerin bulunduğu basit metin (txt) dosyasıdır. Google ve diğer arama motorları botları, robots.txt dosyasındaki komutlara göre tarama yapar.
Arama motorları tarafından bir site veya taramadan ve dizine eklemeden önce Robots.txt gözden geçirilir. Dolayısıyla, dizine eklenmeden önce Robots dosyası komutları taranacağı için site sahiplerinin de dosyayı oluşturması gereklidir. Böylece hangi sayfanın taranacağı veya taranmayacağı botlara gösterilebilir.
Neredeyse tüm arama motoru tarayıcıları tarafından standart protokol olarak görülen robots.txt dosyaları, stratejik bir şekilde yapılandırılmalıdır. Aksi takdirde Search Console içerisinde dizine ekleme sorunlarına neden olabilir.
Daha detaylı bilgi için SEO araçlarından Ahrefs’in Robots.txt dosyası hakkında oluşturduğu makaleye göz atabilirsiniz.
Robots.txt Dosyası Neden Önemlidir?
Arama motorlarının web sayfanıza nasıl davranması gerektiğine karar veren Robots.txt dosyası, SEO yani Arama Motoru Optimizasyonu açısından oldukça önemlidir. Google veya diğer arama motorları, standart protokol olarak Robots.txt dosyası komutlarına göre sitenizi veya sayfalarınızı tarayacaktır.
Arama motoru botları, web sitemizi ziyaret etmeden önce robots.txt dosyasını inceler. Bu dosyadaki yönergeler doğrultusunda web sayfalarımızı tararlar. Her bir komutun doğruluğunu kontrol etmek son derece önemlidir. Bu dosya ile web sitemizin tamamını veya önemli bir bölümünü yanlışlıkla taramaya kapatabilirsiniz.
Bununla birlikte, robots.txt dosyası aracılığıyla önemsiz sayfalarımızı taramaya kapatarak tarama bütçemizi optimize edebiliriz. Arama motoru botlarının web sitemiz için harcadığı kaynağı gerçekten önemli sayfalarımıza odaklayabiliriz.
Robots.txt Dosyası Nasıl Çalışır?
Arama motoru botları bir siteye girdiklerinde öncelikle robots.txt dosyasını kontrol ederler. Bu dosyada yer alan kurallara göre hangi sayfalara erişip erişemeyeceklerine karar verirler. Robots.txt, botların site içindeki hangi dizinleri veya dosyaları tarayacağını veya engelleyeceğini belirleyen talimatlar içerir.
Belirli dizinler veya dosyalar Disallow komutuyla engellenmişse, botlar o bölümlere erişim sağlamaz ve tarama yapmaz. Böylece gereksiz sayfaların veya özel içeriklerin arama motoru dizinine girmesi önlenmiş olur. Aynı zamanda, sitenin tarama bütçesi daha verimli kullanılır.
Robots.txt Dosyası Nasıl Oluşturulur?
Robots.txt dosyası, Notepad gibi düz metin düzenleyicisiyle oluşturulur. Her bir satıra temel direktifler olan User-agent, Allow ve Disallow ifadeleri yazılarak bu dosya yazılabilir. Site kök dizini olan www.siteadi.com/robots.txt yoluna yerleştirilerek bu robots.txt dosyası oluşturulmuş olur.
WordPress veya özel tasarlanmış bir web sitesi için Robots.txt dosyası oluşturmanın pek çok yolu vardır. Sunucu dosya yöneticisi, FTP veya bir eklenti aracılığıyla kolaylıkla Robots.txt dosyasını sitenize özgü olarak oluşturabilirsiniz.
WordPress Robots.txt Dosyası Oluşturmak
Wordpress robots.txt dosyası oluşturmak için SEO eklentilerinden destek alınabilir. Rank Math; Yoast SEO, All in One SEO veya Squirrly SEO gibi SEO eklentileri ile Robots.txt dosyası oluşturulabilir. Eklentilerin kurulum ayarlarını tamamladıktan sonra WordPress için Robots.txt dosyası hazır hale gelmiş olacaktır.
Eklentilerin genel ayarlar bölümüne girdikten sonra solda yer alan “Düzenle Robots.txt” sekmesini kullanarak dilediğiniz gibi düzenleme yapabilirsiniz.
Yanlış yapılandırılmış robost.txt dosyaları, kırık link hatalarına neden olabilir. Bu nedenle mcgdijital.com/blog/kirik-link-nedir bağlantısını ziyaret ederek bilgi almanızı öneriyoruz.
FTP ile Robots.txt Dosyası Oluşturmak
FTP (File Transfer Protocol) ile Robots.txt dosyası oluşturmak için herhangi bir notepad uygulamasını açıp komutları yazmanız gereklidir. Aşağıdaki örnek resmimizi inceleyerek kendinize özel bir Robots.txt dosyası oluşturabilirsiniz.
Dosya Yöneticisi ile Robots.txt Dosyası Oluşturmak
Hosting kontrol panelinize giriş yaptıktan sonra, dosya yöneticisini açın. Ardından sitenizin kök dizinine erişin. Yeni dosya oluşturma seçeneğine tıklayarak “.txt” uzantılı yeni bir dosya oluşturun. Robots.txt kurallarınızı yazın ve dosyayı kaydedin. Bu şekilde, web sitenizin arama motorlarına yönelik davranışını belirleyen robots.txt dosyasını kolayca oluşturabilirsiniz.
WordPress Robots.txt Editör ile Oluşturmak
WordPress Robots.txt Editör; dosya yöneticisi veya FTP gereği duymadan sitenize özgü olarak hızlıca Robots.txt dosyası oluşturabilir. Sitenizin admin paneline eriştikten sonra “Yeni eklenti yükle” kısmından Robots.txt Editör yazarak eklentiyi hızlıca kurabilirsiniz.
Eklentiyi kurup etkinleştirdikten sonra ayarlar alanından okuma sayfasına girerek Robots.txt kurallarınızı oluşturabilirsiniz.
Websiteleri ile Robots.txt Dosyası Oluşturmak
Pek çok web sitesinde Robots.txt dosyası oluşturma aracı ücretsiz olarak yer alır. Bu oluşturma araçlarını kullanarak sitenize özgü olarak yazabilirsiniz. Arama motorlarında “robots.txt generator” şeklinde bir arama yaparak aşağıdaki örnek ekran görüntüsüne benzer araçlara ulaşabilirsiniz.
Robots.txt Nasıl Olmalıdır?
Robots.txt dosyası, içerisinde önemli temel direktifler olan User-agent, Allow ve Disallow ifadelerini barındıracak şekilde olmalıdır. Site kök dizinine yerleştirilen bu dosya, sitenize özgü olarak yazılmalıdır.
Temelde standart bir robots.txt dosyasında olan temel direktifler:
- User-agent: *
- Allow:
- Disallow:/
- Sitemap: www.siteadi.com/sitemap.xml
Önemli Robots.txt Dosyası Komutları
Arama motoru botları, web sitesini ziyaret ettiğinde robots.txt dosyasında yer alan komutlara göre hareket eder. Dosyada belirtilen komutlara göre hangi sayfalara erişeceğine veya erişmeyeceğine karar verir. Önemli robots.txt dosyası komutlarını öğrenerek bu dosyayı yazabilirsiniz.
User-Agent Nedir? Nasıl Kullanılır?
User-Agent komutu hangi arama motoru botunun Googlebot, Yandex ve Bingbot aşağıdaki komutları takip edeceğini belirtir. Yıldız yani * sembolü, tüm arama motorları botlarını ifade eder.
Allow, Disallow Nedir? Nasıl Kullanılır?
Disallow yani görmezden gel komutu, belirli sayfaların veya dizinlerin arama motoru botları tarafından taranmasını engeller. Allow komutu ise Disallow komutunun tam tersi olarak izin vermek için kullanılır. Belirli bir dizinin taranmasına izin verir.
Sitemap Nedir? Nasıl Kullanılır?
Sitemap, bir web sitesinin hiyerarşik yapısını ve içeriğini arama motorlarına sunmak için kullanılan bir dosyadır. Dosya, XML formatında olup, web sitenizdeki farklı sayfaların, sayfa önceliklerinin ve değişiklik sıklıklarının listelendiği bir yapıya sahiptir. Sitemap dosyanızı Robots.txt dosyasına girerek taranmasını istediğiniz yerleri Google ve diğer arama motorlarına gösterebilirsiniz.
Robots.txt Dosyası Kullanım Örnekleri
Robots.txt dosyası hazırlamak için uygun komutları ve kuralları bilmeniz gerekir. Bir önceki başlığımızı okuyarak kullanmanız gereken terimlerin anlamlarını öğrenmelisiniz. Kavramları tanıyıp öğrendikten sonra sitenize özgü olarak bir Robots.txt dosyası hazırlamaya başlayabilirsiniz. Bunun için sizlere örnek olarak oluşturduğumuz dosya örneğine bakabilirsiniz.
WordPress bir site için Robots.txt dosyası örneği;
Pek çok kategori ve alt kategoriye sahip E-Ticaret siteleri için Robots.txt dosyası örneği;
E-Ticaret siteleri için Robots.txt dosyanıza daha fazla ağırlık vermeli ve disallow kapsamını gelişletmelisiniz. Satın alma, ürün detay, yorumlar ve ürün görselleri gibi parametreleri görmezden gel yaparak tarama bütçesinden tasarruf edebilirsiniz.
Robots.txt Dosyasının Test Edilmesi
Robots.txt dosyası içeriğimiz sayesinde sitenize özgü olarak en iyi optimize edilmiş Robots.txt oluşturabilirsiniz. Hata yapma ihtimalimize karşı olarak hazırladığınız dosyayı test etmeli ve ardından yeniden hazırlamalısınız.
Robots.txt dosyanızın işleyip işlemediğini görmek için Search Console hesabınızdaki Robots.txt raporu bağlantısını kullanabilirsiniz. Hesabınıza giriş yaptıktan sonra Robots.txt dosyasının işleyip işlemediğini karşınıza gelen pencereden kontrol edebilirsiniz.
Robots.txt Dosyasını Test Edin: Googla’a Gönderin
Robots.txt dosyanızı Search Console aracılığıyla test ettiğinize göre Google’a bildirmelisiniz. Search Console aracına giriş yaptıktan sonra “Ayarlar” kısmından Tarama bölümünün altında yer alan “Robots.txt” dosyanızın durumunu görebilirsiniz. Raporu aç diyerek sol tarafa gelen pencereden “Canlı Robots.txt dosyasını aç” bölümüne tıklayarak dosyanızın güncel durumunu görebilirsiniz.
Robots.txt Dosyasının Hatalarını Düzeltin
Sitenize özel olarak oluşturduğunuz Robots.txt dosyanızda hata varsa, web sitenizin arama motorları tarafından doğru şekilde taranmasını engelleyebilir. Bazı sayfalarınız ziyarete kapalı kalabilir ve istenilen performansı göstermeyebilir. Bu nedenle, dosyanızın düzgün çalışıp çalışmadığını ve listelenen komutları kontrol etmelisiniz.
Robots.txt Doyası Nereye Eklenmelidir?
Bir web sitesinde robots.txt dosyası, web sitesinin bulunduğu sunucudaki kök dizinine eklenmelidir. Bu txt metin dosyası, ana sunucudaki web sitesi dosyalarının içinde public_html veya httpdocs gibi klasörlerde bulunur. Dosyanın alt klasörlere değil, doğrudan ana dizine yerleştirilmesi gerekir çünkü arama motorları sadece example.com/robots.txt adresini kontrol eder.
Robots.txt Dosyasının SEO için Önemi Nedir?
Robots.txt dosyası, doğrudan bir sıralama faktörü olmasa da SEO stratejileri için kritik öneme sahiptir. Web sitenizin arama motorları tarafından düzgün bir şekilde taranabilmesini ve dizine eklenebilmesini sağlar. Hatalı veya eksik yapılandırılmış bir robots.txt dosyası, sitenizin arama motorlarında görünmesini engelleyebilir.
SEO optimizasyonu ne kadar iyi olursa olsun eğer arama motoru botları sitenizi tarayamıyorsa, Google’da herhangi bir sıralama elde etmeniz mümkün olmaz. Googlebot’un erişemediği sayfalara kullanıcılar da ulaşamaz. Doğru şekilde yapılandırılmış bir robots.txt dosyası, arama motoru botlarının sitenizin gereksiz sayfalarına erişimini engellemeye yardımcı olur ve belirli sayfaların daha fazla taranmasını sağlar.
Robots.txt Dosyası Nasıl Çalışır?
Robots.txt dosyası, web sitesinin ana dizininde bulunan ve arama motorlarına siteyi nasıl taramaları gerektiğini belirten basit bir metin dosyasıdır. HTML etiketleri içermez ve yalnızca düz metin ile yazılır. Doğru yapılandırılmazsa, sitenizin Google gibi arama motorları tarafından taranıp görüntülenmesini engelleyebilir.
Robots.txt dosyasının yerleştirildiği doğru konum, web sitesinin ana dizinidir. Bu dosyayı görmek için URL’ye “/robots.txt” eklenir.
Örneğin: www.example.com/robots.txt
Bu adres, web tasarımcıları ve site sahiplerinin genellikle gözden kaçırabildiği ancak arama motoru botlarının sıkça kontrol ettiği kritik bir noktadır.
Robots.txt Dosyasında Nelere Dikkat Edilmelidir?
- Site haritanızı robots.txt dosyasına ekleyin.
- Subdomain’ler için ana domain’den ayrı bir robots.txt dosyası kullanmaya özen gösterin.
- Taranmasını istemediğiniz sayfalara erişimi engellemek için robots.txt dosyasını doğru şekilde yapılandırın.
- Robots.txt dosyasını her zaman sitenizin ana dizinine yerleştirin.
- User-agent isimlerini ve özel direktifleri dikkatlice yazın, yanlış yönlendirmelerden kaçının.
- Sadece belirli botları hedef alacak şekilde kurallar ekleyin, tüm botlara aynı kısıtlamayı uygulamamaya özen gösterin.
- Web sitenizde her zaman güncel ve doğru bir robots.txt dosyası kullanmaya dikkat edin.
Robots.txt Soruları ve Çözümleri
Robots.txt Dosyasını Bir Alt Dizine Yerleştirebilir Miyim?
Robots.txt dosyasını alt dizinlere yerleştiremezsiniz. Web tarayıcıları, yalnızca web sitesinin ana dizininde yer alan robots.txt dosyasını kontrol eder. Siteye dair genel kuralların tanımlandığı önemli bir dosya olduğundan, yalnızca ana dizinde doğru şekilde yer alması gerekir. Örneğin www.siteadi.com/robots.txt adresi doğru bir yerleşimdir. Eğer dosya alt dizinlere yerleştirilirse, tarayıcılar bu dosyayı göz ardı eder ve belirtilen kurallar uygulanmaz.
Robots.txt Dosyasını Hatalı Eklediysem Ne Olur?
Robots.txt dosyasındaki hatalar, site taramaları ve arama motorlarının sitenizi nasıl indekslediği konusunda olumsuz etkiler yaratabilir. Arama motorları genellikle robots.txt dosyasındaki küçük hatalardan etkilenmeyecek şekilde esneklik gösterebilir ancak bazı yanlış yazımlar veya uyumsuz yönergeler, botların sayfalarınıza erişmesini engelleyebilir veya yanlış sayfaların indekslenmesine yol açabilir.
Taramaya izin vermek için “Allow” Yönergesini Eklemem Gerekli mi?
Allow yönergesini eklemenize gerek yoktur. Varsayılan olarak robots.txt dosyasındaki tüm sayfalar arama motorları tarafından taranabilir. Allow yönergesi, yalnızca bir sayfanın veya dizinin Disallow yönergesine rağmen taranmasına izin vermek için kullanılır. Bir sayfa hem “Disallow” komutuyla engellenmiş hem de “Allow” komutuyla açıkça izin verilmişse, “Allow” komutu öncelikli olur ve o sayfa taranabilir.
Sitenize özgü olarak tek seferlik SEO veya sözleşmeli ve raporlu SEO hizmeti almak isterseniz mcgdijital.com/teklif-al bağlantısını kullanabilir ve hemen iletişime geçebilirsiniz.
