Robots.txt Dosyası Nedir?
Robots.txt, İnternet yazılımların da site içeriğinizi hangi yerlerine dizin ekleneceği, bu dizinler için hangi dizin taraması gerektiğini, sitenize hangi arama motor yazılımlarının giriş izni olup olmadığını belirten basit bir site komut dosyasıdır. Örümcek ismiyle de bilinin arama motor yazılımları web adresine geldiğin de ilk olarak oluşturduğunuz bu dosyayı tarar ve bu dosyada olan komutlara göre sitenin oluşturulmuş izin kısımlarına dizin ekler.
Bu çalışma prensibini daha basite indirgeyerek anlatmak gerekirse, Robots.txt sitenizin giriş çıkışlarını ve kimlerin nereye girip girmeyeceğini kontrol etmeyi sağlar. Bu dosya sayesinde de hangi arama motoru botlarının sitenize girip girmeyeceğini belirleyebilirsiniz. Eğer Robots.txt dosyasının içindeki komutları doğru ve eksiksiz bir şekilde hazırlandıysa sitenize gelen arama motoru botları bu kurala uyar ve ve siteniz oluşturmuş olduğunuz kurallara göre taranır. Bu belirlemiş olduğunuz komutların bir diğer adı da “Robotları Engelleme Standardı” olarak adlandırılır.
Robots.txt dosyası her web sitesinde mutlak süretle bulundurulması gereken bir dosyadır ve bu dosyanın işe yaraması için doğru ve eksiksiz bir şekilde hazırlanmış olması gerekir. Doğru bir şekilde hazırlanmamış Robots.txt dosyası başta google olmak üzere arama motorları tarafında dikkate alınmayarak siteniz içeriği kötü olan ve sizin istemediğiniz dizenlerle tanışanabilir. Bu yüzden etrafa büyük bir işleyiş sanan bu Robots.ts oluşturulması küçük bir zamanınızı alsa da etkisi site içinde çok büyüktür.
Robots.txt Ne için Kullanılır ?
Robots.txt, internet yazılımların da site içeriğinizin hangi yerlerine dizin ekleneceği, bu dizinler için hangi dizin taraması gerektiğini, sitenize hangi arama motor yazılımlarının giriş izni olup olmadığını belirten basit bir site komut dosyasıdır. Örümcek ismiyle de bilinin arama motor yazılımları web adresine geldiğin de ilk olarak oluşturduğunuz bu dosyayı tarar ve bu dosyada olan komutlara göre sitenin oluşturulmuş izin kısımlarına dizin ekler.
Bu çalışma prensibini daha basite indirgeyerek anlatmak gerekirse, Robots.txt sitenizin giriş çıkışlarını ve kimlerin nereye girip girmeyeceğini kontrol etmeyi sağlar. Bu dosya sayesinde de hangi arama motoru botlarının sitenize girip girmeyeceğini belirleyebilirsiniz. Eğer Robots.txt dosyasının içindeki komutları doğru ve eksiksiz bir şekilde hazırlandıysa sitenize gelen arama motoru botları bu kurala uyar ve ve siteniz oluşturmuş olduğunuz kurallara göre taranır. Bu belirlemiş olduğunuz komutların bir diğer adı da “Robotları Engelleme Standardı” olarak adlandırılır. Robots.txt dosyası her web sitesinde mutlak süreyle bulundurulması gereken bir dosyadır ve bu dosyanın işe yaraması için doğru ve eksiksiz bir şekilde hazırlanmış olması gerekir. Doğru bir şekilde hazırlanmamış Robots.txt dosyası başta Google olmak üzere arama motorları tarafında dikkate alınmayarak siteniz içeriği kötü olan ve sizin istemediğiniz dizenlere tanışanabilir. Bu yüzden etrafa büyük bir işleyiş sanan bu Robots.ts oluşturulması küçük bir zamanınızı alsa da etkisi site içinde çok büyüktür.
Genelde kullanıcılar Google tarayıcı sunucunun çok fazla işle uğraşmasından dolayı ve ya tarama bütçesinin zamanının sitenizin önemsiz ya da içerikleri neredeyse aynı olan sayfaları tarayarak vakit kaybetmek olmaz. Bu yüzden sitenize eklenen resimsiz içeriklerin sadece tarama trafiğinin yoğunluğunu etkileyeceğini bildirmek isteriz. Robots.txt dosyasının bir diğer özelliği web sayfalarınızı Google arama sonuçlarında ziyaretçilerden gizlemenizi için oluşturulan sayfalar vardır. Çünkü oluşturulan bu sayfalarda sitenize başka sitelerden bağlantı vermiş olabilirsiniz. Bu durumda karşılaşabileceğiniz robots.txt dosyasına rağmen sitenize dizin ekleyip ziyaretçilerinize sunabilirsiniz. Sayfanızı arama motorlarında görmek istemeseniz ya web sitenizi şifre korumasıyla ve ya engelleyebilecek başka bir yöntem kullanabilirsiniz.
Robots.txt Kaynak Kodu
örnek olarak https://www.1seouzmani.com/robots.txt uzantısında göründüğü gibi.
Sitenizde önemli olmayacak resimleri, komut dosyalarını vb şeyler engellemek amacıyla robots.txt komut dosyasını kullanabiliriz. Bu uygulamayı uyguladığınız engelleyen kaynaklar olmadan yaptığınız zaman sizin için bir sıkıntı olmayacağını düşündüğünüz zaman uygulayın. Google tarayıcısının web site sayfalarınızın anlamını belirleme de zorlaştıracaksa da bu oluşan durumlar engellenemez hale gelmektedir.
Robots.txt Komutlarını Anlamak
Web sitenizde hazırladığını robots.txt komutlarını belli kriterlere göre hazırlamalısınızdır. Hazırladığınız bu dosya kök dizine yüklenmelidir. Bu dosyayı (Robots.txt) hazırlarken dikkat edilmesi gerek üç kritik nokta vardır.
1-) Hazırlamış olduğunuz robots.txt dosyanızın sitenizde kök dizinde olması gerekmektedir.
2-) Robots.txt dosyasını hazırlarken UTF-8 karakter dizinine uygun bir şekilde olması gerekmektedir.
3-) Robots.txt dosyasının sitenizin URL’siyle aynı formatta olması gerekmektedir.
Robots.txt komutlarını oluştururken belli kriteler ve kategoriler dahilinde oluşturulmalıdır.. Bu kriteler ile oluşturulan komut listesi temel olarak üç kategoride toplanmaktadır.
1-) Grup komutları
-Arama motorunu engelleme/ botların girmesine izin verme
-Site içi dizinleri engelleme/serbest bırakma
-Sayfa girişini engelleme/ izin verme
-Tarama gecikmesi belirtmesi
2-)Grup dışı komutlar
-Web siteniz için site haritası belirleme
3)Yorum ve notlar
-Siteye eklenen dosyalar, içerikler bunlara da eklediğiniz komutlar içinde yorumlar ve notlar yazma.
Robots.txt Generator Ne İşe Yarar ?
Robots.txt dosyaları arama motoru botlarının web siteniz de bulunan sayfaları indexleyeceğinizi ve ya indexlemeyeceğinizi belirttiğiniz dosyalardır. Robots.txt Generator ile oluşturacağınız robots.txt dosyalarınızı güncelleyebilirsiniz. Robots.txt Generator ile yapmış olduğunuz web sitelerinizin indexlenmesi için sitenize gelen google arama motoru kriterlerinin yönetilmesini ve sitenizin taranmasını sorunsuz bir şekilde gerçekleştirmelisiniz. Bunları kriterleri gerçekleştirdikten sonra siteniz için en ideal robots.txt dosyasını oluşturmalısınız.