..../robots.txt nedir?

mustaphaturk · 2006-07-07T00:37:29.0000000+03:00

herkese slm. ark.lar siteme gelen ziyaretçilerin istatistiğine baktığımda 3 şey dikkatimi çok çekiyor: 1. olmadığı halde /robots.txt 'yi tıklayanlar 2. /stats kısmına bakanlar 3. www.whois.sc/ adresinden bana yönlenenler /robots.txt nedir ne işe yarar? arama motorlarının robotları öncelikle buraya mı bakar? böyle bir şey oluşturmalı mıyım? faydası var mıdır? (gelen request/isteklere bakarsak bu kadar kişinin rastlantısal olarak olmayan bir yere bakmaları imkansız) /stats kısmı bildiğim kadarıyla siteyle ilgili istatistiklerin tutulduğu yer ama neden başkaları bu kısma bakmak ister ve kullanıcı adı ile parola isteyen bu kısma bilmediği halde bakabilir mi? yani bu kısım bir güvenlik açığı yaratabilir mi? whois.sc adresi hangi adresin kimin adına kayıtlı olduğunu gösteren bir site (ya da öyle bir şey) siteye baktığımda -sitede kendi adresimi yazdığımda- çok rahat bilgilere ulaşabiliyorum bunu engelleyebilir miyim? ayrıca bu site ne işe yarar? buradaki bilgiler herhangi bir şekilde hack vs. için kullanılabilir mi? cvplarsanız çok sevinirim.

Arama motorları, belki de sitenizin ziyaretçilerinin büyük bir bölümü onlar sayesinde sizi buluyorlar ve takip etmeye başlıyorlar.

Bazen arama motorlarına sitenizi siz kaydetmek için başvuruyorsunuz, bazen de arama motorları Robot veya Bot denilen uygulamalarla sizin sitenizi buluyorlar.

Bu bulma işleminde ise sitenizde bulunan her linki özenle tarayıp kendi veritabanlarına kaydediyorlar. Bu sayede arama sonuçlarında sitenizde ne var ne yok ziyaretçileriniz öğrenebiliyor, bulabiliyor.

Ancak bazı durumlarda sitenizi indeksleyen bu robotlara hükmetmek isteyebilirsiniz:
Parola koruması olmayan fakat çoğu kişinin de görmesini istemeyeceğiniz bir sayfanız olabilir,

Bazı sayfalarınızdaki programların ve içerik sayılamayacak bilgilerin (cgi-bin dizini gibi) taranmasını istemeyebilirsiniz,
Ya da sadece fazla bandwidth kaybetmek istemeyip taramanın yapılmamasını isteyebilirsiniz.

Bu gibi durumlarda robotlara hükmetmek için elinizde bir fırsat bulunuyor: robots.txt dosyası. Bu dosya sitenizin ana dizininde bulunur ve arama motorlarının gönderdikleri robotlara bazı komutlar verir. Örneğin bu dosyadaki bir satır ilewww.siteniz.com/gizli adresinin arama motorlarında çıkmamasını sağlayabilirsiniz. Sitenize ftp ile bağlandığınızda eğer robots.txt adında bir dosya yoksa bunu siz de oluşturabilirsiniz. Eğer böyle bir dosya yoksa her robot tüm site içeriğini indeksleyecektir.

Basit olarak robots.txt dosyasının içinde şu iki satır bulunur:

User-agent: *Disallow: /

Burada User-agent: satırı ve sonrasında gelen * işareti "Tüm robotlara alttaki komutu uygula" anlamına gelmektedir. Disallow: ise Türkçe karşılığıyla "İzin verme" demek olup, akabinde gelen / işaretiyle "tüm site içeriğini indeksleme" komutuna karşılık gelir.

Örnek olarak Google arama motorundan gelecek robotun, bizim sitemizdeki /gizli_bilgiler klasöründeki hiçbir içeriği taramamasını istiyoruz. Bunun için kullanmamız gereken komut satırı:

User-agent: Googlebot

Disallow: /gizli_bilgiler/

olacaktır. /gizli_bilgiler/ yazmamızdaki neden ise baştaki / işareti kök dizini, sondaki / işaret ise gizli_bilgilerin bir dizin olduğunu vurgulamak içindir. Eğer siz sadece bir dosyayı indeksletmemek isterseniz, Disallow: /gizli_dosya.html satırını da kullanabilirsiniz.

robots.txt dosyası hakkında daha fazla bilgiyihttp://www.robotstxt.org adresinden alabilirsiniz.

http://www.robotstxt.org/wc/active.html adresinden de şuan için bilinen tüm robotların isimlerine ulaşabilir, az önceki örnekte yaptığımız gibi sadece bazı robotların bazı sayfalara ulaşamamasını sağlayabilirsiniz.

ALINTIDIR

Ayrıca bu sayfayıda inceleyebilirsin

www.google.com/robots.txt

< Bu mesaj bu kişi tarafından değiştirildi DeLi_ZaL -- 7 Temmuz 2006; 5:38:47 >

fuzbing

Yarbay

2458 Mesaj

Tüm Başarılarını Gör

Benzer içerikler