http://www.robotstxt.org/wc/norobots.html adresinde robot çalışmaları için bir standart bulunmaktadır. Sunucunuza robots.txt adında bir dosya koyarak hem Google'ın web tarayıcısını hem de diğerlerini durdurabilirsiniz. Google'ın web tarayıcısının user-agent'ı "Googlebot"tur.

Sayım robotlarının bir web sayfasını veya o sayfanın devamı özelliğindeki diğer linkleri indekslememesi için kullanılan bir standart daha var ki bu her sayfayı ayrı ayrı işleme aldığından bazı durumlarda daha faydalı olabiliyor. Bu standarda göre sayfanın html koduna bir "META " öğesi ilave ediliyor, bunun açıklamasını (İngilizce) http://www.robotstxt.org/wc/exclusion.html#meta. da bulabilirsiniz. Ayrıca bu ekler hakkında detaylı açıklamaları HTML Standardlarında okuyabilirsiniz. Unutmayın, robot.txt dosyasında yapacağınız değişiklik veya sayfanıza ilave edeceğiniz "META" öğesi bu değişikliğin hemen Google tarafından görüleceği anlamına gelmez. Google'ın sayfanızı daha çok indekslemesi için yaptığınız bu değişikliklerin Google'ın yapacağı ilk web indeksinde okunması bir müddet alacaktır.

Sebinkarahisar Mustafa Kücük Nurettin Bay Alucra Alucra Koyleri