http://www.robotstxt.org/wc/norobots.html
zajrzałem, nawet troche zrozumialem, ale troche nie zrozumialem, a właściwie to nie uwierzyłem, ze można tak prosto - czyżby te boty byly az tak przyjazne? no ale wystawilem im na pożarcie odpowiedni plik robots.txt i w ostatnie 2 dni transfer spadł o 90% - czyżby to działało??!! może przypadek, zobaczymy za tydzień
Dla adminow i ciekawych swiata zademonstruję statystyke (by webalizer) wywołań i transferów z maja'2007:
# Wywołania Pliki KB Kraj
1 19167 60.84% 13962 57.33% 4438193 23.53% Polska
2 7506 23.83% 7095 29.14% 12534941 66.46% Czechy
3 2057 6.53% 1663 6.83% 780145 4.14% Nieznany
4 1117 3.55% 841 3.45% 906131 4.80% Komercyjna USA
5 798 2.53% 562 2.31% 31489 0.17% Sieć (net)
no i jak tu nie uwierzyć, że Czechy to bluesowy kraj?