Archief - Q: Traffiek door googlebot.com

Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
z

zabulus

Legacy Member
De laatste tijd zie ik op mijn sites, in de statestieken weliswaar, de googlebot.com nogal veel terug keren.
Wat ik eigenlijk maar raar vind want het is eigenlijk pas deze maand (laatste dagen vooral) dat hij zoveel komt piepen.

Enkele voorbeelden:
Site1: 15205 hits, goed voor 315mb traffiek (23% van het totaal)
Site2: 31561 hits, goed voor 1542mb traffiek (28%)

Toch wel wat veel als je het mij vraagt...

In de statestieken zie ik altijd iets van de vorm crawl-66-249-65-116.googlebot.com terugkeren.

Iemand tips of raad? Bot niet laten indexen via robots.txt lijkt mij geen optie...

Grtz, zabulus
Z

Zero Grav

Legacy Member
<meta name="revisit-after" content="5">

Dat is wellicht enorm outdated en zal niet meer werken maarja, het is het enige dat ik momenteel echt qua hulp kan bieden.
Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
Terug
Bovenaan