@Bricksy Diese Googlebots sind Programme, die Webseiten durchsuchen, damit diese bei der Google Suche leichter und schneller zu finden sind.
Heißt also, sie sind notwendig.
Vereinfacht gesagt geht so ein Bot folgendermaßen vor:
1. Findet Seite - scannt
2. Findet Link auf Seite - scannt Seite im Link
3. Findet weiteren Link - scannt...
4. usw, usf...
Heißt also, es wird für jeden Link der auf einer Seite ist, eine neue Suche gestartet.
Wenn man jetzt viele Links auf einer Seite hat, crawlt (diese Bots nennt man auch Webcrawler, weil sie so im gesamten Internet vorgehen) der Bot dementsprechend viel.
Wir haben sehr sehr viele einzelne Seiten bei uns im Forum. Über 11000 Themen, mit zum Teil mehreren Seiten pro Thread, extrem viele Links in den Threads, was den Crawler quasi ausrasten lässt.
Wir haben dem bot zwar gesagt, wo er nicht suchen darf (das ist für jede Webseite frei einsehbar, ein ein /robots.txt ans Ende der Domain schreiben), jedoch wissen wir nicht, ob diese Verbote bereits im Cache des Bots sind...
Wir bekamen halt extrem viele Anfragen, die allerdings abgelehnt wurden....Dennoch ist die Anfrage erstmal da.
Das Hauptproblem ist die Seite "neue Beiträge", diese ändert sich hier im Forum sehr sehr häufig (worüber wir uns freuen, zeigt es doch an, dass wir ne sehr aktive Community haben). Durch diese häufige Änderung, durchsucht der Bot immer wieder aufs neue, findet Links, sucht dort und so weiter und sofort...
Gegen die Bots kann man nichts machen. Die sind wichtig und werden gebraucht.
Wie sie genau vorgehen, weis man nicht, da Google über seine Algorhythmen nichts verrät....verständlich...
Ich hoffe, ich habe es einigermaßen verständlich geschrieben...
Gruß René