Das Problem sind Suchmaschinen die einfach die robots.txt nicht respektieren und dann hunderte gleichzeitige zugriffe machen. Jeder der einen Server hat leidet da früher oder später drunter und das diese Forensoftware ab und zu auch schwächen hat.
....wir hatten ein ähnliches Problem das die Bots robots.txt ignorieren, deshalb hatten wir schon damals das alles über das .htaccess file geregelt. Mit einer "honey trap" die Bots die sich nicht benehmen konnten, einfach in die .htaccess file reingepackt und dann haben wir von denen selten wieder was gehört. Damit kann man ganze IP Ranges sperren...
Ich kenne nicht deinen Wissenstand, falls das alles neuland ist hier wär ein guter Anfang,