Die wachsende Zahl von KI-Bots verändert das Internet spürbar. Doch welche Gefahren entstehen, wenn automatisierte Systeme Inhalte massenhaft abrufen?
KI-Bots lassen sich grob in zwei Kategorien einteilen: Crawler, die Daten für das Training von KI-Modellen sammeln, und Fetcher-Bots, die Inhalte in Echtzeit für Nutzeranfragen abrufen. Beide Varianten können ungewollt für große Belastungen sorgen – bis hin zu Serverausfällen.
Ein aktueller Bericht von Fastly zeigt, dass allein zwischen April und Juli 2025 rund 80 Prozent des KI-Bot-Verkehrs auf Crawler entfielen. Besonders auffällig: Meta, Mutterkonzern von Facebook und Instagram, erzeugt mehr als die Hälfte dieser Anfragen – deutlich mehr als Google und OpenAI zusammen. Gleichzeitig können Fetcher-Bots wie ChatGPT-Agenten enorme Lastspitzen verursachen. In einem Fall wurden 39.000 Anfragen pro Minute an eine einzelne Webseite registriert – eine Zahl, die an DDoS-Angriffe erinnert.
Fastly bezeichnet diesen Trend als besorgniserregend. Mehr als 6,5 Billionen Anfragen wurden ausgewertet, mit Spitzenlasten von bis zu 1000 Zugriffen pro Minute durch einzelne Crawler. Ohne klare Bot-Kontrollen und Skalierungsmechanismen können Datenbanken und Plattformen wie Gitea massiv ins Stocken geraten. Hinzu kommt die mangelnde Transparenz: Betreiber wissen oft nicht, welche Bots legitim sind und welche nicht. Vorschläge wie die Veröffentlichung von IP-Adressbereichen oder die Nutzung von Reverse-DNS-Lookups könnten hier Abhilfe schaffen.
Ein weiteres Problem ist die geografische Verzerrung. Rund 90 Prozent des Crawler-Verkehrs stammen aus Nordamerika. Dadurch entsteht die Gefahr, dass KI-Modelle überwiegend mit US-Inhalten trainiert werden und Ergebnisse entsprechend einseitig sind. Während sich US-Unternehmen auf „Fair Use“ berufen, gilt in Deutschland das Urheberrecht mit speziellen Klauseln zum Text- und Data-Mining. Zwar können Webseitenbetreiber per robots.txt versuchen, sich zu schützen, technisch verhindern lässt sich das Crawling damit jedoch nicht.
Fest steht: Ohne neue Standards zur Bot-Verifizierung und mehr Transparenz wird es für Unternehmen schwer, ihre Infrastruktur zu sichern. Oder wie es der Sicherheitsforscher Arun Kumar von Fastly formuliert: Automatisierter Traffic muss mit derselben Dringlichkeit behandelt werden wie jede andere Bedrohung der IT-Sicherheit.