Cloudflare verliert mehrere Stunden an Kunden-Logs

Cloudflare, ein US-amerikanisches Technologieunternehmen, das eine Vielzahl von Diensten zur Optimierung, Sicherung und Verwaltung von Internetanwendungen und -websites anbietet, hat Mitte November einen erheblichen Verlust von Protokolldaten gemeldet, die den Großteil der Kunden betreffen.

Nach Unternehmensangaben fehlen etwa 3,5 Stunden an Logging-Daten, das sind rund 55 Prozent aller in diesem Zeitraum erzeugten Protokolle. Der Vorfall ereignete sich während eines Updates des Dienstes Logpush, der täglich mehr als 600 Millionen Protokolldatensätze verarbeitet.

Die Ursache lag in einer fehlerhaften Konfiguration, die durch das Update ausgelöst wurde. Mit der Aktualisierung sollte das Programm Logpush um einen neuen Datensatz erweitert werden. Dies erforderte wiederum eine neue Konfiguration eines Weiterleitungsdienstes namens Logfwdr. Diese Konfiguration wird normalerweise automatisch generiert. Im vorliegenden Fall erhielt Logfwdr jedoch eine leere Konfiguration. Das Ergebnis: Logfwdr interpretierte die Situation so, dass keine Logs zur Weiterleitung konfiguriert waren. Dadurch kamen bei Logpush keine Protokolldaten mehr an.

Dementsprechend wurde eine Sicherheitsfunktion aktiviert, die eigentlich vor Datenverlust schützen sollte. Diese Funktion leitet im Falle einer fehlerhaften Konfiguration ausnahmslos alle Ereignisse weiter – anstelle derjenigen, die aktiv konfiguriert sind. Das führte wiederum zu einer massiven Datenflut, die die Pufferungssysteme von Cloudflare um den Faktor 40 überforderte. Die betroffenen für die Datenpufferung zuständigen Cluster wurden dadurch so stark belastet, dass ein vollständiger System-Reset erforderlich war.

Um ähnliche Vorfälle zu vermeiden, kündigte das Unternehmen mehrere Maßnahmen, darunter Überlastungstests und automatisierte Warnsysteme, an.