connect Festnetztest
Festnetztest 2019: So testen connect und zafaco
Wie gut sind die Festnetzanschlüsse in Deutschland? Hier erfahren Sie, wie connect in Zusammenarbeit mit zafaco GmbH die Messungen für den Festnetztest durchführt.
Zum zehnten Mal führt connect seinen anspruchsvollen Festnetztest in enger Kooperation mit der zafaco GmbH aus, die ihren Sitz in Ismaning hat. Sie betreibt Testanschlüsse in insgesamt 52 Städten, wobei nicht jeder Netzbetreiber an jedem Standort mit einem Anschluss am Test teilnimmt. Die „Big Player“ (Anbieter mit mehr als zwei Prozent bundesweitem Marktanteil) sind mit jeweils 16 Anschlüssen vertreten, „Local Player“ (Anbieter mit weniger als zwei Prozent Marktanteil) mit vier.
Bei der Auswahl der Zugangsprodukte pro Anbieter verfolgen connect und zafaco das Ziel, sich der tatsächlichen Angebote im Markt anzunähern. Denn nicht jeder Kunde nutzt die schnellsten und teuersten Leitungen. Deshalb berücksichtigt die Verteilung der Anschlüsse über verschiedene Bandbreitenklassen das Angebotsspektrum der Netzbetreiber. Die komplette Aufstellung der im Testfeld berücksichtigten Anschlusstypen finden Sie hier zum Download.
An den Standorten nahmen automatisierte Testsysteme vom 13.05. bis zum 10.06.2019 insgesamt rund 4,6 Millionen Messungen vor. Damit unaufschiebbare Wartungsarbeiten nicht zu unfairen Nachteilen führen, berücksichtigte zafaco ein nächtliches Wartungsfenster und erfasste in der Zeit von 2 bis 6 Uhr morgens keine Messwerte. Dieses Wartungsfenster gilt nicht für die Crowdsourcing-Messergebnisse.
Automatisiert wurden rund um die Uhr Messungen von Telefonie, Datenübertragungen, Web-Services und Web-TV durchgeführt.
Sprach-Telefonie
Maximal 320 von 1000 Gesamtpunkten können die Kandidaten in der Disziplin Sprachtelefonie erzielen. Dazu wird die Ende-zu-Ende-Sprachqualität von und ins eigene Netz (max. 80 Punkte), von und in andere IP-Netze (max. 160 Punkte) sowie von und in die deutschen Mobilfunknetze (max. 80 Punkte) bewertet. Insgesamt führten die Testsysteme 357.530 Test-Telefonate durch und ermittelten mehrere Kennwerte pro Verbindung.
Zur Bestimmung der Sprachqualität wurden sogenannte POLQA-Werte (Perceptual Objective Listening Quality Assessment) ermittelt.
Die Testsysteme versuchen dabei zunächst, Telefonate im höherwertigen HD-Voice-Modus (Codec G.722) durchzuführen. Konnte die Verbindung damit nicht aufgebaut werden, erfolgte sie über den älteren Schmalband-Codec G.711. Ein weiteres Testszenario ist gleichzeitiges Telefonieren über zwei Kanäle bei gleichzeitiger Datenübertragung durch Up- und Downloads. Solche Lastsituationen entsprechen der typischen Nutzung einer Leitung etwa durch Familien.
Highspeed-Internet
Maximal 180 der 1000 insgesamt erzielbaren Punkte können die Kandidaten in der Disziplin Highspeed-Internet holen. Grundlage der Bewertung sind 212.438 Einzelmessungen. Die Messungen werden über IPv4 oder IPv6 durchgeführt – je nachdem, was das getestete Anbieter-Produkt unterstützt. Standardisierte Upload- und Downloadmessungen zu Mess-Servern bei den Anbietern bestimmen die verfügbaren Bandbreiten. Dabei führen wir die Messungen auch mit gleichzeitigem Datenverkehr in der jeweiligen Gegenrichtung sowie auch parallel zu laufenden Sprachverbindungen durch. Das Ziel ist hier, das Verhalten der Anschlüsse bei zeitgleicher Auslastung der Gesamtbandbreite zu ermitteln. Um Einflüsse außerhalb ihrer eigenen Netze auszuschließen, konnten die Netzbetreiber den Referenzserver für einige Datenmessungen in ihrem eigenen Netz aufstellen.
Je 55 Punkte können die Kandidaten für HTTP-Downloads ohne oder mit parallelem Upload erzielen. Und je 35 Punkte gibt es für HTTP-Uploads ohne oder mit parallelem Download.
Web-Services und Web-TV
Datenraten sind nicht alles. Viel deutlicher zeigt sich für die Nutzer die Qualität ihrer Internetanbindung bei konkreten Anwendungen – etwa beim Zugriff auf Webseiten, den Antwortzeiten bei Nutzung von Gaming-Servern, Uploads zu Fotobuchdiensten oder dem Abruf von Videos über Content-Provider. Deshalb entfallen 200 der 1000 Gesamtpunkte auf die Disziplin Web-Services – den Aufruf von Webseiten, Zugriff auf DNS- und Gaming-Server sowie Fotobuch-Uploads. Weitere 200 Punkte gibt’s in der Kategorie Web-TV. Mehr als 3,5 Millionen der von uns bewerteten Messungen befassen sich mit der Qualität von Web-Services und weitere 469.881 mit der Qualität von Web-TV.
Zum Test der Performance bei Webseiten-Aufrufen wurden mit dem Browser Chrome standardisierte Testseiten (ETSI-Kepler-Referenzseite) von deutschen und internationalen Webhosting- Anbietern abgerufen. Außerdem analysieren wir den Abruf unterschiedlicher, häufig genutzter Webseiten mit dem ebenfalls verbreiteten Browser Firefox.
Da beim Abruf von Webseiten die DNS-Auflösung (also die Übersetzung von URLs in IP-Adressen) einen wichtigen Anteil an der Reaktionszeit hat, legen wir unser Augenmerk auch darauf. Um Caching-Mechanismen etwa im Router weitestgehend auszuschließen und Messungen zu den DNS-Servern im Netz des jeweiligen Anbieters zu forcieren, wurden jede Stunde wechselnd 40 DNS-Anforderungen aus der Liste von insgesamt 1000 deutschen Top-Webseiten (gemäß der anerkannten „Alexa-Liste“) ausgewählt. Die Liste der Top-1000-URLs wurde einmal pro Woche neu bestimmt und täglich in eine zufällige Reihenfolge sortiert.
Um die für Gamer wichtigen Reaktionszeiten zu Gaming-Servern zu ermitteln, wurden die Laufzeiten zu fünf verschiedenen Anbietern gemessen. Zudem erfassten wir Dauer und Fehlerraten von Uploads zu den Fotobuch-Anbietern Cewe, ip.labs, Fujifilm und Orwo.
Zu erreichen waren maximal 50 Punkte für die Bewertung von Funktionen aus dem Bereich Webhosting, 50 Punkte für die Abrufe von Webseiten, 30 Punkte für die DNS-Tests, 20 Punkte für die Ping-Zeiten zu Gaming-Servern und 50 Punkte für die Uploads zu Fotobuch-Diensten.
In der Rubrik Web-TV führten wir „Over-the-top“-Messungen zu den Video-Angeboten von Amazon, Facebook, Netflix, Sky, Vimeo, Youtube, Zattoo und zu den Mediatheken von ARD und ZDF durch. Wo möglich, fanden diese Messungen mit Adaptive Streaming statt. Zur Bestimmung der Web-TV-Videoqualität ermittelten die Testsysteme sogenannte PEVQ-S-Werte (Perceptual Evaluation of Streaming Video Quality).
Dabei vergaben wir maximal 80 Punkte für die Reaktions- und Pufferzeiten sowie maximal 120 Punkte für Bildqualität und möglichst geringe Fehlerraten.
Endgeräte
An den getesteten Anschlüssen kamen dabei jeweils die von den Anbietern offiziell angebotenen Endgeräte mit aktueller Firmware zum Einsatz. connect und zafaco haben allerdings den Grundsatz, dass nur Konfigurationen am Test teilnehmen, die auch wirklich für die Kunden verfügbar sind. Deshalb wurde in Abstimmung mit den Netzbetreibern bereits vor Testbeginn festgelegt, mit welchem Firmwarestand die Router daran teilnehmen durften. Eine Übersicht der verwendeten Endgeräte und ihrer Firmwarestände finden Sie unten zum Download.
Ein Whitepaper mit einer ausführlichen Dokumentation des Testverfahrens steht hier zum Download bereit.
Crowdsourcing
Erstmals fließen in diesem Jahr auch die Ergebnisse von Crowdsourcing-Analysen in die Gesamtwertung ein. Dafür hat zafaco die öffentlich zugänglich aggregierten Messergebnisse der Kartendarstellung der Breitbandmessung berücksichtigt.
Die Auswertung basiert auf Daten, die zwischen dem 01.04.2018 und dem 31.03.2019 erfasst wurden. Die Analysen wurden für die 107 Stadtkreise und kreisfreien Städte Deutschlands durchgeführt, da dort jeweils mehrere Anbieter mit in der Regel mehreren Produktkategorien vertreten sind. Bei den Auswertungen sorgte ein mehrstufiger Validierungsprozess dafür, dass etwa Messungen über WLAN, an gedrosselten Anschlüssen, technisch oder tariflich ungültige Messungen oder Mehrfachmessungen aus dem analysierten Datenbestand ausgefiltert wurden. So flossen insgesamt 69.299 per Crowdsourcing vorgenommene Messungen in das Gesamtergebnis ein. Das Wartungsfenster gilt nicht für die Crowdsourcing-Ergebnisse.
Für die Ergebnisse der Crowdsourcing-Analysen konnten die Kandidaten maximal 100 oder 1000 Gesamtpunkte erzielen. Dabei gab es bis zu 30 Punkte für den ermittelten Durchschnittswert der Datenraten bei Downloads und bis zu 20 Punkte für den entsprechenden Wert bei Uploads. Außerdem vergaben wir weitere maximal 30 Punkte, wenn die Abweichung von der Lieferzuverlässigkeit der Downloads möglichst gering ausfiel – und weitere maximal 20 Punkte für den entsprechenden Wert bei Uploads.
