So testen wir das beste Handy-Netz

Die Messungen in Deutschland fanden vom 22.10. bis 6.11.2022 statt, in Österreich vom 7.10. bis 27.10.2022 und in der Schweiz vom 20.10. bis 7.11.2022. Pro Land schickte connect-Netztestpartner umlaut vier Messfahrzeuge auf die Strecke, jedes war mit neun Smartphones bestückt.

Dabei nahm pro Netzbetreiber ein Samsung Galaxy S21+ die Sprachmessungen vor, ein weiteres S21+ stellte die Verbindungen für den neuen Testfall „Konversations-App“ her. In den eigentlichen Datentest setzten wir ein Samsung Galaxy S22+ ein.

Für alle Messungen waren die Smartphones auf „5G bevorzugt“ eingestellt – wo immer vom Netz unterstützt, fanden die Datentests also per 5G statt. Zusätzlich zu den Drivetests führten zwei Walktest-Teams in jedem Land Messungen zu Fuß durch, und zwar in Zonen mit regem Publikumsverkehr wie Bahnhofshallen, Flughafenterminals, Cafès, öffentlichen Verkehrsmitteln und Museen.

Zum Programm der Walktests zählten zudem Fahrten auf Fernverkehrsstrecken der Bahn. Für die Walktests wurden pro Netzbetreiber dieselben drei Smartphone-Typen für dieselben Messungen genutzt wie bei den Drivetests.

Die Walktest-Teams transportierten die Smartphones in mit starken Akkus bestückten Rucksäcken oder Trolleys. Die Firmware der Test-Smartphones entsprach jeweils der Original-Netzbetreiberversion.

Logistik

Die Drive- und Walktests fanden zwischen 8 und 22 Uhr statt. Für die Drivetests befanden sich zwei Fahrzeuge zwar in derselben Stadt, aber nicht am selben Ort, damit nicht ein Auto die Messungen des anderen verfälscht. Auf den Verbindungsstraßen fuhren je zwei Fahrzeuge dieselben Strecken ab, aber nacheinander mit etwas zeitlichem und räumlichem Abstand.

In Deutschland fanden Drivetests in 20 Groß- und 23 Kleinstädten statt, die Walktests in elf Städten. So wurden rund 16 Millionen Einwohner abgedeckt, was etwa 19,3 Prozent der deutschen Bevölkerung entspricht. Die Drivetests umfassten circa 12 000 km.

In Österreich fuhren die Tester durch zehn Groß- und 19 Kleinstädte und legten dabei rund 6200 km zurück. Hinzu kamen Walktests in sechs Städten. So wurden rund 3,3 Millionen Einwohner (rund 37,3% der Bevölkerung) abgedeckt.

Die Drivetests in der Schweiz führten in 28 Groß- und 19 Kleinstädte, die Walktests fanden in neun Städten statt. Die Testroute in der Schweiz war etwa 6700 km lang, die Messkampagne bei den Eidgenossen deckte rund 2,3 Millionen Einwohner (26,3 Prozent der Bevölkerung) ab. Für die Auswahl der Testrouten erstellte umlaut für jedes Land vier unterschiedliche Vorschläge, aus denen connect blind eine Route auswählte.

Sprachverbindungen

Sprachverbindungen machen 27 Prozent des Gesamtergebnisses aus. Dafür wurden Telefonverbindungen von Fahrzeug zu Fahrzeug („mobile-to-mobile“) aufgebaut und deren Erfolgsquoten, Rufaufbauzeit und Sprachqualität gemessen.

Die Smartphones der Walktest-Teams telefonierten für die Sprachtests mit einer stationären (Smartphone-)Gegenstelle. Um realistische Bedingungen sicherzustellen, wurde im Hintergrund gleichzeitig Datenverkehr abgewickelt.

Dabei erfassten wir auch MultiRAB-Konnektivität: Die Nutzung mehrerer „Radio Access Bearer“ stellt Datenverbindungen im Hintergrund der Sprachtelefonate zur Verfügung.

Die Übertragungsqualität wurde mit dem für HD-Voice geeigneten POLQA-Wideband-Verfahren bewertet. Auf allen Telefonen war „VoLTE bevorzugt“ konfiguriert – aus 5G fallen die Telefone somit auf Telefonie per LTE zurück.

Datenverbindungen

Die Datenmessungen fließen mit 48 Prozent ins Ergebnis ein. Zur Beurteilung von Internetseitenaufrufen wurden mehrere populäre Live-Seiten (dynamisch) sowie die als Kepler-Seite (statisch) bekannte ETSI-Referenz-Seite abgerufen. Daneben wurden 10 bzw. 5 MB große Dateien herunter- bzw. hochgeladen, um die Leistung bei kleineren Datenübertragungen zu ermitteln.

Zudem bestimmten wir die Datenrate innerhalb einer 7-Sekunden-Periode beim Up- und Download großer Dateien. Da Youtube die ausgespielte Auflösung dynamisch an die verfügbare Bandbreite anpasst, berücksichtigt die Bewertung die durchschnittliche Bildauflösung bzw. Zeilenzahl der Videos, die Zeit bis zum Erreichen der vollen Auflösung sowie die Erfolgsquote und die Zeit bis zum Wiedergabestart. Um die Netzleistung zu fordern, riefen die Smartphones zusätzlich Videos in 4K (2160p) ab.

Eine typische Over-the-top-Sprachverbindung (OTT) bildet der Testfall „Konversations-App“ ab. Dazu bauten wir einen Sprachkanal über die Protokolle SIP und STUN mit dem Codec OPUS auf und ermittelten die Erfolgsquote sowie die Sprachqualität. Außerdem simulierten unsere Messungen eine hochinteraktive UDP-Multiplayer-Session, um mit dem Testpunkt „Interaktivität eGaming“ die Latenzzeiten der Verbindung und eventuelle Paketverluste zu ermitteln.

Crowdsourcing

Zu 25 Prozent flossen die Ergebnisse von Crowdsourcing in die Gesamtwertung ein. Sie zeigen, welche Netzleistung beim Nutzer ankommt – allerdings wirken sich dabei auch die verwendeten Endgeräte und Tarife aus. Dazu wurden in allen drei Ländern die dort jeweils von Mitte Mai bis Ende Oktober 2022 (KW 19 bis KW 42) erhobenen Samples ausgewertet.

Aus Deutschland wurden rund 2,1 Milliarden Einzelmesswerte analysiert, die 99,9 Prozent der Bevölkerung abdecken. Für Österreich wertete umlaut rund 316 Millionen Samples aus (99,8 Prozent der Bevölkerung). In der Schweiz entsprechen die rund 463 Mio. Samples rund 99,9 Prozent der Bevölkerung.

Um die Datenbasis für die Analysen zu erhalten, erfassten Tausende populäre Apps im Hintergrund die im Folgenden beschriebenen Parameter – sofern der Nutzer der vollkommen anonymen Datenerhebung zugestimmt hat.

Die Messwerte wurden im 15-Minuten-Raster erfasst und einmal täglich an die umlaut-Server übertragen. Die Reports enthalten nur wenige Bytes, sodass sie das Datenvolumen des Nutzers kaum belasten.

Breitband-Güte

Um die Reichweite der Breitband-Versorgung zu ermitteln, legte umlaut ein Raster aus 2 x 2 km- Kacheln („Evaluation Areas“, EAs) über das Testgebiet. Für jede EA musste eine Mindestanzahl an Nutzern und Messwerten vorliegen.

Zur Bewertung vergab umlaut pro EA einen Punkt, wenn das betrachtete Netz 3G-Versorgung bietet. Drei Punkte gab es, wenn in der EA 4G oder 5G zur Verfügung stand. Die so erreichte Punktzahl wurde dividiert durch die erreichbare Anzahl an Punkten (drei Punkte pro EA im „Common Footprint“ – der von allen getesteten Anbietern versorgten Fläche des jeweiligen Lands).

Zudem betrachteten wir die Qualität der Breitband-Versorgung. Sie setzt den prozentualen Anteil von EAs, in denen ein Nutzer 4G- oder 5G-Versorgung hatte, ins Verhältnis zu allen EAs im „Common Footprint“.

Der Zeitanteil mit Breitband-Versorgung sagt wiederum aus, wie oft ein Nutzer im Betrachtungszeitraum 4G- oder 5G-Empfang hatte – unabhängig von den EAs, in denen die Samples erfasst wurden. Dazu setzt umlaut die Samples, die 4G/5G-Versorgung ausweisen, in Bezug zur Gesamtzahl aller Samples.

Wichtig: Die für alle drei Parameter ermittelten Prozentwerte spiegeln den jeweiligen Erfüllungsgrad wider – und nicht die prozentuale 4G/5G-Mobilfunkabdeckung von Fläche oder Bevölkerung.

Datenraten und Latenzen

Die passive Ermittlung von Download-Datenraten und Latenzen erfolgte unabhängig von den EAs und konzentrierte sich auf das Erleben jedes Nutzers. Samples, die etwa über WLANs oder bei aktiviertem Flugmodus erfasst wurden, filterte umlaut vor der Analyse aus.

Um zu berücksichtigen, dass viele Mobilfunktarife die nutzbare Datenrate drosseln, definierte umlaut drei anwendungsbezogene Geschwindigkeitsklassen: Für Basis-Internet müssen mindestens 2 Mbit/s erreicht werden, HD-Video setzt 5 Mbit/s voraus und UHD-Video 20 Mbit/s.

Damit ein Sample gültig ist, muss in einem 15-Minuten-Zeitraum eine Mindestdatenmenge geflossen sein. Analog wird die Latenz der Datenpakete einer anwendungsbezogenen Klasse zugeordnet: Roundtrip-Zeiten bis 100 ms genügen für OTT-Sprachdienste, weniger als 50 ms qualifizieren ein Sample für Gaming.

Damit wird die Auswertung auch der Tatsache gerecht, dass die passiv beobachteten Datenraten von den jeweils genutzten Anwendungen abhängen. Um sich besser dem maximal möglichen Durchsatz anzunähern, führte umlaut einmal pro Monat aktive Messungen von Upload- und Download-Datenraten durch. Sie ermitteln die in 3,5 Sekunden übertragene Datenmenge.

Stabilität

Auf Basis der ermittelten Datenraten und zusätzlichen Browsing- und Verbindungstests untersuchte umlaut zudem, wann überhaupt eine Breitband-Verbindung genutzt werden konnte. Die gemittelten und gewichteten Ergebnisse definieren den prozentualen Transaktionserfolg.

Sprache

Der Parameter HD-Sprache zeigt den Anteil, zu dem Sprachverbindungen des Nutzers in HD-Qualität aufgebaut wurden – und somit via VoLTE (Voice over LTE). Bedingung war, dass das Smartphone diesen Standard tatsächlich unterstützt.

Zuverlässigkeit

Alle Messwerte unterteilte umlaut in Basisanforderungen („Qualifier KPis“) und auf Höchstleistungen bezogene Werte („Differentiator KPIs“). Die Darstellung der Zuverlässigkeit berücksicht allein die „Qualifier KPIs“ aus der Sprach- und Datenkategorie sowie die Basis-KPIs aus dem Crowdsourcing.

Hier geht es zum Haupt-Artikel: "Mobilfunknetztest 2020: Wer hat das beste Handy-Netz?"