So testen wir das beste Handy-Netz

Wie jedes Jahr, haben wir auch diesmal umfangreiche Maßnahmen getroffen, um sicherzustellen, dass unser Mobilfunknetztest fair und transparent abläuft.

Logistik und Testrouten

Die Messungen in Deutschland fanden vom 14. bis 25.10.2024 statt, in Österreich vom 3. bis 12.10.2024 und in der Schweiz vom 15. bis 26.10.2024. Pro Land schickte connect-Netztestpartner umlaut vier Messfahrzeuge auf die Strecke, jedes war mit neun Smartphones bestückt. Dabei nahm pro Netzbetreiber ein Samsung Galaxy S23 die Sprachmessungen vor, ein weiteres S23 wurde für die Datentests genutzt, und ein Drittes stellte die Verbindungen für den Testfall „Konversations-App“ (siehe „Datenverbindungen“) her. Für alle Messungen waren die Smartphones auf „5G bevorzugt“ eingestellt – wo vom Netz unterstützt, fanden die Tests per 5G statt.

Zusätzlich zu den Drivetests führten zwei Walktest-Teams in jedem Land Messungen zu Fuß durch, und zwar in Zonen mit regem Publikumsverkehr wie Bahnhofshallen, Flughafenterminals, Cafés, öffentlichen Verkehrsmitteln und Museen. Zum Programm der Walktests zählten zudem Fahrten auf Fern- und Nahverkehrsstrecken der Bahn. Für die Walktests wurden pro Netzbetreiber dieselben Smartphone-Typen genutzt wie bei den Drivetests. Die Walktest-Teams transportierten die Smartphones in mit starken Akkus bestückten Rucksäcken oder Trolleys.

Die Firmware der Test-Smartphones entsprach jeweils der Original-Netzbetreiberversion. Die Drive- und Walktests fanden zwischen 8 und 22 Uhr statt. Für die Drivetests befanden sich zwei Fahrzeuge zwar in derselben Stadt, aber nicht am selben Ort, damit nicht ein Auto die Messungen des anderen verfälscht. Auf den Verbindungsstraßen fuhren je zwei Fahrzeuge dieselben Strecken ab, aber nacheinander mit zeitlichem und räumlichem Abstand.

In Deutschland fanden Drive tests in 23 Groß- und 25 Kleinstädten statt, die Walktests in elf Städten. So wurden rund 16,4 Millionen Einwohner abgedeckt, was etwa 19,7 Prozent der deutschen Bevölkerung entspricht. Die Drivetests umfassten rund 11 030 km.

In Österreich fuhren die Tester durch 15 Groß- und 15 Kleinstädte und legten dabei rund 5750 km zurück. Hinzu kamen Walktests in sechs Städten. So wurden rund 3,4 Millionen Einwohner (rund 37,5% der Bevölkerung) abgedeckt.

Die Drivetests in der Schweiz führten in 24 Groß- und 17 Kleinstädte, die Walktests fanden in acht Städten statt. Die Testroute in der Schweiz war etwa 6230 km lang, die Messkampagne deckte rund 2,3 Millionen Einwohner (rund 25,7 Prozent der Bevölkerung) ab. Für die Auswahl der Testrouten erstellte umlaut für jedes Land vier unterschiedliche Vorschläge, aus denen connect blind je eine Route auswählte.

Sprachverbindungen

Sprachverbindungen machen 27 Prozent des Gesamtergebnisses aus. Dafür wurden Telefonverbindungen von Fahrzeug zu Fahrzeug („mobile-to-mobile“) aufgebaut und deren Erfolgsquoten, Rufaufbauzeit und Sprachqualität gemessen. Die Smartphones der Walktest-Teams telefonierten für die Sprachtests mit einer stationären (Smartphone-)Gegenstelle. Um realistische Bedingungen sicherzustellen, wurde im Hintergrund gleichzeitig Datenverkehr abgewickelt. Die Übertragungs qualität wurde mit dem für HD-Voice geeigneten POLQA-Wideband-Verfahren bewertet. Auf allen Telefonen war „5G Non-Standalone bevorzugt“ konfiguriert, die Sprachtelefonie wird hierbei über VoLTE abgewickelt.

Datenverbindungen

Die Datenmessungen fließen mit 48 Prozent ins Ergebnis ein. Zur Beurteilung von Internetseitenaufrufen wurden mehrere populäre Live-Seiten (dynamisch) sowie die als Kepler-Seite (statisch) bekannte ETSI-Referenz-Seite abgerufen. Hinzu kommt eine von umlaut entwickelte Vorstufe ihrer designierten Nachfolgerin (Arbeitstitel: „Newton“), an der das ETSI zurzeit arbeitet.

Daneben wurden 10 bzw. 5 MB große Dateien herunter- bzw. hochgeladen, um die Leistung bei kleineren Datenübertragungen zu ermitteln. Zudem bestimmten wir die Datenrate in einer 7-Sekunden-Periode beim Up- und Download großer Dateien. Da YouTube die ausgespielte Auflösung dynamisch an die verfügbare Bandbreite anpasst, berücksichtigt die Bewertung die durchschnittliche Bildauflösung der Videos sowie die Erfolgsquote und die Zeit bis zum Start der Wiedergabe.

Eine Over-the-top-Sprachverbindung (OTT) bildet der Testfall Konversations-App ab. Dazu bau- ten wir einen Sprachkanal über die Protokolle SIP und STUN mit dem Codec OPUS auf und ermittelten Erfolgsquote sowie Sprachqualität.

Außerdem simulierten unsere Messungen eine hochinteraktive UDP-Multiplayer-Session, um mit dem Testpunkt Interaktivität eGaming die Latenzzeiten der Verbindung und eventuelle Paketverluste zu ermitteln. Darüber hinaus zählt ein Video-Chat zum Testumfang, welcher der Empfehlung ITU-T G.1051 folgt. Er misst in beiden Richtungen Latenzen, Paketverzögerungen und Datenraten.

Crowdsourcing

Zu 25 Prozent flossen die Ergeb nisse von Crowdsourcing in die Gesamtwertung ein. Sie zeigen, welche Netzleistung beim Nutzer ankommt – allerdings wirken sich dabei auch die verwendeten Endgeräte und Tarife aus. Dazu wurden in allen drei Ländern die dort jeweils von Anfang Mai bis Mitte Oktober 2024 (KW 19 bis KW 42) erhobenen Samples ausgewertet.

Aus Deutschland wurden rund 16,5 Milliarden Einzelmesswerte analysiert, die statistisch 100 Prozent der Bevölkerung abdecken. Für Österreich wertete umlaut rund 453 Millionen Samples aus (99,9 Prozent der Bevölkerung). In der Schweiz entsprechen rund 722 Mio. Samples statistisch wiederum 100 Prozent der Bevölkerung.

Um die Datenbasis für die Analysen zu erhalten, erfasst eine Vielzahl populärer Apps im Hintergrund die im Folgenden beschriebenen Parameter – sofern der Nutzer der vollkommen anonymen Datenerhebung zugestimmt hat. Leicht vereinfacht werden Messwerte im 15-Minuten-Raster erfasst und einmal täglich an die umlaut-Server übertragen. Die Reports enthalten nur wenige Bytes, sodass sie das Datenvolumen des Nutzers kaum belasten.

Breitband-Güte

Um die Reichweite der Breitband-Versorgung zu ermitteln, legte umlaut ein Raster aus 2 x 2- km-Kacheln („Evaluation Areas“, EAs) über das Testgebiet. Für jede EA musste eine Mindestanzahl an Nutzern und Messwerten vorliegen. Zur Bewertung vergab umlaut pro EA drei Punkte, wenn das betrachtete Netz 4G- oder 5G-Versorgung bietet. Die so erreichte Punktzahl wurde dividiert durch die erreichbare Anzahl an Punkten (drei Punkte pro EA im „Union Footprint“ – der von allen Testern mit Ihren Smartphones gemessenen Fläche des jeweiligen Landes).

Zudem betrachteten wir die Qualität der Breitband-Versorgung. Sie gibt je Betreiber den durchschnittlichen prozentualen Anteil von 4G- oder 5G-Versorgung auf einer EA an, gemittelt über alle EAs im „Common Footprint“ – der Fläche, in der Daten von allen Betreibern vorliegen. Der Zeitanteil mit Breitband-Versorgung sagt überdies aus, wie oft ein Nutzer im Betrachtungszeitraum 4G- oder 5G-Empfang hatte – unabhängig von den EAs, in denen die Samples erfasst wurden.

Dazu setzt umlaut die Samples, die 4G/5G-Versorgung aufweisen, in Bezug zur Gesamtzahl aller Samples. Wichtig: Die für alle drei Parameter ermittelten Prozentwerte spiegeln den jeweiligen Erfüllungsgrad wider – nicht die prozentuale 4G/5G-Abdeckung von Fläche oder Bevölkerung.

Datenraten und Latenzen

Die passive Ermittlung von Download-Datenraten und Latenzen erfolgte unabhängig von den EAs und konzentrierte sich auf das Erleben jedes Nutzers. Samples, die etwa über WLANs oder bei aktiviertem Flugmodus erfasst wurden, filterte umlaut vor der Analyse aus.

Um zu berücksichtigen, dass viele Mobilfunktarife die Datenrate drosseln, definierte umlaut drei anwendungsbezogene Geschwindigkeitsklassen: Für Basis-Internet müssen mindestens 2 Mbit/s erreicht werden, HD-Video setzt 5 Mbit/s voraus und UHD-Video 20 Mbit/s. Damit ein Sample gültig ist, muss in einem 15-Minuten-Zeitraum eine Mindestdatenmenge geflossen sein.

Analog wird die Latenz der Datenpakete einer anwendungsbezogenen Klasse zugeordnet: Roundtrip-Zeiten bis 100 ms genügen für OTT-Sprachdienste, weniger als 50 ms qualifizieren ein Sample für Gaming und weniger als 20 ms für Highend Gaming. Um sich dem maximal möglichen Durchsatz anzunähern, führte umlaut einmal pro Monat zusätzlich aktive Messungen von Upload- und Download-Datenraten durch. Sie ermitteln die in 3,5 Sekunden übertragene Datenmenge.

Telefonie

Der Parameter HD-Telefonie zeigt den Anteil, zu dem Sprachverbindungen des Nutzers in Voice over LTE (VoLTE) oder Voice over WiFi (VoWiFi) aufgebaut wurden, und somit HD-Qualität unterstützen.“

Stabilität

Auf Basis der Erfolgsraten der Download-, Upload- und Browsing-Tests sowie zusätzlicher Verbindungstests errechnet umlaut zudem den prozentualen Anteil erfolgreicher Transaktionen.

Zuverlässigkeit

Die Zuverlässigkeitswertung ist keine eigene Kategorie, sondern eine zusätzliche Betrachtung der Ergebnisse der vorherigen Kategorien. Dazu unterteilt umlaut alle Messwerte in Basis- beziehungsweise Alltagsanforderungen („Qualifier KPis“) und auf Höchstleistungen bezogene Werte („Differentiator KPIs“). Die Darstellung der Zuverlässigkeit berücksichtigt allein die „Qualifier KPIs“ aus der Sprach- und Datenkategorie sowie die Basisergebnisse aus dem Crowdsourcing. So lässt sich herausarbeiten, wie gut das Netz Alltagsanforderungen erfüllt.

Fairness und Transparenz

So haben umlaut und connect sichergestellt, dass unser Mobilfunknetztest fair und transparent abläuft.

Um eine faire und transparente Durchführung und Bewertung unseres Netztests zu garantieren, haben sich bestimmte Abläufe bewährt.

Dazu zählt, dass connect und umlaut die Netzbetreiber frühzeitig über die Rahmenbedingungen des Tests informieren. In dem dazu kommunizierten „Framework“ werden unter anderem die für unsere Messungen genutzten Smartphones definiert, die bei den Messungen und Auswertungen berücksichtigten Parameter, das grundsätzliche Bewertungsschema sowie der Zeitplan in allen drei Ländern. Diese Rahmendaten legten connect und umlaut für 2024 bereits im Frühjahr fest und informierten die Netzbetreiber darüber.

Für Rückmeldungen und Anregungen sind wir offen, prüfen sie aber kritisch und müssen dann manchen Vorschlag auch ablehnen. In der Vorbereitungs- und Durchführungsphase der Drive- und Walktests stehen wir ebenfalls in Austausch mit den Netzbetreibern. Diskutiert und bei Bedarf aktualisiert werden dabei etwa die auf den Mess-Smartphones eingesetzten Firmware-Stände – damit diese Technologien wie Carrier Aggregation oder 5G-Varianten wie DSS, NSA oder SA optimal unterstützen.

Zur Kommunikation mit den Netzbetreibern zählt aber auch der eindringliche Hinweis auf Fair-Play-Regeln. Bei der Testdurchführung und -auswertung analysiert umlaut die Messwerte unter anderem intensiv daraufhin, ob sie Anzeichen möglicher Manipulationsversuche aufweisen. Würde ein solcher Versuch erkannt, reichen die möglichen Gegenmaßnahmen von der Invalidierung der als zweifelhaft eingeschätzten Samples bis hin zur Disqualifizierung des betreffenden Teilnehmers.

Insbesondere die umfangreichen Datenverbindungen, die während der Tests aufgebaut werden müssen, machen es unvermeidbar, dafür SIM-Karten zu nutzen, die von den Netzbetreibern eigens zur Verfügung gestellt werden. Andernfalls müssten die SIM-Karten wegen schnell erreichter Tarif- oder Fair-Use-Limits während der Tests ständig ausgetauscht werden. Die von den Anbietern leihweise zur Verfügung gestellten SIM-Karten sind exakt so provisioniert wie normale Karten, haben aber kein Datenlimit.

Um auch auf diesem Gebiet möglichen Manipulationsversuchen vorzubeugen, vergleicht umlaut die über diese Leihkarten ermittelten Messergebnisse mit Stichproben, die mit regulär gekauften SIM-Karten erfasst werden. Würde hier eine Abweichung auffallen, wäre auch dies Anlass für tiefergehende Analysen und Gegenmaßnahmen.

Zusatz-Info: Wie misst man Energieeffizienz?

Die Energieeffizienz der Mobilfunknetze wird immer wichtiger. Wie lassen sich Erfolge der Betreiber messtechnisch erfassen?

Mobilfunknetzbetreiber müssen die Betriebskosten ihrer Netze senken und perspektivisch klimaneutral werden. Das Radio Access Network (RAN) ist die energiehungrigste Komponente eines Mobilfunknetzes. Schon wenige Prozent Einsparung bei seinem Energieverbrauch können Millionen von Kilowattstunden und Euros jährlich ausmachen.

umlaut hat daher untersucht, wie sich die bei den Drivetests und Walktests erfassten Daten nutzen lassen, um zu ermitteln, wie die Netze einen nicht unwesentlichen Teil der im RAN verbrauchten Energie verwenden – den für die aktive Übertragung an den Nutzer. Die Ergebnisse lassen zudem Rückschlüsse auf die übergeordnete Effizienzstrategie eines Anbieters zu. Der hier vorgestellte Ansatz setzt die Geschwindigkeit, mit der die Netze Daten zum Smartphone übertragen, in Bezug zur dafür erforderlichen Sendeleistung.

Das Ergebnis ist ein Wert mit der Einheit Mbit/s pro Watt. Um dies zu erproben, hat umlaut diese Analyse für den 7-Sekunden-Dateidownload durchgeführt – er zählt zu den Prüfpunkten, die die Leistung eines Netzes am meisten ausreizen. Der so ermittelte Wert wird dabei von einer Vielzahl von Faktoren beeinflusst – zum Beispiel der räumlichen Anordnung der Basisstationen, der Netzabdeckungsstrategie des Anbieters über Makro-, Mikro- und Picozellen sowie der Anzahl genutzter Frequenzbänder und der darauf eingesetzten Mobilfunk-Technologien.

Wir haben uns in diesem Ausblick bewusst entschieden, die Ergebnisse nicht nach Anbietern aufzuschlüsseln, um keine Bewertung nahezulegen. Die unten dargestellten Spannweiten zeigen aber, dass es je nach betrachtetem Land und Szenario signifikante Unterschiede gibt.