So testen wir das beste Handy-Netz

Die Messungen in Deutschland fanden vom 14. bis 27.10.2025 statt, in Österreich vom 9. bis 27.10.2025 und in der Schweiz vom 13.10. bis 1.11.2025. Pro Land schickte der connect-Netztestpartner umlaut vier Messfahrzeuge auf die Strecke, jedes war mit neun Smartphones bestückt.

Pro Netzbetreiber nahm ein Samsung Galaxy S24 Ultra die Sprachmessungen vor, ein weiteres S24 Ultra diente für Datentests, ein Drittes stellte die Verbindungen für den Testfall „Konversations-App“ her (siehe „Datenverbindungen“). In allen Messungen war „5G bevorzugt“ eingestellt – wo vom Netz unterstützt, fanden sie per 5G statt. Für das Drei-Netz in Österreich war auch die Nutzung 5G Standalone (5G SA) möglich, da Drei in diesem Jahr mit Blick auf die stetig anwachsende Zahl seiner 5GSA-Nutzer dafür optiert hatte. Die Firmware der Geräte entsprach jeweils der Original-Netzbetreiberversion.

Außer den Drivetests führten zwei Walktest-Teams in jedem Land Messungen zu Fuß durch – in Zonen mit Publikumsverkehr wie Bahnhofshallen, Flughafenterminals, Cafés, öffentlichen Verkehrsmitteln und Museen. Zum Programm der Walktests zählten überdies Fahrten auf Fern- und Nahverkehrsstrecken der Bahn. Für die Walktests wurden pro Netzbetreiber dieselben Smartphone-Typen verwendet wie für die Drivetests. Die Walktest-Teams transportierten die Smartphones in mit starken Akkus bestückten Rucksäcken oder Trolleys.

Die Drive- und Walktests fanden zwischen 8 und 22 Uhr statt. Für die Drivetests befanden sich zwei Fahrzeuge zwar in derselben Stadt, aber nicht am selben Ort, damit nicht ein Auto die Messungen des anderen verfälscht. Auf den Verbindungsstraßen fuhren je zwei Fahrzeuge dieselben Routen ab, aber in zeitlichem und räumlichem Abstand.

In Deutschland gab es Drivetests in 24 Groß- und 24 Kleinstädten, Walktests in elf. Das deckte rund 16,8 Millionen Einwohner ab, etwa 20,2 % der deutschen Bevölkerung. Die Drivetests umfassten rund 11 010 km. Die Wertung für Deuschland basiert auf insgesamt 25 446 Sprach-Samples und 224 523 Daten-Samples, die während der Drive- und Walktests erfasst wurden.

In Österreich fuhren die Tester rund 5660 km durch 14 Groß- und 16 Kleinstädte. Dazu kamen Walktests in sechs Städten. Das deckte rund 3,4 Millionen Einwohner (etwa 37,4 % der Bevölkerung) ab. Erfasst und berücksichtigt wurden dabei 13 853 Sprach- und 123 805 Daten-Samples.

Die Drivetests in der Schweiz führten in 24 Groß- und 17 Kleinstädte, die Walktests fanden in acht Städten statt. Die Testroute in der Schweiz war rund 6400 km lang, die Messkampagne deckte rund 2,3 Millionen Einwohner (circa 25,8 % der Bevölkerung) ab. In der Schweiz wurden 16 758 Sprach- und 150 365 Daten-Samples bewertet. Für die Auswahl der Testrouten machte umlaut für jedes Land vier unterschiedliche Vorschläge, aus denen connect blind je eine Route auswählte.

Sprachverbindungen

Die Sprachverbindungen tragen 27 % zum Gesamtergebnis bei. Dafür wurden Telefonverbindungen von Fahrzeug zu Fahrzeug („mobile-to-mobile“) aufgebaut und ihre Erfolgsquoten, Rufaufbauzeit und Sprachqualität gemessen. Die Smartphones der Walktest-Teams telefonierten für die Sprachtests mit einer stationären (Smartphone-) Gegenstelle. Um realistische Bedingungen sicherzustellen, fand im Hintergrund gleichzeitig Datenverkehr statt. Die Übertragungsqualität wurde mit dem für HD-Voice geeigneten POLQA-Wideband-Verfahren bewertet. Mit der Ausnahme von Drei in Österreich wurde die Sprachtelefonie dabei über VoLTE abgewickelt.

Datenverbindungen

Die Datenmessungen fließen mit 48 % ins Ergebnis ein. Zur Beurteilung von Internetseitenaufrufen wurden mehrere populäre Live-Seiten (dynamisch) sowie die als Kepler-Seite (statisch) bekannte ETSI-Referenz-Seite abgerufen. Hinzu kommt eine von umlaut entwickelte Vorstufe ihrer designierten Nachfolgerin (Arbeitstitel: „Newton“), an der das ETSI derzeit arbeitet.

Daneben wurden 10 beziehungs- weise 5 MB große Dateien herunter- beziehungsweise hochgeladen, um die Leistung bei kleineren Datenübertragungen zu bestimmen. Zudem ermittelten wir die Datenrate in einer 7-Sekunden-Periode beim Up- und Download großer Dateien. Da Youtube die ausgespielte Auflösung dynamisch an die verfügbare Bandbreite anpasst, berücksichtigt unsere Bewertung die durchschnittliche Bildauflösung der Videos sowie die Erfolgsquote und die Zeit bis zum Start der Wiedergabe.

Eine Over-the-top-Sprachverbindung (OTT) bildet der Testfall Konversations-App ab. Dazu bauten wir einen Sprachkanal über die Protokolle SIP und STUN mit dem Codec OPUS auf und ermittelten die Erfolgsquote und die Sprachqualität.

Außerdem simulierten unsere Messungen eine hochinteraktive UDP-Multiplayer-Session, um mit dem Testpunkt Interaktivität E-Gaming die Latenzzeiten der Verbindung und eventuelle Paketverluste zu ermitteln. Zudem zählte ein Video-Chat zum Testumfang. Er misst Latenzen, Paketverzögerungen und Datenraten in beiden Richtungen. Die Tests von E-Gaming und Video-Chat folgen der Empfehlung ITU-T G.1051.

Crowdsourcing

Zu 25 % flossen die Ergebnisse von Crowdsourcing in die Gesamtwertung ein. Sie zeigen, welche Netzleistung beim Nutzer ankommt – allerdings wirken sich dabei auch die verwendeten Endgeräte und Tarife aus. Dazu wurden in allen drei Ländern die dort jeweils von Anfang Mai bis Mitte Oktober 2025 (KW 19 bis KW 42) erhobenen Samples ausgewertet. Aus Deutschland wurden rund 12,4 Milliarden Einzelmesswerte analysiert, die statistisch 100 % der Bevölkerung abdecken. Für Österreich wertete umlaut rund 533 Millionen Samples aus (99,9 % der Bevölkerung). In der Schweiz entsprechen rund 1,2 Milliarden Samples statistisch 100% der Bevölkerung.

Um die Datenbasis für die Analysen zu erhalten, erfasst eine Vielzahl populärer Apps im Hintergrund die im Folgenden beschriebenen Parameter – sofern die Anwender Nutzer der vollkommen anonymen Datenerhebung zugestimmt haben.

In bestimmten Intervallen (von einer Sekunde bis zu 15 Minuten) werden Stichproben erfasst und täglich an die Cloud-Server von umlaut gesendet, wo die Daten dann weiterverarbeitet werden. Die Reports enthalten nur wenige Bytes, sodass sie das Datenvolumen des Nutzers kaum belasten.

Breitband-Güte

Um die Reichweite der Breitband-Versorgung zu ermitteln, legt umlaut ein Raster aus ca. 2 x 2 km großen Kacheln („Evaluation Areas“, EAs) über das Testgebiet. Zur Bewertung vergab umlaut pro EA drei Punkte, wenn das betrachtete Netz 4G- oder 5G-Versorgung bietet. Die so erreichte Punktzahl wurde dividiert durch die maximal erreichbare Anzahl an Punkten (drei Punkte pro EA im „Union Footprint“ – der von allen Testern mit ihren Smartphones gemessenen Fläche des jeweiligen Landes).

Außerdem betrachteten wir den Zeitanteil mit Breitband-Versorgung. Er sagt aus, wie oft ein Nutzer im Betrachtungszeitraum 4G- oder 5G-Empfang hatte – unabhängig von den EAs, in denen die Samples erfasst wurden. Dazu setzt umlaut die Samples, die 4G/5G-Versorgung aufweisen, in Bezug zur Gesamtzahl aller Samples.

Wichtig: Die für diese Parameter ermittelten Prozentwerte spiegeln den jeweiligen Erfüllungsgrad wider – nicht die prozentuale 4G/5G-Abdeckung von Fläche oder Bevölkerung.

Datenraten und Latenzen

Die Messungen von Download-Datenraten und Latenzen erfolgte unabhängig von den EAs und konzentrierte sich auf das individuelle Erleben jedes Nutzers. Samples, die beispielsweise über WLANs oder bei aktiviertem Flugmodus erfasst wurden, filterte umlaut vor der Analyse aus.

Um den maximal möglichen Durchsatz zu überprüfen, führte umlaut mehrmals pro Monat aktive Messungen von Upload- und Download-Datenraten durch. Sie ermitteln die innerhalb von 3,5 Sekunden übertragene Datenmenge.

Für diese Werte betrachten wir die durchschnittliche Datenrate, den P10-Wert (90 Prozent der Messwerte schneller als – eine gute Annäherung an die typische Mindestgeschwindigkeit) und den P90 (ein Blick auf die Spitzenwerte).

Um zu berücksichtigen, dass viele Mobilfunktarife die Datenrate drosseln, definierte umlaut zudem drei verschiedene anwendungsbezogene Geschwindigkeitsklassen:

Für Basis-Internet müssen mindestens 2 Mbit/s erreicht werden, HD-Video setzt 5 Mbit/s voraus, UHD-Video 20 Mbit/s.

Analog wird auch die Latenz der Datenpakete einer anwendungsbezogenen Klasse zugeordnet: Roundtrip-Zeiten von bis zu 100 ms genügen für OTT-Sprachdienste, weniger als 50 ms qualifizieren ein Sample für Gaming und weniger als 20 ms für Highend Gaming.

Telefonie

Der Parameter HD-Telefonie zeigt den Anteil, zu dem Sprachverbindungen des Anwenders in Voice over LTE (VoLTE) oder Voice over WiFi (VoWiFi) aufgebaut wurden, und somit HD-Qualität unterstützen.

Stabilität

Auf Grundlage der Erfolgsraten der Download-, Upload- und Browsing-Tests sowie zusätzlicher Verbindungstests errechnet umlaut zudem prozentualen Anteil erfolgreicher Transaktionen.

Zuverlässigkeit

Die Zuverlässigkeitswertung ist keine eigene Kategorie, sondern eine zusätzliche Betrachtung der vorherigen Ergebnisse. Dazu unterteilt umlaut sämtliche Messwerte in Basis- bzw. Alltagsanforderungen („Qualifier KPis“) und auf Höchstleistungen bezogene Werte („Differentiator KPIs“). Die Darstellung der Zuverlässigkeit berücksichtigt ausschließlich die „Qualifier KPIs“ aus der Sprach- und Datenkategorie sowie die Basisergebnisse aus dem Crowdsourcing. So lässt sich herausarbeiten, wie gut das Netz Alltagsanforderungen erfüllt.

Fairness und Transparenz

So haben umlaut und connect sichergestellt, dass unser Mobilfunknetztest fair und transparent abläuft.

Um eine faire und transparente Durchführung und Bewertung unseres Netztests zu garantieren, haben sich bestimmte Abläufe bewährt. Dazu zählt, dass connect und umlaut die Netzbetreiber frühzeitig über die Rahmenbedingungen des Tests informieren.

In dem dazu kommunizierten „Framework“ werden unter anderem die für unsere Messungen genutzten Smartphones definiert, die bei den Messungen und Auswertungen berücksichtigten Parameter, das grundsätzliche Bewertungsschema sowie der Zeitplan in allen drei Ländern. Diese Rahmendaten legten connect und umlaut für 2025/2026 bereits im Frühjahr 2025 fest und informierten alle Netzbetreiber darüber.

Für Rückmeldungen und Anregungen sind wir offen, prüfen sie kritisch und müssen dann Vorschläge auch ablehnen. In der Vorbereitungs- und Durchführungsphase der Drive- und Walktests stehen wir ebenfalls in Austausch mit den Netzbetreibern, etwa über die zum Test einzusetzenden Firmware-Stände der Mess-Smartphones.

Zur Kommunikation mit den Netzbetreibern zählt aber auch der eindringliche Hinweis auf Fair-Play-Regeln. Bei der Testdurchführung und -auswertung analysiert umlaut die Messwerte darauf, ob Anzeichen von Manipulationsversuchen existieren. Diese können zur Disqualifizierung führen.

In diesem Jahr fielen im Zuge der regelmäßigen Qualitätskontrollen im Crowdsourcing bei zwei der neun am Test beteiligten Netzbetreiber eine relativ kleine Anzahl an Mess-Samples auf, die auf ein für normale Smartphone-User unerklärliches Nutzungsprofil schließen ließen.

Diese Daten von wenigen Teilnehmern hätten die Testergebnisse der beteiligten Netzbetreiber im Bereich einer sehr niedrigen einstelligen Punktzahl beeinflussen können, nicht jedoch das Ranking national oder im Ländervergleich.

Da wir aufgrund der Anonymität im Crowdsourcing die Herkunft und Intention der auffälligen Daten nicht kennen, entwickelten wir einen Algorithmus, der diese aus der Reihe fallenden Samples vor der Bewertung ausfilterte. Dieser Algorithmus wurde selbstverständlich auf alle Netzbetreiber angewandt.

Ansonsten galt wie jedes Jahr: Insbesondere die umfangreichen Datenverbindungen, die während der Drivetests und Walkttests aufgebaut werden müssen, machen es unvermeidbar, dafür SIM-Karten zu nutzen, die von den Netzbetreibern eigens zur Verfügung gestellt werden.

Andernfalls müssten die SIM-Karten wegen schnell erreichter Tarif- oder Fair-Use-Limits während der Tests ständig ausgetauscht werden. Die von den Anbietern leihweise zur Verfügung gestellten SIM-Karten sind exakt so provisioniert wie normale Karten, haben aber kein Datenlimit. Um auch auf diesem Gebiet möglichen Manipulationsversuchen vorzubeugen, vergleicht umlaut die über diese Leihkarten ermittelten Messergebnisse mit Stichproben, die mit regulär gekauften SIM-Karten erfasst werden. Abweichungen führen auch hier zu tiefergehenden Analysen und Gegenmaßnahmen.