Mobilfunk-Netztest 2018

Netztest 2018: Ausblick - Crowdsourcing zur Netzstabilität

28.11.2017 von Hannes Rügheimer

Die Methodik unseres Netztests entwickeln wir kontinuierlich weiter, um der technischen Entwicklung Rechnung zu tragen. Ein weiterer wichtiger Schritt in diese Richtung wird eine Crowdsourcing-Erhebung zur Netzstabilität sein.

ca. 4:40 Min
Ratgeber
VG Wort Pixel
Shutterstock-Teaserbild-502007980
Netztest 2018: Unser Ausblick zeigt, wie wir mit Crowdsourcing zukünftig unser Testprogramm erweitern wollen.
© hurricanehank / Shutterstock

Neben den Leistungs- und Qualitätsparametern, die wir mit unseren Drive- und Walktests erfassen und auf deren Basis wir die Netze beurteilen, spielt auch die Netzverfügbarkeit eine wesentliche Rolle. Denn auch das leistungsstärkste Netz nutzt seinen Kunden nur wenig, wenn es häufig nicht erreichbar oder durch Störungen beeinträchtigt wird. Um auch diesem Aspekt Rechnung zu tragen, hat P3 als zusätzliche Komponente seiner Netztests eine Bewertung der Netzverfügbarkeit entwickelt. Diese Analysen basieren auf der Erfassung von Daten per Crowdsourcing. 

Damit wollen wir unsere anspruchsvollen Drive- und Walktests selbstverständlich nicht ersetzen, sondern vielmehr ergänzen. Während die bewährte Erfassung von Messwerten in einer definierten und kontrollierten Umgebung stattfindet, können wir durch Crowdsourcing längere Zeiträume und größere Gebiete berücksichtigen. So erhalten wir zusätzliche Einblicke in die Zuverlässigkeit der getesteten Mobilfunknetze. 

Zu diesem Zweck hat P3 ein App-gestütztes Crowdsourcing-Verfahren entwickelt. Da verschiedene populäre Apps die benötigten Informationen im Hintergrund sammeln, können wir die von den Nutzern real erlebte Netzstabilität erfassen – und zwar von einer großen Anzahl geografisch verteilter Nutzer über einen längeren Zeitraum. Details zur Methodik lesen Sie unten.

Crowdsourcing 2017/18 noch kein Bestandteil der Gesamtwertung 

Das Ziel ist dabei ganz klar, diesen „Crowd Score“ in der Gesamtwertung unserer Netztests mit zu berücksichtigen. Zu Qualität und Leistung von Sprach- und Datenverbindungen kommt dann als weiteres Kriterium die Netzstabilität hinzu. An die Belastbarkeit der Ergebnisse des Crowdsourcing stellen wir allerdings ebenso hohe Anforderungen wie an die anderen Bestandteile unseres Netztests. 

Dies gilt nicht zuletzt auch für die statistische Relevanz unserer Beobachtungen. Und obwohl wir die nötigen Voraussetzungen seit einiger Zeit aufbauen, erreichten insbesondere die Teilnehmerzahlen in der Schweiz noch nicht die von uns geforderten Schwellwerte. In den Netztests, die wir 2017 für Spanien und UK durchgeführt haben (siehe www.connect-testlab.com), ist der Crowd-Score hingegen schon Teil der Gesamtwertung. Andererseits wollten wir Ihnen die Ergebnisse der ersten Beobachtungsmonate (August, September und Oktober 2017) auch nicht vorenthalten. Deshalb haben wir die Crowdsourcing-Ergebnisse gemäß des unten beschriebenen Bewertungsschemas ermittelt, berücksichtigen sie im diesjährigen Netztest für Deutschland, Österreich und die Schweiz jedoch noch nicht in der Gesamtwertung. Wir gehen aber davon aus, dass dies ab dem kommenden Jahr der Fall sein wird. 

Crowdsourcing-Score Deutschland
Der Crowdsourcing-Score für Deutschland.
© connect

Stabil in allen drei Ländern 

Da wir pro getestetem Monat zehn erreichbare Punkte vorsehen, konnte jeder Kandidat bei dieser Betrachtung maximal 30 Punkte erzielen. Der Crowd Score zeigt, in welchen Monaten es relevante Netzausfälle gab.In Deutschland traf dies im Beobachtungszeitraum nur für Vodafone zu. Dort ermittelten wir am Morgen des 5. Oktober einen Ausfall innerhalb eines Drei-Stunden-Zeitraums, was zu einem Abzug von 1,3 Punkten in diesem Monat führt. Im August und September verzeichneten wir bei Vodafone keine Störungen, bei Telekom und O2 gilt dies für die gesamten drei Monate. Ähnlich in Österreich: Hier war T-Mobile am Morgen des 18. August von einem bis zu zweistündigen Ausfall betroffen. 

Gemäß Bewertungsschema führt dies zum Abzug von 1,2 Punkten. In der Schweiz traf es Swisscom: Hier registrierten wir einen Netzausfall in einem Zwei-Stunden-Intervall am 13. Oktober um 6 Uhr morgens. Auch er kostet 1,2 Punkte. Da die Kandidaten eng beieinanderliegen, hätte die Einbeziehung des Crowd-Scores in Deutschland und Österreich an der Rangfolge nichts geändert. Beim engen Rennen in der Schweiz hätten fehlende 1,2 Punkte für Swisscom unerfreuliche Folgen haben können – doch wie gesagt erfüllt dieses Ergebnis nicht die von uns geforderte statistische Relevanz.

Crowdsourcing-Score Österreich
Der Crowdsourcing-Score für Österreich.
© connect

Methodik

Auch wenn die Crowdsourcing-Erkenntnisse in diesem Jahr noch nicht zum Gesamtergebnis des connect-Netztests zählen, ist die dahinterliegende ausgeklügelte Methodik bereits exakt definiert und einsatzbereit.

Um die Datenbasis für unsere Analyse der Netzstabilität zu erhalten, registrieren mehrere populäre Apps im Hintergrund, ob Kontakt zum Netz besteht. Diese Informationen werden immer dann gesammelt, wenn die App tatsächlich genutzt wird. So entsteht ein Netzverfügbarkeits-Protokoll im Stundenraster, das einmal täglich an den P3-Server übertragen wird. Diese Reports sind vollständig anonymisiert und umfassen zudem nur wenige Bytes, sodass sie das Datenvolumen des Nutzers kaum belasten.

Leser, die uns bei unseren Netztests aktiv unterstützen möchten, können dies am besten durch Installation und Nutzung der connect-App (für Android- und iOS-Smartphones) tun. Sie ist aber nur eine von mehreren Apps, die über die beschriebene Hintergrund-Funktionalität verfügen. Eine Herausforderung besteht darin, normale Verbindungsverluste (etwa durch Aufenthalt in Aufzügen, Tiefgaragen oder Innenräumen mit schlechtem Empfang) von tatsächlichen Ausfällen im Netz zu unterscheiden. 

Crowdsourcing-Score Schweiz
Der Crowdsourcing-Score der Schweiz.
© connect

Dazu haben wir zunächst definiert, was wir unter einem „Netzausfall“ genau verstehen: Dabei handelt es sich um Fälle, in denen die Anzahl von Netzverlust-Meldungen signifikant über einem vorher festgelegten Erwartungswert liegt. Für die Entscheidung, ob eine bestimmte Stunde dieses Filterkriterium erfüllt, berücksichtigt der Algorithmus die letzten 168 Stunden vor dem fraglichen Ereignis. Diese Zeitspanne ist so gewählt, dass sich längere Aufenthalte in Umgebungen mit schlechten Empfangsverhältnissen von tatsächlichen Netzausfällen unterscheiden lassen.

Vorfälle, die in den Nachtstunden zwischen 0 und 6 Uhr morgens auftreten, werden nicht berücksichtigt. Überdies gilt es, die statistische Relevanz der beobachteten Ausfälle zu gewährleisten. Dazu wurde für jedes Land und jeden Netzbetreiber eine Mindestanzahl an Beobachtungen pro Stunde festgelegt. Die genaue Zahl hängt von der Gesamtanzahl an Mobilfunkkunden und der Anzahl der Netzbetreiber im jeweiligen Land ab. Damit ein Beobachtungsmonat als statistisch valide gilt, müssen wiederum mindestens 90 Prozent der Beobachtungsstunden die gerade beschriebenen Kriterien erfüllen. 

Mehr lesen

connect Mobilfunk-Netztest 2018

Mobilfunk-Netztest 2018

Wer hat das beste Handy-Netz?

Welcher Mobilfunkanbieter in Deutschland, Österreich und der Schweiz hat das beste Netz? Lesen Sie alle Infos zum connect-Netztest 2018.

Ausgeklügeltes Bewertungsschema 

Die eigentliche Bewertung (der „Crowd Score“) errechnet sich dann aus der Anzahl der Tage, an denen Ausfälle aufgetreten sind, sowie der Gesamtzahl der davon betroffenen Stunden. In dem für die künftige Bepunktung vorgesehenen Bewertungsschema hängen 60 Prozent der in dieser Disziplin erzielbaren Punkte von der Anzahl der Tage ab, an denen Netzausfälle erkannt wurden. Dieser Wert repräsentiert die längerfristige Netzverfügbarkeit.

Die restlichen 40 Prozent werden nach der Anzahl der Stunden bestimmt, in denen ein Ausfall vorlag. Jeder in die Bewertung einbezogene Monat kann insgesamt zehn Punkte erreichen. Von den für die Tage vorgesehenen maximal sechs Punkten (60 Prozent) wird pro Tag mit einem Ausfall je ein Punkt abgezogen. Von den verbleibenden vier Punkten, beziehungsweise 40 Prozent, ziehen wir pro Stunde, die von einem Netzausfall betroffen war, 0,1 Punkte ab. Zwei Stunden kosten also 0,2 Punkte, drei Stunden 0,3 Punkte und so weiter.


Mehr lesen

Bestenliste

Top 10: Die besten Android-Smartphones 2020

Top 10 Smartphones - Bestenliste

Die besten Smartphones bis 300 Euro

Bestenliste

Top 10 - Die zehn besten Tablets im Test

Weiter zur Startseite  

Mehr zum Thema

connect Mobilfunk-Netztest 2018 Schwei

Mobilfunk-Netztest 2018

Die Handy-Netze der Schweiz im Vergleich

Welcher Mobilfunkanbieter der Schweiz hat das beste Netz? Der Kampf um den besten Anbieter ist sehr knapp. Gibt es wieder einen Wechsel an der Spitze?

connect Mobilfunknetztest 2019

Mobilfunk-Netztest 2019

Wer hat das beste Handy-Netz?

Welcher Mobilfunkanbieter in Deutschland und Österreich hat das beste Netz? Lesen Sie alle Infos zum connect-Netztest 2019.

connect Mobilfunknetztest 2019 Österreich

Mobilfunk-Netztest 2019

Die Handy-Netze in Österreich im Vergleich

Die Anbieter in Österreich liefern sich im Mobilfunk-Netztest 2019 ein Kopf-an-Kopf-Rennen. Auf hohem Niveau kommt es zu einem Wechsel an der Spitze.

Die Handy-Netze in Österreich im Vergleich 2020

Mobilfunk-Netztest 2020

Die Handy-Netze in Österreich im Vergleich

In der Alpenrepublik findet der Wettstreit der Anbieter auf sehr hohem Niveau statt. Das gilt auch dieses Jahr – dabei konnten sich alle drei…

Die Handy-Netze der Schweiz im Vergleich 2020

Mobifunk-Netztest 2020

Die Handy-Netze der Schweiz im Vergleich

Im Land der Eidgenossen wird die Luft an der Spitze traditionell besonders dünn. Wer schafft es also diesmal aufs eidgenössische Siegertreppchen? Das…