Netztest 2018: Ausblick - Crowdsourcing zur Netzstabilität
Die Methodik unseres Netztests entwickeln wir kontinuierlich weiter, um der technischen Entwicklung Rechnung zu tragen. Ein weiterer wichtiger Schritt in diese Richtung wird eine Crowdsourcing-Erhebung zur Netzstabilität sein.
Neben den Leistungs- und Qualitätsparametern, die wir mit unseren Drive- und Walktests erfassen und auf deren Basis wir die Netze beurteilen, spielt auch die Netzverfügbarkeit eine wesentliche Rolle. Denn auch das leistungsstärkste Netz nutzt seinen Kunden nur wenig, wenn es häufig nicht erreich...
Neben den Leistungs- und Qualitätsparametern, die wir mit unseren Drive- und Walktests erfassen und auf deren Basis wir die Netze beurteilen, spielt auch die Netzverfügbarkeit eine wesentliche Rolle. Denn auch das leistungsstärkste Netz nutzt seinen Kunden nur wenig, wenn es häufig nicht erreichbar oder durch Störungen beeinträchtigt wird. Um auch diesem Aspekt Rechnung zu tragen, hat P3 als zusätzliche Komponente seiner Netztests eine Bewertung der Netzverfügbarkeit entwickelt. Diese Analysen basieren auf der Erfassung von Daten per Crowdsourcing.
Damit wollen wir unsere anspruchsvollen Drive- und Walktests selbstverständlich nicht ersetzen, sondern vielmehr ergänzen. Während die bewährte Erfassung von Messwerten in einer definierten und kontrollierten Umgebung stattfindet, können wir durch Crowdsourcing längere Zeiträume und größere Gebiete berücksichtigen. So erhalten wir zusätzliche Einblicke in die Zuverlässigkeit der getesteten Mobilfunknetze.
Zu diesem Zweck hat P3 ein App-gestütztes Crowdsourcing-Verfahren entwickelt. Da verschiedene populäre Apps die benötigten Informationen im Hintergrund sammeln, können wir die von den Nutzern real erlebte Netzstabilität erfassen – und zwar von einer großen Anzahl geografisch verteilter Nutzer über einen längeren Zeitraum. Details zur Methodik lesen Sie unten.
Crowdsourcing 2017/18 noch kein Bestandteil der Gesamtwertung
Das Ziel ist dabei ganz klar, diesen „Crowd Score“ in der Gesamtwertung unserer Netztests mit zu berücksichtigen. Zu Qualität und Leistung von Sprach- und Datenverbindungen kommt dann als weiteres Kriterium die Netzstabilität hinzu. An die Belastbarkeit der Ergebnisse des Crowdsourcing stellen wir allerdings ebenso hohe Anforderungen wie an die anderen Bestandteile unseres Netztests.
Dies gilt nicht zuletzt auch für die statistische Relevanz unserer Beobachtungen. Und obwohl wir die nötigen Voraussetzungen seit einiger Zeit aufbauen, erreichten insbesondere die Teilnehmerzahlen in der Schweiz noch nicht die von uns geforderten Schwellwerte. In den Netztests, die wir 2017 für Spanien und UK durchgeführt haben (siehe www.connect-testlab.com), ist der Crowd-Score hingegen schon Teil der Gesamtwertung. Andererseits wollten wir Ihnen die Ergebnisse der ersten Beobachtungsmonate (August, September und Oktober 2017) auch nicht vorenthalten. Deshalb haben wir die Crowdsourcing-Ergebnisse gemäß des unten beschriebenen Bewertungsschemas ermittelt, berücksichtigen sie im diesjährigen Netztest für Deutschland, Österreich und die Schweiz jedoch noch nicht in der Gesamtwertung. Wir gehen aber davon aus, dass dies ab dem kommenden Jahr der Fall sein wird.
Stabil in allen drei Ländern
Da wir pro getestetem Monat zehn erreichbare Punkte vorsehen, konnte jeder Kandidat bei dieser Betrachtung maximal 30 Punkte erzielen. Der Crowd Score zeigt, in welchen Monaten es relevante Netzausfälle gab.In Deutschland traf dies im Beobachtungszeitraum nur für Vodafone zu. Dort ermittelten wir am Morgen des 5. Oktober einen Ausfall innerhalb eines Drei-Stunden-Zeitraums, was zu einem Abzug von 1,3 Punkten in diesem Monat führt. Im August und September verzeichneten wir bei Vodafone keine Störungen, bei Telekom und O2 gilt dies für die gesamten drei Monate. Ähnlich in Österreich: Hier war T-Mobile am Morgen des 18. August von einem bis zu zweistündigen Ausfall betroffen.
Gemäß Bewertungsschema führt dies zum Abzug von 1,2 Punkten. In der Schweiz traf es Swisscom: Hier registrierten wir einen Netzausfall in einem Zwei-Stunden-Intervall am 13. Oktober um 6 Uhr morgens. Auch er kostet 1,2 Punkte. Da die Kandidaten eng beieinanderliegen, hätte die Einbeziehung des Crowd-Scores in Deutschland und Österreich an der Rangfolge nichts geändert. Beim engen Rennen in der Schweiz hätten fehlende 1,2 Punkte für Swisscom unerfreuliche Folgen haben können – doch wie gesagt erfüllt dieses Ergebnis nicht die von uns geforderte statistische Relevanz.
Methodik
Auch wenn die Crowdsourcing-Erkenntnisse in diesem Jahr noch nicht zum Gesamtergebnis des connect-Netztests zählen, ist die dahinterliegende ausgeklügelte Methodik bereits exakt definiert und einsatzbereit.
Um die Datenbasis für unsere Analyse der Netzstabilität zu erhalten, registrieren mehrere populäre Apps im Hintergrund, ob Kontakt zum Netz besteht. Diese Informationen werden immer dann gesammelt, wenn die App tatsächlich genutzt wird. So entsteht ein Netzverfügbarkeits-Protokoll im Stundenraster, das einmal täglich an den P3-Server übertragen wird. Diese Reports sind vollständig anonymisiert und umfassen zudem nur wenige Bytes, sodass sie das Datenvolumen des Nutzers kaum belasten.
Leser, die uns bei unseren Netztests aktiv unterstützen möchten, können dies am besten durch Installation und Nutzung der connect-App (für Android- und iOS-Smartphones) tun. Sie ist aber nur eine von mehreren Apps, die über die beschriebene Hintergrund-Funktionalität verfügen. Eine Herausforderung besteht darin, normale Verbindungsverluste (etwa durch Aufenthalt in Aufzügen, Tiefgaragen oder Innenräumen mit schlechtem Empfang) von tatsächlichen Ausfällen im Netz zu unterscheiden.
Dazu haben wir zunächst definiert, was wir unter einem „Netzausfall“ genau verstehen: Dabei handelt es sich um Fälle, in denen die Anzahl von Netzverlust-Meldungen signifikant über einem vorher festgelegten Erwartungswert liegt. Für die Entscheidung, ob eine bestimmte Stunde dieses Filterkriterium erfüllt, berücksichtigt der Algorithmus die letzten 168 Stunden vor dem fraglichen Ereignis. Diese Zeitspanne ist so gewählt, dass sich längere Aufenthalte in Umgebungen mit schlechten Empfangsverhältnissen von tatsächlichen Netzausfällen unterscheiden lassen.
Vorfälle, die in den Nachtstunden zwischen 0 und 6 Uhr morgens auftreten, werden nicht berücksichtigt. Überdies gilt es, die statistische Relevanz der beobachteten Ausfälle zu gewährleisten. Dazu wurde für jedes Land und jeden Netzbetreiber eine Mindestanzahl an Beobachtungen pro Stunde festgelegt. Die genaue Zahl hängt von der Gesamtanzahl an Mobilfunkkunden und der Anzahl der Netzbetreiber im jeweiligen Land ab. Damit ein Beobachtungsmonat als statistisch valide gilt, müssen wiederum mindestens 90 Prozent der Beobachtungsstunden die gerade beschriebenen Kriterien erfüllen.
Ausgeklügeltes Bewertungsschema
Die eigentliche Bewertung (der „Crowd Score“) errechnet sich dann aus der Anzahl der Tage, an denen Ausfälle aufgetreten sind, sowie der Gesamtzahl der davon betroffenen Stunden. In dem für die künftige Bepunktung vorgesehenen Bewertungsschema hängen 60 Prozent der in dieser Disziplin erzielbaren Punkte von der Anzahl der Tage ab, an denen Netzausfälle erkannt wurden. Dieser Wert repräsentiert die längerfristige Netzverfügbarkeit.
Die restlichen 40 Prozent werden nach der Anzahl der Stunden bestimmt, in denen ein Ausfall vorlag. Jeder in die Bewertung einbezogene Monat kann insgesamt zehn Punkte erreichen. Von den für die Tage vorgesehenen maximal sechs Punkten (60 Prozent) wird pro Tag mit einem Ausfall je ein Punkt abgezogen. Von den verbleibenden vier Punkten, beziehungsweise 40 Prozent, ziehen wir pro Stunde, die von einem Netzausfall betroffen war, 0,1 Punkte ab. Zwei Stunden kosten also 0,2 Punkte, drei Stunden 0,3 Punkte und so weiter.
