IPTV-Anbieter im Test: So haben wir getestet

Die Gesamtwertung basiert auf Sprach-, Highspeed-Internet- und IPTV-Messungen in mehreren praxisnahen Szenarien.

Die Messungen für unseren IPTV-Test führte die zafaco GmbH mit Sitz in Ismaning zwischen dem 02.03.2020 und dem 29.03.2020 durch. In diesem Testzeitraum wurden 505 667 Messungen bewertet. Dazu nutzte zafaco Testanschlüsse in insgesamt 52 Städten – wobei nicht in jeder Stadt jeder Provider oder jede Anschlusstechnik verfügbar ist.

Damit unaufschiebbare Wartungen durchgeführt werden können, ohne damit die Testergebnisse zu beeinträchtigen, wurde ein tägliches Wartungsfenster morgens zwischen 1.00 Uhr und 7.00 Uhr berücksichtigt – in diesem Zeitraum erfasste Messwerte wurden vor der Bewertung ausgefiltert.

Die Testsysteme steuerten die für die IPTV-Angebote gelieferten Set-Top-Boxen fern und erfassten deren Start-, Reaktions- und Umschaltzeiten. Zur Bewertung der Bild- und Tonqualität der per IPTV empfangenen TV-Bilder analysierte zafaco die ankommenden Videodatenströme. 

Genutzt wurde dabei zum einen ein Qualitätsmessverfahren, das die Forschungsgruppe Datennetze der Technischen Hochschule Köln gemeinsam mit zafaco entwickelt hat. Es bewertet sowohl die objektive als auch die subjektive (also von einem menschlichen Zuschauer empfundene) Bild- und Tonqualität auf Basis von Netzparametern (Delay, Jitter, Packet Loss und andere), Quality of Service (QoS) sowie durch Analyse des Video-Codec-Layers mit „Deep Packet Inspection“. 

Auch Error-Correction-Mechanismen nach RFC 5109 fließen in die Bewertung ein. Zum anderen fand bei Anbietern mit Adaptive Streaming – den Zattoo-basierten Diensten – die Qualitätsanalyse nach dem Verfahren Perceptual Evaluation of Streaming Video Quality (PEVQ-S) der Firma Opticom statt (siehe unten). Die in den Messungen berücksichtigten Szenarien sind dabei an die alltägliche Nutzung angelehnt. 

Die reine IPTV-Leistung ohne gleichzeitigen Abruf weiterer Dienste bildet das Szenario „IPTV ohne Last“ ab. Ein weiteres Szenario geht von der Annahme aus, dass zeitgleich noch telefoniert und/oder gesurft wird. Diese Messungen wurden deshalb bei gleichzeitigen Downloads, Uploads und IP-Telefonaten („mit Last“) vorgenommen. Dabei erfolgt die Bewertung der Ende-zu-Ende-Sprachqualität nach dem ITU-T-Standard P.863 (POLQA – Perceptual Objective Listening Quality Analysis).

Die Internet-Verbindungsqualität wird durch standardisierte Up- und Download-Messungen (ETSI EG 202 057 – Part 4 und TS 103 222) bestimmt, die zu Messservern bei den Anbietern erfolgen. In einem dritten Szenario werden gleichzeitig zwei IPTV-Streams empfangen.

Dazu kommt es etwa beim Ansehen eines TV-Programms und gleichzeitiger Aufnahme eines zweiten Programms im Hintergrund oder bei paralleler Nutzung von zwei IPTV-Empfangsboxen an zwei Fernsehern. Zum Testkatalog zählt außerdem „erweitertes Zapping“: Fast-Zapping, Number-Zapping (Aufruf eines TV-Senders durch direkte Kanaleingabe) und EPG-Zapping (Programmwahl über den EPG der Set-Top-Box).

PEVQ-S für H.265

Für diesen IPTV-Test erweiterte zafaco sein Test-System um Analysen von H.265-codierten Videostreams.

Das von connect und zafaco auch beim vorliegenden IPTV-Test eingesetzte Messverfahren PEVQ-S (Perceptual Evaluation of Streaming Video Quality) erlaubt die Bewertung der Videoqualität auf einer 5-Punkte-Skala unter Berücksichtigung der subjektiven menschlichen Wahrnehmung.

Der von der Erlanger Opticom GmbH entwickelte Algorithmus ist dabei skalierbar, je nachdem welche Detailinformationen beim jeweiligen Streaming-Service zur Analyse herangezogen werden können. Im aufwendigsten, aber auch genauesten Modus wird der gesamte dekodierte Bildinhalt mit den Bildpunkten des Originalvideos verglichen.

Häufig jedoch verwenden IPTV-Dienste verschlüsselte Übertragungsverfahren, sodass das vom Player wiedergegebene Bildsignal für die Analyse nicht zur Verfügung steht. In diesem Fall basiert die PEVQ-S-Messung auf Informationen, die der Player zur Wiedergabe benötigt, wie etwa Bildauflösung, verwendetem Videocodec und Bitrate.

Außerdem lässt sich das Abspielverhalten des Players messen – zum Beispiel, wie häufig und wie lange dieser Daten aus dem Netz nachladen muss und ob es dabei zu eingefrorenen Bildern kommt. Auf diese Weise lässt sich die Bildqualität auch ohne Pixelanalyse allein durch Auslesen aller Parameter aus dem Bitstrom recht genau ermitteln. Voraussetzung für solch einen Algorithmus– auch „parameterbasiertes“oder „Bitstrom“-Messverfahren genannt – ist aber, dass er auf die verwendeten Codecs abgeglichen ist.

Da Vodafone in seinem GigaTV Net den neuen Videocodec H.265 (HEVC) verwendet, musste zafaco sein Test-System auf die neueste PEVQ-S-Version umstellen. Sie unterstützt als Neuerung neben H.265 auch das etwa von Youtube eingesetzte Videoformat VP9 sowie Auflösungen bis UHD/4K. „PEVQ-S 2020“ wurde jüngst im Rahmen der aktuellen internationalen Standardisierung von Experten unabhängig validiert und konnte sich unter acht Verfahren als aussichtsreichster Kandidat für den neuen ITU-T-Standard P.1204 qualifizieren.