Über Testchart, Gewichtung, Messwerte und mehr

camera quality benchmark: So testen wir Smartphone-Kameras

Für unsere Smartphone-Kamera-Tests führen wir den camera quality benchmark ein. Was wir dabei im Labor messen und wie gewichten, erklären wir hier.

Inhalt
  1. camera quality benchmark: So testen wir Smartphone-Kameras
  2. Smartphone-Kamera: Das bedeuten die Messwerte

© connect

Unser quality benchmark testet die Kameras aktueller Smartphones.

Mit dem camera quality benchmark testen wir Smartphones wie professionelle Systemkameras. Kernelement des camera qb ist ein neues Testchart mit optimierten Siemenssternen und einer besseren Anordnung der Testfelder.

Das neue Testverfahren war von Anfang an als gemeinsames Projekt des verlagseigenen Testlab und den Magazinen ColorFoto und connect geplant. Denn die rasante technische Entwicklung, die dem Smartphone innerhalb weniger Jahren eine Objektiv-Phalanx bis hin zum quer im Gehäuse positionierten Periskopzoom beschert hat, schraubt die Anforderungen an die Messtechnik hoch: Statt einer Brennweite sind mehrere Brennweiten mit unterschiedlichen Bildausschnitten zu erfassen – nicht unter einem, sondern unter verschiedenen Lichtverhältnissen.

Die Idee hinter dem quality benchmark war es, die gewachsenen Kamerafähigkeiten der Smartphones mit jenen Verfahren zu testen, die ColorFoto auch für professionelle Systemkameras anwendet, und damit die Fotoqualität mit einer bisher nicht gekannten Präzision zu erfassen und zu bewerten. Wir wollen dem Leser und der Industrie die Möglichkeit geben, Produkte herstellerübergreifend anhand objektiver Testkriterien zu vergleichen.

camera quality benchmark: So testen wir Smartphone-Kameras

Quelle: connect
Im Video erläutern Bernd Theiss (Leiter Testlab) und Werner Lüttgens (Chefredakteur ColorFoto), was es mit dem neuen Foto-Benchmark auf sich hat und wie wir die Kameraqualität von Smartphones anhand wissenschaftlicher Messungen mit unserem qb Score bewerten.

Auf die vielen Entwicklungsschritte von der Wahl der richtigen Beleuchtungstechnik bis hin zur Modifikation der Auswertungssoftware und dem Entwickeln eines Benotungsschemas möchten wir hier nicht eingehen, sondern uns auf das neue Testchart konzentrieren. Davon ausgehend lassen sich die Grundlagen des Testverfahrens gut vermitteln.

qb Score: Das neue Testchart

Das neue Chart unterscheidet sich von dem alten in zwei wesentlichen Punkten:

  • Wir bestimmen nun auch in der Bildmitte die Auflösung mit einem hochkontrastigen und einem niedrigkontrastigen Siemensstern.
  • Die Testfelder für die Dead-Leaves-Felder sind weiter in die Mitte gerückt.

Dies ist gerade bei Smartphone-Kameras wichtig, da deren Objektive teilweise einen deutlichen Randabfall zeigen. Den Randabfall bestimmen wir natürlich. Aber dafür nutzen wir die Siemenssterne im Bildfeld und die in den Ecken. Auf die Dead-Leaves-Messung sollte der Randabfall keinen Einfluss haben.

© Testlab, Image Engineering

Unser Testchart kombiniert unterschiedlichste Testfelder für die umfassende Be­stimmung der Bildqualität. Das abgebildete Testchart stammt von Image Engineering.

Das neue Testchart ermöglicht an 20 Stellen im Bild mit sechs unterschiedlichsten Strukturen Aussagen über Auflösung und Feinzeichnung. Darüber hinaus bestimmen wir auf diesem Testchart das Rauschen, die Farbwiedergabe, Vignettierung und Verzeichnung.

Neben der Hauptkamera (in der Regel ein moderates Weitwinkel) berücksichtigen wir auch das Ultraweitwinkel und die Zoomfähigkeiten. Ausgehend von der Überlegung, dass fast jeder Nutzer mit seinem Smartphone zoomt, auch wenn keine Zoomoptik vorhanden ist, haben wir uns entschieden, immer ein Zweifachzoom zu messen. Baut der Hersteller kein entsprechendes Objektiv ein, basiert der Messwert auf der Hauptoptik, digital gezoomt.

Eine Telebrennweite, die darüber hinaus geht, erfassen wir separat und geben das Ergebnis als lange Telebrennweite aus.

qb Score: Die Gewichtung

Der qb Score wird aus diesen vier Brennweiten mit folgender Gewichtung gebildet: Ultraweitwinkel (10 Prozent), Weitwinkel (30 Prozent), Zweifachzoom (30 Prozent), lange Telebrennweite (30 Prozent). Beim iPhone 11 Pro erfassen wir also das Ultraweitwinkel, das Weitwinkel und das Zweifachzoom (optisch); beim Huawei P40 Pro erfassen wir das Ultraweitwinkel, das Weitwinkel, das Zweifachzoom (digital) und das Fünfachzoom als lange Telebrennweite.

Der Verzicht auf eine lange Telebrennweite führt also beim iPhone zu einem Punkteverlust. Das ist so gewollt und spiegelt den aktuellen Stand der Entwicklung im Smartphone-Bereich wieder.

camera quality benchmark

Wer auf beste Bildqualität setzt, ist mit den besten Smartphone-Kameras im neuen camera quality benchmark (qb Score) auf der sicheren Seite.

Es erfolgen also Messungen bei bis zu vier unterschiedlichen Brennweiten, dabei wird jede Brennweite bei drei Helligkeiten gemessen: 5.000, 200 und 5 Lux. Beim Weitwinkel kommen unter Umständen weitere Fotos hinzu, denn hier erfassen wir neben der Standardauflösung auch die maximale Auflösung.

Mit einem Galaxy S20 Ultra werden also Fotos mit 12 Megapixeln und Fotos mit 108 Megapixeln bei unterschiedlichen Helligkeiten gemacht. In der Summe werden bis zu 450.000 Datenfelder erfasst und ausgewertet.

Weiterlesen: Welche Daten erheben wir mit unserem Messverfahren? Eine ausführliche Erklärung liefert die nächste Seite.

Mehr zum Thema

Kulthandy

Das neue iPhone 4S ist in wenigen Tagen erhältlich. Neben dem schnellen A5-Prozessor mit zwei Kernen gehört die Kamera zu den zentralen…
Bildergalerie

Samsung hat einen Profi-Fotografen mit dem Galaxy S8 auf Foto-Tour geschickt. Seine Bilder zeigen Qualität und Potenzial der neuen Kamera.
camera quality benchmark

Wer auf beste Bildqualität setzt, ist mit den besten Smartphone-Kameras im neuen camera quality benchmark (qb Score) auf der sicheren Seite.
camera quality benchmark

Wie gut ist die Kamera des Oppo Find X2 Neo? Im camera quality benchmark muss das Premium-Smartphone im Testlabor Federn lassen.
camera quality benchmark

Wie gut ist die Kamera des Galaxy S20+? Für den neuen camera quality benchmark stellt sich das Samsung-Smartphone noch einmal dem Testlabor.