Was ist ein AR Target und wie wähle ich es aus?

Vor sehr langer Zeit als die Augmentierte Realität (AR) noch nicht weltbekannt war (also lange vor Pokémon GO), im Sommer 2013 bestand bei uns eine Hassliebe zu einem Ding, das im Allgemeinen als Tracking Target bezeichnet wird. Da wir aber im Grunde gerne lieben und nicht hassen, haben wir uns später in jenem Jahr zusammen mit der TU-Graz dem Thema angenommen und ein Tool zur lokalen Verbesserung von Tracking Targets entwickelt [1]. Was ein Tracking Target ist, warum wir es verbessern muss und vor allem warum das selbst heute noch mehr als relevant ist will ich euch in unserem heutigen Blog berichten.

targetimprovement

Seit den ersten AR Applikationen hat sich die innovative Technologie schnell in die verschiedensten Richtungen entwickelt. Das hat zum einen mit der weiten Verbreitung von Smartphones und zum anderen mit der Kommerzialisierung der Technologie zu tun. Kaum einer der Big Player wie Google, Facebook, Microsoft, Apple usw. forscht und entwickelt nicht an AR. Im Wesentlichen geht es bei jeder Art von Augmented Reality aber immer darum, digitale Inhalte in die physikalische Welt zu setzen. Damit das für den Betrachter richtig aussieht, ist es wichtig, dass die Position der virtuellen Kamera zum Darstellen der digitalen Inhalte immer zur aktuellen Position des Betrachters passt – oder anders gesagt, dass der Inhalt aus der richtigen Perspektive gezeigt wird. Je genauer diese Positionen überein stimmen desto besser das AR-Erlebnis.

Um die Postion der virtuellen Kamera zu finden, wurden früher schachbrettähnliche Muster verwendet. Diese Muster oder auch Tracking Targets sind der AR Applikation bekannt. Wird das Tracking Target gefilmt, erkennt das die AR Applikation und über die Position des Targets in der Aufnahme kann die Position der digitalen Kamera bestimmt und beliebiger digitaler Inhalt auf dem Target dargestellt werden. Wie man sich leicht vorstellen kann, sieht das nun alles andere als gut aus. Unsere ersten CodeFlügel Visitenkarten waren mit einem solchen schwarz-weiß Muster bedruckt, um unseren Kunden eine kleine AR Präsentation mitgeben zu können – aber so richtig zufrieden waren wir damit nicht.

old tracking targets

Beispiele für künstliche Tracking Targets wie sie zu Beginn des AR-Zeitalters verwendet wurden.

Genau diesem Problem hat sich nach kurzer Zeit auch die AR Forschung gewidmet und AR basierend auf Natural-Feature Tracking Targets entwickelt. Das klingt jetzt vielleicht kompliziert, aber ein Natural-Feature basierendes Tracking Traget ist im Grunde nur Fachjargon für ein Foto. Nach heutigem Stand der Technik können wir also ein Bild nehmen und es in unsere AR Applikation integrieren. Sieht unsere AR Applikation das Bild, kann sie daraus die Kameraposition der virtuellen Kamera ableiten und digitale Inhalte auf das Bild rendern. Auf unsere neuen Visitenkarten können wir also ruhig unser Logo drucken. Wird das Logo gefilmt, taucht im Video zum Beispiel ein gut gelaunter Geschäftsführer auf und präsentiert unsere Firma.

Es ist heute also üblich, Bilder als Tracking Targets für mobile AR Applikationen zu verwenden. Und genau hier gab es immer wieder Reibungspunkte mit unseren Kunden, denn aus Sicht der AR Entwickler ist Bild nicht gleich Bild. Das Bild dient als Grundlage zur Kamerapositionsbestimmung, und mit der Genauigkeit dieser Bestimmung steht und fällt das AR-Erlebnis. Wie der Name Natural-Feature Tracking schon vermuten lässt, werden im Bild natürlich vorkommende Merkmale für diese Bestimmung heran gezogen. Das sind im wesentlichen markante Bildpunkte, Ecken, Kanten und Kontraste. Runde Formen sind komplett ungeeignet, da sie keine oder nur extrem wenige natürliche Featurepunkte besitzen.

circlesandsquares1

Kreise haben im Vergleich zu Rechtecken keine eigenen natürlichen Featurepunkte.

Solche Featurepunkte sollen zur Genüge vorhanden sein, möglichst gut über das ganze Bild verteilt sein und so verschieden wie möglich aussehen. Als Daumenregel gilt: Fotos sind meist besser geeignet als künstlich erstellte Bilder, große einfarbige Flächen und Fliesenmuster sind problematisch.

logos als target

Links das Original, rechts ein für AR Anwendungen optimiertes Logo. In blau Natural-Features die vom AR-Framework erkannt werden.

Wie man im Beispiel oben sehen kann, sind die meisten minimalisierten Firmenlogos leider auch ungeeignet. Durch die Musterüberlagerung rechts ist die Anzahl der Features gestiegen und besser verteilt, wodurch sich das Bild besser als Tracking Target eignet. Speziell bei Logos ist aber natürlich abzuwägen, in wie weit eine Veränderung des Bildes zur Verbesserung der AR-Qualität gewünscht und geduldet ist. Bei sehr schlechter Eignung ist es meist besser, das Logo in der Kombination mit einem oder mehreren Fotos und etwas Schrift zu verwenden, da ein Target nicht unbedingt aus einem einzelnen Bild bestehen muss. Wird aber ein Einzelbild als Target herangezogen, kann dieses auch durch minimale lokale Änderungen verbessert werden, was die folgenden Beispiele gut veranschaulichen – links ist jeweils das originale Bild zu sehen und rechts werden in gelb die vom Framework erkannten Features angezeigt.

schlechtes Target

Durch die schwach definierten Übergänge und den geringen Kontrast ergeben sich nur wenige Featurepunkte.

besseres Target

Bei etwas erhöhtem Kontrast, werden schon mehr Bildpunkte erkannt, die auch gut verteilt sind. Hiermit ließe sich arbeiten.

sehr gutes Target

Ein noch schärferer Kontrast zwischen Höhen und Tiefen liefert eine ideale Menge an Featurepunkten für maximale Stabilität.

Kleine Änderungen können oft Wunder bewirken und fallen kaum ins Auge – ab und zu ist es allerdings trotzdem besser ein ganz anderes Bild für die AR Darstellung zu verwenden. Die Entscheidung über das endgültige Tracking Target ist aber immer individuell und applikationsspezifisch zu treffen.

Anzumerken bleibt, dass sich die modernen AR-Frameworks auch bezüglich der Qualität weiterentwickelt haben. Heutzutage werden neben Natural-Features auch Linien oder Schriften erkannt und aktiv zu Kamerapositionsbestimmung genutzt. Zusätzlich werden während der Laufzeit neue Features aus der Umgebung gelernt und aktiv zur Positionsbestimmung genutzt. Nach wie vor geschieht aber die Initialisierung der benötigten Kameraposition über das vorgegebene Tracking Traget. Ein schwarzer Kreis, eine Linie oder ein Schachbrett sind daher nach wie vor ungeeignet.

Insgesamt verspricht eine aktive Zusammenarbeit mit den Kunden und Designern den meisten Erfolg – und das natürlich nicht nur in Bezug auf die Qualität des Tracking Targets.

 

[1]Elias Tappeiner, Dieter Schmalstieg, and Tobias Langlotz. Local Optimization for Natural Feature Tracking Targets. In Proc. IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2014, Munich, Germany, September 2014.