ARKit 3 geht weiter als je zuvor

Apple hat mit ARKit 1 den kompletten AR Markt aufgefrischt. Zum ersten Mal war es performant möglich, horizontale Flächen zu erkennen und diese als Tracking für ein AR Erlebnis zu nutzen. Dies brachte hunderte neue Möglichkeit für AR Anwendungen mit sich. Gleich darauf folgte Version 1.5 welche nun auch vertikale Flächen erkennen konnte (leider zu dieser Zeit eher schlecht als recht) und auch die alten Image Targets in ARKit als Tracking Variante implementierte. Mit iOS 12 brachte Apple die Version 2 von ARKit heraus welche wir bereits in diesem Blog Artikel beschrieben haben. Seit September 2019 ist nun iOS 13 verfügbar und bringt auch das neue ARKit 3 direkt mit. Wir hatten die Möglichkeit, ARKit 3 schon seit Juli 2019 zu testen, sind mehr als begeistert von den neuen Features und möchten diese im heutigen Blog behandeln und auch kommentieren.

Allgemeine Verbesserungen

Zuerst möchten wir mit den Dingen beginnen, die ARKit schon konnte jedoch in Version 3 einfach besser geworden sind. Machine Learning wird nun verwendet, um die Erkennung von horizontalen und vertikalen Flächen zu verbessern. Im Test ist uns dazu aufgefallen, dass die Erkennung zwar etwas schneller aber nicht immer wirklich viel besser funktionierte. Besonders bei vertikalen Flächen im Bereich von Türen und Fenster sollte der Algorithmus besser funktionieren, was in unseren Test aber nicht wirklich stark merkbar war. Außerdem wurde noch die Robustheit des 3D Tracking verbessert, was in unseren Tests auch eindeutig erkennbar war. Jedoch hängt leider das 3D Tracking von Apple den anderen AR Framework Anbietern in der Qualität des Trackings hinterher und wird von uns so nicht empfohlen.

Collaborative Sessions

Diese neue Feature bietet die Möglichkeit, Live eine AR Umgebung zwischen mehreren Geräten aufzubauen. Somit können mehrere User gleichzeitig das gleiche AR Erlebnis über ihr Gerät sehen und miteinander Interagieren. (Egal in welchen Raum sie sich befinden) Um die Position im Raum und den Austausch der dazu nötigen Informationen kümmert sich ARKit 3 und ist somit leicht und verlässlich einsetzbar. Dieses Feature bietet sich perfekt für AR Präsentationen auf Messen oder Multi User AR Spiele an. Direkt bei der Präsentation von Apple hat Minecraft eine Demo dazu vorgestellt:

Multiple Face Tracking & Simultaneous Front and Back Camera

Diese beiden Features bieten neue Möglichkeiten für das Facetracking welches mit ARKit 2 eingeführt wurde. In unserem alten Blog Artikel zu ARKit 2 gehen wir auf dieses Feature auch sehr genau ein. Die beiden Neuerungen sind hier recht simpel. Es ist nun möglich, mehrere Gesichter gleichzeitig zu erkennen. Ein wirklich gutes Anwendungsgebiet ist uns dazu aber noch nicht eingefallen und wurde deshalb im Beta Test auch nicht weiter untersucht. Jedoch die Funktionalität, sowohl die Front Kamera zum Facetracking und die Back Kamera für normale AR Erlebnisse gleichzeitig zu benutzen, finden wir sehr interessant. Dies bietet eine neue und sehr lustige Variante mit dessen Hilfe der User direkt das AR Erlebnis beeinflussen kann. Somit wäre es möglich, bestimmte Emotionen des Users mittels Facetracking zu erkennen und das AR Erlebnis darauf anzupassen.

Motion Capture

Mit Motion Capture bringt Apple eine sehr verspielte, aber auch sehr beeindruckende neue Funktion für ARKit. Hiermit ist es möglich Live eine Person und deren Bewegungen im Kamerabild zu erkennen und diese als Steuerung für das AR Erlebnis zu verwenden. Eine gute Demonstration dieser Funktion ist hier zu sehen:

Wir hatten vor einigen Jahren die Möglichkeit, eine AR App für Kinder mit unseren Partnern von Mindconsole umzusetzen:

Und wünschen uns heute diese Motion Capture Funktionalität wäre damals schon möglich gewesen. Somit hätten die Kinder direkt mit den AR Charakteren interagieren können.

Das lang erwartet Feature: People Occlusion

Augmented Reality ist in den letzten Jahren immer realistischer geworden, jedoch ein Problem hat die Erweiterung der Realität immer ein wenig beeinflusst. Sobald sich eine Hand oder eine ganze Person ins Kamerabild bewegt hat, konnte dies nicht erkannt werden. Somit wurde der AR Inhalt immer über der Person gezeichnet, egal in welcher Relation der digitale Content zur Person in der realen Welt stand. Dies führte dazu, dass das AR Erlebnis schnell als unrealistisch wahrgenommen wurde, wenn Personen mit dem digitalen Content interagieren wollten. Wir konnte mit einer externen Stereoskopie Kamera dieses Problem bereits für eine Messeinstallation eines Kunden lösen, jedoch war dies für mobile Geräte bis jetzt nicht möglich. Mit ARKit 3 und People Occlusion kann dieses Problem jedoch nun auf neuen iOS Geräten eliminiert werden und wir freuen uns schon darauf die ersten Projekte damit umzusetzen:

Ausblick ARKit

Wir konnten uns nun schon seit Juli mit den Neuerungen von ARKit beschäftigen und sind Großteils sehr überzeugt von den Features und Verbesserungen. Dies macht es uns möglich, noch mehr und neue AR Erlebnisse für unsere Kunden zu konzipieren und umzusetzen. Ebenfalls freuen wir uns sehr darauf, einige bereits bestehende Apps unserer Kunden auf die neueste ARKit Version upzudaten um diese noch besser und intuitiver zu machen. Wenn du planst, deine App mit ARKit 3 zu entwickeln, melde dich bei uns und wir können gemeinsam mit dir am Konzept arbeiten und Live Demos ausprobieren.