To ring in 2021 we released our first AR effect on the new iPhone 12 Pro, using LiDAR technology which allows us to create effects that interact with your environment – visually bridging the digital and physical worlds. We're excited to develop more innovative effects in 2021! pic.twitter.com/6yFD2FfHta
— TikTokComms (@TikTokComms) January 6, 2021
Augmented Reality
Bringt der LiDar Sensor die Zukunft für AR Erlebnisse?
21. Januar 2021
Im Herbst wurden mit den neuesten Apple Geräten auch der brandneue LiDar Sensor vorgestellt. Die neue Hardware bietet die Möglichkeit, die Lichtentfernung zu Objekten zu messen, Pixeltiefeninformationen einer Szene zu verwenden, sie verbessert den Autofokus bei schlechten Lichtverhältnissen und liefert intensivere, realistische und schnellere AR-Erlebnisse. Letzteres Feature hat sich vor allem TikTok zu Nutze gemacht und einen ersten AR Filter für die neuesten iPhone Modelle herausgebracht. Mal sehen, was der neue LiDar Sensor in Bezug auf AR Erlebnisse sonst noch so alles kann…
LiDar Sensor und Social Media
Meine Kollegin Magda hat euch zu einem früheren Zeitpunkt schon den LiDar Sensor vorgestellt (hier kannst du nochmal nachlesen). Zu dem Zeitpunkt konnte aber nur gemutmaßt werden, wie realistisch AR Filter auf Social Media dann wirklich sein werden. Die Social-Media-Plattform Snapchat hat als erstes angekündigt, sich die neuen Funktionen anzusehen und einen AR Filter mit dem neuen LiDar Sensor zu testen. Snapchat hat die Option im vergangenen Herbst aber lediglich in sein Lens Studio integriert, um so Künstlern und Entwicklern zu ermöglichen, die Technik für eigene Filter einzusetzen.
Doch nun war es die Kurzvideo-Plattform TikTok die einen ersten Augmented-Reality-Filter vorgestellt hat, der den Lidar-Sensor des iPhone 12 Pro verwendet. Die Lidar-Technik im iPhone ermöglicht nun nämlich Effekte, die mit der Umgebung interagieren. Bis dato wurde die Umgebung des Users vom Endgerät nicht erkannt, dementsprechend konnte der AR Filter Objekte im Umfeld nur überlagern. Der LiDar Sensor lässt AR Filter also deutlich realistischer erscheinen.
Wie das genau aussieht, hat TikTok auch gleich auf Twitter geteilt, und ich finde, das kann sich sehen lassen:
Einen kleinen Haken hat die Sache aber noch, denn der LiDar Sensor ist bis jetzt nur in den aktuellsten iPhones nämlich iPhone 12 Pro, Pro Max und dem iPad Pro 202 verbaut. Gerüchten zufolge plant der Tech-Gigant aber, alle neuen iPhone 13 mit Lidar-Sensoren auszurüsten. Das würde die Technik ab Herbst 2021 für ein noch größeres Publikum verfügbar machen. Zumindest für Apple Fans.
… und Android?
Apple ist in gewissen Dingen immer einen Schritt voraus. Allerdings darf man auch die Marktmacht (und vor allem den Marktanteil von ungefähr 80% bei Android Geräten) nicht unterschätzen. Um also massentauglich zu werden braucht es etwas Vergleichbares auch für Android Geräte, damit die Verbesserung von AR Erlebnissen noch mehr Enduser erreicht. Zwar bietet Google ein sehr ähnliches Konzept bereits an (Vielleicht kennst du die Time-of-Flight (ToF)-Sensoren vieler Android-Telefone? Sie helfen dir, die Szenentiefe zu erfassen und ermöglichen damit den bekannten Bokeh-Effekte größerer Kameras), Apple verspricht aber deutlich mehr und vor allem bessere Ergebnisse. Bleibt also abzuwarten, ob bzw. wann Google mit der Entwicklung einer ähnlichen Technologie nachzieht…
Was der LiDar Sensor außer coole AR Filter noch kann
Es hat sich also herauskristallisiert, dass der LiDar Sensor vor allem für den Marketingbereich (zum Beispiel das AR Shoppingerlebnis) sehr gut geeignet ist.
Ich persönlich glaube aber auch, dass die Technologie von Apple auch im Gaming Bereich mitmischen wird. Das amerikanische Unternehmen hat einen Sneak Peek einiger LiDAR-spezifischer Anwendungen präsentiert, die Ende 2020 auf den Markt gebracht wurden. Ein Spiel davon ist das Hot Lava Game. Zugegeben, ich habe das Spiel selbst noch nicht getestet, aber Apple User sind gespaltener Meinung was das Spielerlebnis angeht.
Aber wie sieht es mit Non-Gaming-Erfahrungen für den LiDAR-Sensor aus? Bis dato profitiert vor allem auch Möbelhersteller und Innenarchitekten von dem neuen Feature. Ein Beispiel: Mit der IKEA Place-App kannst du dich in deinem Wohnzimmer durch virtuelle Möbel bewegen, als ob du dich in einer lebendigen Version des Computerspiels Sims befändest. Ich finde das klingt doch mega cool, oder?
Sieh dir diesen Beitrag auf Instagram an
Aber obwohl die verbesserte AR-Platzierung und Okklusion (bzw. die Fähigkeit, virtuelle Objekte hinter realen zu verstecken) des iPad Pro 2020 hilfreich sind, ist es immer noch keine bahnbrechende neue Erfindung.
Auch wenn die Technologie derzeit eher für CAD-Designer und medizinisches Personal von großer Relevanz ist, bin ich überzeugt davon, dass sich in den kommenden Jahren dahingehend noch Einiges tun wird. In der Zwischenzeit würde ich mich dann aber doch hinreißen lassen zu behaupten, dass der LiDAR-Sensor im iPad Pro und iPhone 12 in erster Linie dazu dient, nicht Technikfans, sondern Entwickler zu begeistern.