22FDX-Technologie bringt echte Veränderungen für Augmented Reality

Strategische Partnerschaft zwischen GF und Compound Photonics wird zu leistungsfähigeren, kleineren, leichteren und energieeffizienteren AR/MR-Brillen führen.

von Gary Dagastine

Die Technologie der erweiterten und gemischten Realität (AR/MR) befindet sich an einem historischen Wendepunkt, und die kürzlich von GLOBALFOUNDRIES (GF) und Compound Photonics (CP, auch bekannt als CP Display) angekündigte strategische Partnerschaft treibt sie voran.

Die beiden Unternehmen werden zusammenarbeiten, um die Funktionsweise von augennahen Mikrodisplays zu verändern, die das Herzstück von AR/MR-Systemen bilden. Die IntelliPix™-Plattform von CP wird mit der branchenführenden 22FDX™-Halbleiterlösung von GF hergestellt, wodurch das weltweit erste AR/MR-spezifische Ein-Chip-Mikrodisplay in Echtzeit entsteht, das Pixel mit einer Größe von nur 2,5µm ermöglicht. Das Ergebnis ist die branchenweit fortschrittlichste Backplane-/Videopipeline mit Lichtmodulation, die eine Roadmap von Flüssigkristallen auf Silizium (LCoS) mit aktueller Amplitude über MicroLED bis hin zu holografischen Displays abdecken kann und gleichzeitig die erforderliche Leistung für Echtzeit-AR/MR-Systeme bietet.

IntelliPix

Die skalierbare und flexible Ein-Chip-Lösung unterstützt sowohl die bestehende LCoS-Technologie von CP als auch die kommende microLED-Display-Technologie von CP.

Bei IntelliPix geht es darum, nur die Pixel einzuschalten, die aktiv sein müssen, um das gewünschte Bild zu rendern, anstatt ständig alle Pixel eines Displays zu aktualisieren. Dies spart nicht nur Strom in den inaktiven Pixelbereichen, sondern führt auch zu einer höheren Bildqualität und Helligkeit, schnelleren Aktualisierungsraten und letztlich zu AR-Brillen mit fortschrittlicheren Funktionen und mehr Leistung, kleinerem und leichterem Formfaktor und einer viel längeren Lebensdauer mit einer einzigen Ladung.

Die IntelliPix-Architektur integriert die proprietäre Videopipeline von CP, die in Echtzeit reagiert und Kopfbewegungen und andere Umgebungsbedingungen kompensiert, eine softwareprogrammierbare Backplane zur dynamischen Steuerung der Pixel sowie Treiberschaltungen zur Bereitstellung der erforderlichen Leistung. Bislang waren dafür mehrere Chips erforderlich, aber die nächste Generation von AR-Brillen erfordert ein Ein-Chip-Design, das einfacher, leistungsfähiger, kleiner und weniger stromhungrig ist.

Eine natürliche Wahl

"Die branchenführende 22FDX-Lösung von GF ist aus vielen Gründen die erste Wahl", so Ed Kaste, Vice President of Industrial and Multi-Market bei GF. "Der extrem niedrige Stromverbrauch ist ein großer Vorteil, aber das ist nur der Anfang. Die 22FDX-Technologie hat eine höhere SRAM-Dichte als andere planare Technologien, und die SRAM-Dichte korreliert direkt mit der Pixeldichte, so dass IntelliPix die Pixelgröße deutlich verringern kann. Das Ergebnis ist eine leistungsstarke, hochintegrierte Lösung, die zu schlankeren, leichteren AR-Brillen beiträgt. Außerdem führt die Möglichkeit, Pixel ein- und auszuschalten und dabei die Body-Bias-Steuerung zu nutzen, zu weitaus besseren Ein- und Ausschaltzuständen, so dass ein Pixel, wenn es eingeschaltet ist, heller leuchtet und wenn es ausgeschaltet ist, wirklich ausgeschaltet ist, was den Stromverbrauch weiter senkt und thermische Effekte reduziert."

Ed KasteDie adaptive Body Bias (ABB)-Funktion der 22FDX-Technologie bietet Entwicklern deutlich mehr Präzision bei der Feinabstimmung der Transistorschwellenspannung eines Schaltkreises und ermöglicht es ihnen, die Leistung, Energieeffizienz, Fläche und Zuverlässigkeit eines Chips effektiver zu optimieren, um den Anforderungen einer bestimmten Anwendung gerecht zu werden.

"Die 22FDX-Technologie ermöglicht es CP auch, kundenspezifisches geistiges Eigentum (IP) einfach in das Design zu integrieren, ebenso wie Geräte mit höherer Spannung, die einige Mikrodisplay-Architekturen erfordern. Unsere vorhandenen Referenzdesigns und Ressourcen des Ökosystems machen diesen Entwicklungsprozess weit weniger schwierig als bei anderen Technologien", so Kaste.

Das Tapeout wird für Ende dieses Jahres erwartet, und die Muster werden im ersten Quartal 2022 an den Kunden von CP geliefert.

Lektionen aus der Natur gelernt

Seit 2016 konzentriert sich CP bei der Entwicklung von Mikrodisplays auf die Bereiche AR/MR und Heads-up-Displays, indem es sein umfangreiches IP-Portfolio für LCoS-Displays und fortschrittliche elektronische Antriebsarchitekturen nutzt. Basierend auf seiner Plattform der aktuellen Generation sind die Displays von CP in der Branche für den kleinsten Pixelabstand, die höchste optische Effizienz, die niedrigste Display-Latenz und die höchste Bildwiederholrate im Vergleich zu anderen Display-Anbietern bekannt. 

"Zu diesem Zeitpunkt verfügten wir über das branchenweit beste Mikrodisplay-Subsystem - Lichtmodulator, Backplane und Treiber -, was uns sehr geholfen hat, an Boden zu gewinnen", so Edmund Passon, Co-CEO von CP. "Aber in letzter Zeit habe ich angefangen, darüber nachzudenken, wie unser optisches System funktioniert, wenn wir es direkt ansteuern. Das optische Signal von der Netzhaut wird in mehrere Kanäle aufgeteilt und dort vorverarbeitet, bevor es das Gehirn erreicht. Die Verarbeitung ähnelt einer Kompression, ohne dass die Informationen, die das Gehirn bereits erhalten hat, erneut gesendet werden müssen", sagte er. "Mir wurde klar, dass wir, um die Leistung zu erreichen, die wir für die AR/MR-Brille der nächsten Generation anstreben, etwas Ähnliches in umgekehrter Richtung tun müssen, um die Bandbreite und den damit verbundenen Stromverbrauch zu reduzieren und gleichzeitig die Leistung aufrechtzuerhalten. So können wir nur Daten senden, die sich ändern, und gleichzeitig eine hohe Leistung für aktive Objekte/Pixel bereitstellen, und das alles bei möglichst geringem Stromverbrauch."

Der Funktionsumfang der IntelliPix-Architektur teilt die Verarbeitung zwischen dem SOC und dem Display-Subsystem auf, sagte er. CP-Kunden, die kompatible Rendering-Pipelines aufbauen, können die Vorteile des Funktionssatzes voll ausschöpfen und für Echtzeit-AR/MR-Systeme optimieren. Die 28-nm-Halbleitertechnologie, auf die CP ursprünglich zurückgriff, war jedoch für das bahnbrechende Design von IntelliPix mit intelligenten Pixeln, das mit der 22FDX-Technologie erreicht werden kann, nicht geeignet.

"Unsere aktuelle Multi-Chip-Backplane-Architektur bestand aus einem Ein-Bit-Pixel mit hohem Bandbreitenbedarf. Wir begannen unsere Arbeit mit 28nm, aber um die gewünschte Pixelgröße mit der Menge an Logik zu erreichen, die IntelliPix unter dem Smart Pixel benötigt, brauchten wir die 22FDX-Lösung von GF mit ihrer klassenbesten Leistung, Energieeffizienz und breiten Fähigkeit zur Funktionsintegration", sagte Passon. "Mit Blick auf die Zukunft haben wir festgestellt, dass wir mit der IntelliPix-Architektur die Pixelgröße von derzeit 3,015 µm auf bis zu 2,5 µm reduzieren können, je nach Funktionsumfang. Das eröffnet die Möglichkeit, mikroLED-basierte Displays mit einem bayerischen Pixelraster zu entwerfen, das weniger benötigte Pixel unterstützt. Und auch hier wird die richtige Aufteilung zwischen dem Mikrodisplay und der SOC-Videopipeline/dem Rendering zu einem optimalen Gleichgewicht zwischen Stromverbrauch und Leistung führen. Die Skalierbarkeit einer Single-Chip-Lösung ist also entscheidend, und die 22FDX-Technologie ist dafür geeignet."

Eine einzigartige Partnerschaft

Ruby YanWir haben uns für eine Partnerschaft mit CP entschieden, weil das Unternehmen nicht nur technisch innovativ ist, sowohl was die Hardware als auch was die Software betrifft, sondern auch, weil es bereits seit einiger Zeit existiert und den Wert seines Angebots durch ein umfangreiches Netzwerk von Unternehmensbeziehungen unter Beweis gestellt hat", so Ran (Ruby) Yan, GF-Produktmanager für Wearables, Smart Home und Machine Vision-Produkte.

 "Was uns an CP besonders gefällt, ist, dass sie sich immer auf die schwierigsten Herausforderungen konzentrieren, und es ist aufregend und lohnend, an solchen Unternehmungen beteiligt zu sein, die nicht nur industriellen Fortschritt, sondern auch bedeutende positive Veränderungen in unserem täglichen Leben bewirken können", sagte sie.

Laut Yan bringt GF viel Erfahrung mit Display-Treibern in die Partnerschaft ein, sowohl integriert in Backplanes als auch als Standalone-ICs für Anwendungen wie Smartphones, Automobile und medizinische Geräte. "Wir verwenden die 22FDX-Basisplattform für diese Arbeit und erweitern damit unsere bisherigen Aktivitäten", so Yan. "Die erforderlichen Anpassungen werden sich beispielsweise auf das Backend des Linienprozesses auswirken, um dem optischen Interconnect einige einzigartige Funktionen hinzuzufügen.

Die Zukunft der Anzeige

Kaste sagte, dass Displays insgesamt ein wichtiger Schwerpunkt für GF sind, da sie eine wachsende Anzahl von Anwendungen in allen Geschäftsbereichen des Unternehmens umfassen. Die nachgewiesene Leistung und die aus diesem Engagement gewonnenen Erkenntnisse könnten die Display-Technologie und die Display-Wertschöpfungskette in Zukunft revolutionieren, sagte er und fragte Passon von CP, was die 22FDX-Technologie seiner Meinung nach für Anwendungen jenseits von AR/MR-Brillen bringen kann.

Dank der 22FDX-Plattform von GF bieten die Backplane-Designs von IntelliPix die nötige Flexibilität, um verschiedene Lichtmodulationstechnologien zu unterstützen.

"Das ist eine gute Frage", sagte Passon. "Seit wir mit der 22FDX-Technologie arbeiten, kommen uns immer wieder neue Ideen in den Sinn. Wir können uns zum Beispiel vorstellen, wie man mit der 22FDX-Technologie leistungsstärkere Videowände bauen könnte. Die Größe der LEDs ist zwar ganz anders, aber ihre Pflege und Versorgung ist die gleiche, und sie können die höchsten Einschaltzyklen erreichen, die IntelliPix bieten kann - man könnte eine beliebige Anzahl von Display-Kacheln zu einem wandbasierten Fernseher beliebiger Größe zusammenstellen."

"Außerdem haben wir im Laufe der Jahre viel mit Holografie gearbeitet, und die IntelliPix-Plattform in Verbindung mit den hohen Leistungsmerkmalen der 22FDX-Technologie ist dafür sehr gut geeignet", so Passon weiter. "Wir glauben, dass es eine fantastische Möglichkeit für AR-Heads-up-Displays im Automobilbereich gibt, holografische Objekte im 3D-Raum zu platzieren, um die Wahrnehmung und Reaktionsfähigkeit des Fahrers zu verbessern. In der Tat ist der Automobilsektor für holografische Anwendungen in naher Zukunft besonders attraktiv, wenn man bedenkt, wie viel Rechenleistung derzeit für computergenerierte Hologramme (CGH) erforderlich ist. Die Arbeiten im Bereich der CGH-Algorithmen versprechen eine Verringerung dieser Leistung, und IntelliPix wird sich problemlos in diese Systeme integrieren lassen, um Hologramme mit höchster Auflösung zu erzeugen.

Passon sagte, dass die Zukunft zwar viele neue und aufregende Möglichkeiten biete, es aber immer noch technische Herausforderungen gebe, die auf dem Weg dorthin branchenweit überwunden werden müssten. "Damit mikroLED-basierte Displays sowohl technisch als auch wirtschaftlich wirklich praktikabel werden, muss die Industrie Wege finden, die derzeit in der Fertigung verwendeten pixelierten Epitaxieverfahren zu kommerzialisieren. Für die Holografie müssen wir Wege finden, die erforderliche Rechenleistung zu reduzieren", sagte er.

Nichtsdestotrotz steht die AR/MR-Technologie derzeit an der Schwelle zu großen Veränderungen, und die Partnerschaft zwischen CP und GF spielt dabei eine Schlüsselrolle.