Sony bringt weltweit erste Bildsensoren mit KI-Verarbeitungsfunktion

Die neuen Sensoren erm?glichen Edge-AI-Verarbeitung in Hochgeschwindigkeit und erleichtern den Aufbau cloudvernetzter Systeme.

Lesezeit: 2 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen 22 Beitr?ge
Von

Im Bereich Bildsensoren ist Sony bereits gut aufgestellt (aufgrund der starker Nachfrage hob das Unternehmen jüngst seine Prognose für das laufende Gesch?ftsjahr an), beim Thema "Künstliche Intelligenz" gibt es jedoch noch Nachholbedarf. Das hat Sony selbst erkannt und versucht künftig, beide Bereiche zu kombinieren. Passend dazu stellte das Unternehmen jetzt die nach eigenen Angaben weltweit ersten Bildsensoren mit integrierter KI-Verarbeitungsfunktion vor.

Die neuen Sensoren erm?glichen Edge-AI-Verarbeitung in Hochgeschwindigkeit und erleichtern den Aufbau cloudvernetzter Systeme.

(Bild:?Sony)

Der Pixelchip verfügt über rund 12,3 effektive Megapixel zur Erfassung von Informationen über einen weiten Betrachtungswinkel. Neben der herk?mmlichen Bildsensor-Betriebsschaltung ist der Logikchip mit dem DSP (Digitaler Signalprozessor) von Sony ausgestattet, der die KI-Signale verarbeitet, sowie einem Speicher für das KI-Modell. Diese Bauweise macht laut Sony den Einsatz von Hochleistungsprozessoren oder externen Speichern überflüssig und eignet sich daher ideal für Edge-AI-Systeme.

Der gro?e Vorteil dieser L?sung besteht zum einen in der Geschwindigkeit: Die neuen Sensoren namens IMX500 und IMX501 führen die ISP-Verarbeitung und die Highspeed-KI-Verarbeitung (3,1 Millisekunden Verarbeitungszeit für MobileNet V12) auf dem Logikchip aus und schlie?en den gesamten Prozess in einem einzigen Videobild (bei 30 Bildern pro Sekunde) ab. Dieses Design erm?glicht beispielsweise eine hochpr?zise Echtzeitverfolgung von Objekten bei Videoaufnahmen.

Wird ein Video indes mit einem herk?mmlichen Bildsensor aufgezeichnet, müssen die Daten für jedes einzelne Ausgabebild hingegen an die KI-Verarbeitung gesendet werden. Durch die dabei zu transferierenden Datenmengen wird es schwer, Echtzeitleistung zu erreichen.

Die Chips geben die extrahierten Informationen zudem als Metadaten aus, was zum einen das Datenvolumen reduziert, zum anderem aber auch dem Datenschutz dient. Ein Beispiel: In einer überwachungskamera k?nnte der Bildsensor dank KI erkennen, ob sich eine Person im überwachten Raum befindet. Ist dies der Fall, meldet er dies per Metadaten an das Sicherheitssystem. Eine übertragung des eigentlichen Videobildes kann dabei entfallen.

Die neuen Sensoren sind gestapelt (?stacked“) aufgebaut und bestehen aus einem Pixelchip und einem Logikchip.

(Bild:?Sony)

Findet die Auswertung hingegen in der Cloud statt, muss das Bild der überwachungskamera erst einmal zum Server transferiert werden – und l?sst sich auf dem Weg dorthin eventuell abgreifen. Auf Nachfrage stellte Sony klar, dass es in diesem Beispielszenario darum ginge, eine Person als solche zu erkennen, nicht jedoch darum, diese zu identifizieren.

Sonys L?sung unterstützt verschiedene KI-Modelle, die sich auch individuell an die Anforderungen und Bedingungen am Einsatzort des Systems anpassen lassen. Sind beispielsweise mehrere Kameras mit dem Sensor in einem Ladengesch?ft installiert, lassen sich laut Entwickler so mit einem einzigen Kameratyp verschiedene Standorte, Bedingungen, Zeiten oder Zwecke abdecken.

Beispiele für den Einsatz von Kameras in einer Ladenumgebung. Alle nutzen den gleichen Sensor, allerdings mit unterschiedlichen KI-Modellen.

(Bild:?Sony)

Eine im Eingangsbereich installierte Kamera k?nnte etwa die Kunden z?hlen, die das Gesch?ft betreten. Eine weitere Kamera an einem Regal würde erkennen, wo Waren fehlen. An der Decke installiert, k?nnte eine dritte Kamera wiederum W?rmebilder erstellen, um Bereiche zu erkennen, in denen viele Ladenbesucher zusammentreffen. Darüber hinaus k?nnte das KI-Modell in einer Kamera laut Sony neu geschrieben werden, sodass beispielsweise aus einem Modell zur Erkennung von Heatmaps ein Modell zur Ermittlung des Kundenverhaltens wird.

Die Frage, ob sich der Chip auch nutzen lie?e, um das Videobild in Echtzeit zu ver?ndern, verneinte Sony. Dies sei aktuell noch Science Fiction.

Sony will die KI-Technik nach eigenen Angaben in weitere Bildsensoren implementieren. Nach Vorstellung des Unternehmens soll der Anteil der Verk?ufe in diesem Bereich von aktuell rund 4 Prozent bis zum Jahre 2025 auf satte 30 Prozent gesteigert werden. Die Frage, ob Sonys Roboterhund Aibo in einer kommenden Auflage mit einem solchen Prozessor ausgestattet werden wird, wollte das Unternehmen nicht beantworten.

Typbezeichnung
IMX500 (Nur Chip)
IMX501 (Paket)
Musterauslieferung April 2020 geplant Juni 2020
Musterpreis (ohne Steuer) 10.000 Yen (ca. 85 Euro)
20.000 Yen (ca. 170 Euro)
Technische Daten
Anzahl Pixel (effektiv) 4056 (H) × 3040 (V), ca. 12,3 Megapixel
Bildgr??e 7,857 mm (Typ 1/2.3) Diagonale
Elementarzellengr??e 1,55 μm (H) × 1,55 μm (V)
Empfindlichkeit (Standardwert F5.6) ca. 250 LSB
S?ttigungssignal (Mindestwert) ca. 9610e-
Hauptfunktionen KI-Verarbeitung, ISP, HDR-Aufzeichnung
Ausgabe MIPI D-PHY 1.2 (4 Lane) / SPI
Farbfilter-Array Bayer-Array
Ausgabeformat Bild (Bayer RAW), ISP-Ausgabe (YUV/RGB), ROI, Metadaten
Package (ohne Keramik-LGA) 12,5 mm (H) × 15,0 mm (V)
Bildfrequenz
Full Pixel 60 fps
Video 4K (4056 × 2288 Pixel) 60 fps
1080p (1920 × 1280 Pixel) 240 fps
Vollst?ndige/Video+AI-Verarbeitung 30 fps
Metadatenausgabe 30 fps
Energieversorgung
Analog 2,7 V
Digital 0,84 V
Interface 1,8 V

(nij)

汤姆叔叔影院