STMicroelectronics und Leopard Imaging haben ein All-in-One multimodales Vision-Modul für humanoide und andere fortschrittliche Robotersysteme vorgestellt. Das Modul kombiniert ST-Bildgebung, 3D-Szenenkartierung und Bewegungserkennung mit der Nvidia-Holoscan-Sensor-Bridge-Technologie und integriert sich nativ in Nvidia Jetson und die Nvidia-Isaac-Open-Roboter-Entwicklungsplattform, was die Entwicklung von Vision-Systemen innerhalb der Größen-, Gewichts- und Leistungsgrenzen humanoider Roboter vereinfacht und beschleunigt.
„Die humanoide Robotik entwickelt sich von Forschungsprojekten und Demonstrationen hin zu leistungsstarken neuen Maschinen für eine Vielzahl von Einsatzbereichen in der Fertigung und Automobilindustrie, Logistik und Lagerhaltung sowie im Einzelhandel und Kundenservice“, sagte Marco Angelici, Vice President Marketing und Anwendung für Analog Power MEMS und Sensoren bei STMicroelectronics. „Unsere Zusammenarbeit mit Leopard Imaging bringt marktführende ST-Sensoren und Aktuatoren, nahtlos integriert in das Nvidia-Robotik-Ökosystem, um die Einführung physischer KI-Anwendungen mit menschenähnlichem Bewusstsein zu beschleunigen.“
„Der direkte Zugriff auf ST-Sensoren und Aktuatoren innerhalb des Ökosystems hat es uns ermöglicht, die Datenerfassung und -protokollierung für humanoide Roboter-Vision über die HSB-Schnittstelle zu standardisieren und zu optimieren“, sagte Bill Pu, CEO von Leopard Imaging. „Roboterbauer können unser Multi-Sensing-Vision-Modul mit Isaac-Tools nutzen, um das Lernen zu beschleunigen und die ‚Sim-to-Real‘-Lücke schnell zu überbrücken.“
Angetrieben von der Nvidia Holoscan Sensor Bridge integriert sich das neue Modul nahtlos über Ethernet mit Nvidia Jetson für die Echtzeit-Sensordatenaufnahme und die Nvidia-Isaac-Open-Roboter-Entwicklungsplattform, die offene KI-Modelle, Simulationsframeworks und Bibliotheken für Entwickler bietet. Das neue Modul umfasst ein Build-System und Programmierschnittstellen (APIs), KI-Algorithmen, die für mobile Roboter kuratiert sind, Beispielanwendungen, Domänenrandomisierung und eine Simulationsumgebung mit Sensormodellen.
ST integriert weiterhin seine Sensoren, Treiber, Aktuatoren, Controller und Entwicklungstools als wichtiger Nvidia-Robotik- und Edge-KI-Partner in das Nvidia-Robotik-Ökosystem, einschließlich hochpräziser Modelle und Proof-of-Concept-Module.
Technische Informationen
Das Vision-Modul von Leopard Imaging Systems umfasst:
Für die bildbasierte Erfassung den ST-VB1940-Automotive-Grade-RGB-IR-5,1-Megapixel-Bildsensor mit kombiniertem Rolling-Shutter- und Global-Shutter-Modus. ST hat außerdem eine Massenmarkt- und Industrieversion V**943 veröffentlicht, die zur ST-BrightSense-Produktfamilie gehört und in Monochrom oder RGB-IR, als Die oder verpackter Sensor erhältlich ist.
Für die Bewegungserfassung die LSM6DSV16X-6-Achsen-Inertialmesseinheit (IMU), die den ST-Machine-Learning-Core (MLC) für KI am Edge, Sensor-Fusion mit niedrigem Stromverbrauch (SFLP) und Qvar-Elektrostatsensorik für die Benutzeroberflächenerkennung integriert.
Für die 3D-Tiefenerfassung das VL53L9CX-dToF-All-in-One-LiDAR-Modul, Teil der ST-FlightSense-Produktfamilie, das 3D-Tiefenerfassung mit präziser Reichweite bis zu 9 m bietet. Mit einer Auflösung von 54 x 42 Zonen (nahezu 2.300 Zonen) kombiniert mit einem weiten Sichtfeld von 55°x42° und einer Winkelauflösung von 1° sind Kurz- und Langstreckenmessungen sowie die Erkennung kleiner Objekte mit bis zu 100 fps möglich.
