Leitfaden / Industrielle KI
Synthetische Daten für Robotik: Was der digitale Zwilling liefern muss
Der Greifer erkennt ein Bauteil unter Laborlicht. In der Produktionszelle verdeckt ein Behälter einen Teil der Kontur. Für genau diese Situation fehlen Trainingsbilder. Synthetische Daten können helfen, solche Varianten systematisch vorzubereiten, bevor jedes Beispiel aufwendig aufgenommen werden muss.
Synthetische Daten werden rechnerisch erzeugt statt unmittelbar aus dem realen Betrieb gemessen. Für industrielle Robotik können das gerenderte Kamerabilder, Tiefendaten oder simulierte Zustandsfolgen sein. Ihr Nutzen hängt davon ab, ob sie die Unterschiede abbilden, an denen die reale Anwendung scheitert.
Drei Wege zur Datenerzeugung
| Verfahren | Beispiel | Typische Grenze |
|---|---|---|
| Szenenbasiertes Rendering | Bauteile aus verschiedenen Kamerapositionen darstellen | Material- und Lichtmodell passen nicht zur Anlage |
| Physikalische Simulation | Bewegung und Kontakt im Greifablauf variieren | Reibung, Nachgiebigkeit oder Kontaktverhalten sind ungenau |
| Generative Modelle | Bild- oder Videovarianten aus Vorgaben erzeugen | Geometrie, Beschriftungen oder physikalische Konsistenz können sich ändern |
Die Isaac-Sim-Dokumentation zur Datenerzeugung beschreibt Werkzeuge für Sensor- und Szenensimulation sowie Annotationen. Das ist ein konkretes technisches Beispiel, keine Voraussetzung, jedes Vorhaben mit diesem Werkzeug umzusetzen.
Für eine Prüfaufgabe kann ein enger kontrollierter Renderer geeigneter sein als eine frei generierende Bildpipeline. Wählen Sie den Grad der Freiheit danach, welche Eigenschaften erhalten bleiben müssen.
Der digitale Zwilling braucht messbare Anknüpfungspunkte
Beginnen Sie mit Kamera, Arbeitsraum und den tatsächlichen Objekten. Prüfen Sie Brennweite, Auflösung, Abstand, Blickwinkel und die relevanten Oberflächen. Bei Tiefensensoren können andere Abweichungen entscheidend sein als bei Farbbildern.
Dokumentieren Sie die Maßeinheit und Koordinatensysteme. Ein Objekt, das geometrisch gut aussieht, kann für die Greifplanung unbrauchbar sein, wenn Maßstab oder Bezugspunkt falsch sind. Eine Änderung der Kamera sollte nicht unbemerkt als neues Modellproblem erscheinen.
Der Zwilling muss nicht jedes Detail des Gebäudes enthalten. Für ein Erkennungsproblem können Hintergrund, Verdeckung und Beleuchtung wesentlich sein; für Kontaktaufgaben kommen mechanische Eigenschaften hinzu. Priorisieren Sie die Größen, die den Fehler tatsächlich beeinflussen.
Was Domain Randomization leisten soll
Bei Domain Randomization werden ausgewählte Eigenschaften systematisch variiert, etwa Licht, Objektlage oder Materialdarstellung. Die NVIDIA-Anleitung zum Sim-to-Real-Transfer zeigt das Prinzip in einem Robotik-Workflow.
Für einen industriellen Datensatz sollten die Wertebereiche begründet sein. Wenn die Kamera nur wenige Millimeter Spiel hat, hilft eine beliebige Verteilung über den gesamten Raum möglicherweise wenig. Wenn reale Verdeckungen häufig sind, gehören dagegen realistische Verdeckungssituationen in die Variation.
Auch Kombinationen zählen. Ein seltenes Material kann gerade bei flachem Licht und ungünstigem Blickwinkel schwierig sein. Halten Sie solche Kombinationen im Testsatz fest, statt nur jede Eigenschaft einzeln zu variieren.
Ein sauberer Vergleich benötigt reale Testdaten
Teilen Sie reale Daten vor Beginn der Entwicklung in einen nutzbaren Entwicklungsteil und einen unabhängigen Testteil. Der Testteil bleibt auch von der Anpassung der Simulation ausgeschlossen. Sonst fließt Wissen über die spätere Prüfung indirekt in die Datenerzeugung ein.
Vergleichen Sie nach Möglichkeit drei Varianten: Training mit realen Daten, mit synthetischen Daten und mit einer definierten Mischung. Die Bewertung erfolgt auf denselben realen Fällen. Damit wird sichtbar, ob synthetische Daten unter Ihrem Datenbudget tatsächlich helfen.
Prüfen Sie nach Fehlergruppen. Eine bessere mittlere Erkennung kann mit schlechterer Leistung bei glänzenden Teilen einhergehen. Für Robotik zählen zusätzlich die Fehler der nachgelagerten Aufgabe: richtige Objektklasse, brauchbare Pose und schließlich der erfolgreiche, zulässige Ablauf sind verschiedene Ergebnisse.
Beispiel: Teilelage im Behälter erkennen
Ein möglicher Pilot betrifft die Lageerkennung einer Bauteilfamilie. Der synthetische Datensatz variiert Stapelhöhe, Orientierung, Verdeckung und Licht. Die Annotation enthält die dafür benötigte Zielgröße, etwa Objektmaske oder Pose. Das Beispiel beschreibt einen Versuchsaufbau, keine gemessene Welf-Anwendung.
Die unabhängige Prüfung verwendet echte Behälterbilder aus späteren Aufnahmen. Eine Auswertung zeigt, welche Situationen häufiger verwechselt werden und wo die Lageabweichung für den nächsten Arbeitsschritt zu groß ist. Erst danach wird ein begrenzter physischer Versuch vorbereitet.
Eine korrekte Erkennung belegt noch keinen sicheren Greifvorgang. Bewegungsplanung, Greifer, Steuerung und die vorgesehenen Schutzmaßnahmen benötigen ihre eigene Prüfung. Der Leitfaden zu Physical AI ordnet diese zusätzlichen Anforderungen ein.
Welche Daten Ihr Team reproduzieren können sollte
Speichern Sie Szenenversion, Parameterbereiche, Zufallsstartwerte, Renderer- oder Simulatorversion und die Annotationseinstellungen. So lässt sich eine auffällige Trainingsgruppe erneut erzeugen. Ein Ordner mit Bildern allein ist keine nachvollziehbare Datenpipeline.
Prüfen Sie Nutzungsrechte für CAD-Modelle, Texturen und Ausgangsdaten. Bei aus realen Daten abgeleiteten Beispielen ist „synthetisch“ keine automatische Zusage über Datenschutz oder Vertraulichkeit. Diese Eigenschaften hängen vom Verfahren und den verwendeten Daten ab.
Die laufenden Kosten umfassen die Pflege der Szene und die Überprüfung neuer Varianten. Wenn sich die Anlage häufig ändert, muss dieser Aufwand in den Vergleich mit zusätzlichen realen Aufnahmen einfließen.
Welfs Ansatz verbindet Datenerzeugung mit einer klaren Evaluationsfrage und der späteren Anwendung. Beginnen Sie mit einer bekannten Fehlergruppe und einem unabhängigen realen Testsatz. Einen Datentest für Robotik besprechen. Wie sich generative Weltmodelle davon unterscheiden, erklärt der Beitrag zu World Models in der Industrie.