- Anzeige -
- Anzeige -
- Anzeige -
- Anzeige -
Simulationsmodelle der Virtuellen Inbetriebnahme als Lernumgebung für Reinforcement Learning Algorithmen
Selbstlernende Steuerungssysteme
Die Umstellung eines Produktionssystems, z.B. einer Roboterzelle, auf ein neues Produkt muss künftig schnell und mit wenig Aufwand möglich sein. Die Steuerungssysteme, sowie die zugehörigen Engineering Methoden, müssen dabei intelligent und lernfähig werden, manuelle Aufwände in der Entwicklung zu reduzieren. Die virtuelle Inbetriebnahme stellt eine geeignete Lernumgebung dar, in der sich das Steuerungssystem mit Methoden der künstlichen Intelligenz selbst programmiert. Dafür müssen die Simulationswerkzeuge erweitert und möglichst standardisierte Schnittstellen geschaffen werden.
 Vergleich der Architektur von X-in-the-Loop-Simulation (a) und Reinforcement-Learning-Ansatz (b)
Vergleich der Architektur von X-in-the-Loop-Simulation (a) und Reinforcement-Learning-Ansatz (b)Bild: Institut für Steuerungstechnik der Werkzeugmaschinen und Fertigungseinrichtungen (ISW)

Schnittstelle zum VIBN-Werkzeug

Um Reinforcement Learning für Produktionssysteme nutzbar zu machen ist es wichtig auf bereits existierende Ansätze und vor allem Software-Bibliotheken zurückzugreifen. Der Steuerungsentwickler soll in die Lage versetzt werden aktuellen Methoden und Algorithmen integrieren zu können, ohne diese selbst zu entwickeln oder anzupassen. Wichtig dafür ist es, die Lernumgebung an bestehenden Standards zu orientieren. OpenAI, Google und Microsoft stellen standardisierte Lernumgebungen als Bibliothek als zur Verfügung um eigene Lernalgorithmen zu valideren und zu vergleichen. Das am häufigsten verwendete Toolkit, OpenAI Gym, stellt Open-Source-Lernumgebungen für Computerspiele, physikbasierte Simulationen oder klassische Steuerungs- und Regelungsprobleme zur Verfügung. Es definiert dadurch einen DeFacto-Standard für Lernumgebungen, in Bezug auf den Aufbau und die Schnittstellen. Besonders interessant ist die Tatsache, dass für eine solche OpenAI-Gym-Lernumgebung auch Open-Source-Algorithmen (OpenAI Baselines) zur Verfügung stehen, die aktuelle Entwicklungen und Fortschritte aus der Forschung beinhalten. Diese Algorithmen werden in verschiedenen Communitys laufend verbessert und erweitert und sind auf eine Vielzahl von Anwendungsfällen anwendbar, solange die zugehörigen Lernumgebungen dem OpenAI-Standard entsprechen.

 Die VIBN-Simulationsumgebung ISG-Virtuos ist 1:1 als OpenAI Gym verwendbar, um Lernalgorithmen ohne Anpassung verwenden zu können.
Die VIBN-Simulationsumgebung ISG-Virtuos ist 1:1 als OpenAI Gym verwendbar, um Lernalgorithmen ohne Anpassung verwenden zu können.Bild: Institut für Steuerungstechnik der Werkzeugmaschinen und Fertigungseinrichtungen (ISW)

Lernumgebung für Zeilensteuerung und Motion

Durch entsprechende Erweiterungen eines VIBN-Simulationswerkzeuges, sodass der OpenAI-Standard eingehalten werden kann, stehen folglich eine Vielzahl von Lernalgorithmen zur Verfügung. Am ISW der Uni Stuttgart wurde eine entsprechende Lösung in Verbindung mit einem VIBN-Simulationswerkzeug entwickelt. Für die Erfüllung des OpenAI-Standards waren dabei bestimmte Funktionen des Werkzeugs gegeben. Es muss eine Schnittstelle für den Austausch von Signalen, zwischen dem Agenten und der Simulation bestehen. Üblicherweise existieren bei VIBN-Simulationswerkzeugen dazu Schnittstellen auf Feldbusebene, um denselben Kommunikationsweg wie am realen System zu realisieren. Für eine VIBN-Lernumgebung müssen jedoch weitere relevante Funktionen wie das Starten, Stoppen und Resetten von Simulationen sowie das Parametrieren von Simulationsmodellen realisiert werden. Daher wurde auf Basis einer Remote-Schnittstelle des VIBN-Simulationswerkzeuges eine spezielle Kommunikationsschnittstelle entwickelt, welche den OpenAI-Standards entspricht. Die entwickelte VIBN-Lernumgebung wurde bisher für einfache Logiksteuerungen (Zellensteuerung) und Bewegungssteuerungen (Motion) für Robotersysteme getestet.

Steuerungstechnik aus der Cloud? Der damals kontrovers diskutierte Ansatz wurde vor fünf Jahren erstmals umfangreich auf der Fachtagung Stuttgarter Innovationstage präsentiert. Zum fünfjährigen Jubiläum werden Experten und Anwender am 2. und 3. März 2021 in einer Podiumsdiskussion die Fortschritte der Steuerungstechnik aus der Cloud und reale Anwendungsfälle aufzeigen. Zusätzlich geben an beiden Tagen die Schwerpunktthemen Software Defined Manufacuturing und Intelligente Produktion Einblicke in aktuelle Trends und Entwicklungen. Die Fachvorträge und der direkte Kontakt zu den geladenen Experten aus den Fachbereichen der IT und Automatisierungstechnik ermöglichen den interdisziplinären Austausch mit den Gestaltern der Steuerungstechnik von morgen. Weitere Infos zur Fachtagung unter www.stuttgarter-innovationstage.de

Artikelserie Stuttgarter Innovationstage

Teil1: Selbstlernende Steuerungssysteme (SPS-MAGAZIN 10/2020)

Teil2: Umati für Werkzeugmaschinen (SPS-MAGAZIN 11/2020)

Teil3: KI-basierte Qualitätsüberwachung (SPS-MAGAZIN 13/2020)

Teil4: Computer Vision in der Steuerung (SPS-MAGAZIN 1/2021)

Seiten: 1 2Auf einer Seite lesen

ISW Institut für Steuerungstechnik der
http://www.isw.uni-stuttgart.de

Das könnte Sie auch Interessieren

Bild: Siko GmbH
Bild: Siko GmbH
Gut beraten – gut gelagert

Gut beraten – gut gelagert

Die Firma Siko entwickelt und produziert Messgeräte und Positioniersysteme für Automatisierungsprozesse. In den teilweise kundenspezifisch
angepassten Lösungen herrschen ganz besondere Einsatzbedingungen, deshalb ist die Wahl der passenden
Wälzlager oft komplex. Die richtigen Lösungen für neue Produkte im Bereich Stellantriebe und Drehgeber wurden deshalb in Zusammenarbeit mit dem Wälzlagerhersteller Findling ausgewählt.

Bild: CHIRON Werke GmbH & Co. KG
Bild: CHIRON Werke GmbH & Co. KG
Neuer CEO bei Chiron

Neuer CEO bei Chiron

Carsten Liske ist neuer CEO des Maschinenbauers Chiron mit Hauptsitz in Tuttlingen. „Liske bringt mehr als 20 Jahre Erfahrung im internationalen Investitionsgütergeschäft mit“, betont Dr. Armin Schmiedeberg, Vorsitzender des Verwaltungsrats. Der neue Chiron-Chef begann seine Laufbahn bei ABB in Zürich und Unaxis in Liechtenstein.

Bild: Siemens AG
Bild: Siemens AG
Vision-KI für SPS

Vision-KI für SPS

Siemens bringt ein Modul mit integriertem KI-fähigen Chip für die Steuerung Simatic S7-1500 und das I/O-System ET 200MP auf den Markt: Die S7-1500 TM NPU (Neural Processing Unit) ist ausgestattet mit dem KI-Chip Intel Movidius Myriad X Vision Processing Unit.

Bild: Werma Signaltechnik GmbH & Co. KG
Bild: Werma Signaltechnik GmbH & Co. KG
Einfach implementier- und nachrüstbar

Einfach implementier- und nachrüstbar

Nahe dem Schloss Neuschwanstein, im Herzen Bayerns am Forggensee, liegt das Unternehmen Eberle Rieden. Vor 33 Jahren als Werkzeugbau gegründet, produziert das Unternehmen heute Stanz- und Stanz/Biegeteile
für einen großen internationalen Kundenstamm der unterschiedlichsten Branchen, vorrangig aus dem Bereich Automotive und weiteren Industriezweigen, wie der Elektro- und Möbelindustrie. Bei den durchgeführten
Maßnahmen zur Optimierung der Produktion griff das Unternehmen auf eine Lösung von Werma zurück.

- Anzeige -
- Anzeige -
- Anzeige -