- Anzeige -
- Anzeige -
- Anzeige -
Lesedauer: 10min
Simulationsmodelle der Virtuellen Inbetriebnahme als Lernumgebung für Reinforcement Learning Algorithmen
Selbstlernende Steuerungssysteme

Okt 14, 2020 | Konstruktion und Planung

Die Umstellung eines Produktionssystems, z.B. einer Roboterzelle, auf ein neues Produkt muss künftig schnell und mit wenig Aufwand möglich sein. Die Steuerungssysteme, sowie die zugehörigen Engineering Methoden, müssen dabei intelligent und lernfähig werden, manuelle Aufwände in der Entwicklung zu reduzieren. Die virtuelle Inbetriebnahme stellt eine geeignete Lernumgebung dar, in der sich das Steuerungssystem mit Methoden der künstlichen Intelligenz selbst programmiert. Dafür müssen die Simulationswerkzeuge erweitert und möglichst standardisierte Schnittstellen geschaffen werden.
Bild: ISW Institut für Steuerungstechnik der

In vielen Industriebereichen steigt die Produktvarianz, was bedeutet, dass produzierende Unternehmen auch bei kleineren Losgrößen weiterhin effizient sein müssen. Besonders für kleine und mittelständische Firmen steigen die Herausforderungen dabei effizient und automatisiert produzieren zu können. Zudem sind kleine Unternehmen oftmals Teil einer größeren Wertschöpfungskette. Sie müssen dadurch schnell und unter hoher Termintreue reagieren können und ihr Produktionssystem auf eine neue Variante umstellen können. Problematisch ist zumeist nicht die Automatisierung von Produktionsprozessen an sich, sondern diese möglichst effizient zu erreichen. Besonders wichtig für kleine Losgrößen ist es, den Aufwand des Engineerings für alle an der Automatisierung beteiligten Systeme gering zu halten. Dabei hilft der zunehmende Trend zum Software-Defined-Manufacturing. Funktionen, die früher spezielle Hardware benötigten, werden zunehmend auf die Softwareseite der Automatisierung verlagert. Ein wichtiges Werkzeug für der Softwareentwickler im Bereich Produktionstechnik ist deshalb die virtuelle Inbetriebnahme (VIBN) mit ihren Simulationsmodellen.

Bild: ISW Institut für Steuerungstechnik der

Erleichterung für Entwickler

Die Simulationsmodelle stehen früher zur Verfügung als ein realer Aufbau des Produktionssystems, der beim Kunden oder auf eigenen Flächen in Betrieb genommen wird. Die Steuerungsentwicklung kann zeitlich und räumlich verlagert werden, was die Arbeit des Entwicklers erleichtert. Durch das simulierte System erhält er früher eine Entwicklungs- und Testumgebung. Eine solche Umgebung wird als X-in-the-Loop-System bezeichnet, in der ein Testobjekt X (das Steuerungssystem), mithilfe einer Feedback-Schleife iterativ entwickelt und verbessert werden kann. Das iterative Vorgehen wird durch den Entwickler vorangetrieben, der durch direktes Austesten eines Entwicklungsschritts Feedback erhält und darauf basierend den nächsten Schritt plant und umsetzt. Das iterative Vorgehen bei der Entwicklung am X-in-the-Loop-System unterscheidet sich im Grundsatz jedoch kaum von einer konventionellen Entwicklung ohne Simulationsmodelle. Egal ob das Feedback nun aus der Simulation oder noch vom realen System kommt, die Iterationen hin zur passenden Steuerungslösung sind nach wie vor vom Entwickler manuell durchzuführen. Ein Ansatz welcher die Iterationen mithilfe der Simulation selbstständig durchführt und so automatisiert zur Lösung kommt, wäre eine deutliche Erleichterung für den Entwickler und kann dadurch die Effizienz des Engineerings erheblich steigern.

Bild: ISW Institut für Steuerungstechnik der

Reinforcement Learning als Ansatz

Eine solcher Ansatz zur selbständigen Iteration und Lösungsfindung am X-in-the-Loop-System ist Reinforcement Learning. Dieser Begriff steht für eine Klasse von Problemen, für die eine Vielzahl von Methoden im Bereich des maschinellem Lernens zur Verfügung stehen. Dabei interagiert ein lernfähiges Programm, ein sogenannter Agent mit einer bekannten oder unbekannten Umgebung (engl. Environment). Der Agent sieht die Umgebung über bestimmte Zustandsvariablen und kann über definierte Aktionen Einfluss auf seine Umgebung ausüben. Er lernt dabei laufend dazu und passt sich an, indem er für jede Iteration eine Belohnung oder Bestrafung als numerischem Feedback von der Umgebung erhält. Das Ziel des Agenten ist es die Belohnung auf lange Sicht zu maximieren. Reinforcement Learning hat in vielen, oftmals noch nicht-kommerziellen, Bereichen beeindruckende Ergebnisse erzielt. Bekannte Beispiele sind Videospiele, oder Simulationen von Brettspielen wie Schach oder Go als Lernumgebung, in denen Agenten, über die einfache Maximierung eines Punktestands, auch die fähigsten Menschen weit übertreffen konnten. Entscheidend für Reinforcement Learning ist die Lernumgebung innerhalb derer der Agent interagieren kann. Für Produktionssysteme scheidet das reale System aus, da der Agent während des Lernens unweigerlich Fehler machen muss. Diese Fehler wären kostenintensiv und teilweise gefährlich für das Produktionssystem. Daher müssen simulierte Lernumgebungen geschaffen werden, oder noch besser, bereits bestehende Simulationsumgebungen müssen so erweitert werden, dass sie den Anforderungen des Reinforcement Learning gerecht werden.

 Die Simulationsmodelle der virtuellen Inbetriebnahme sind eine geeignete Lernumgebung für verschiedene Anwendungsfälle der Produktionstechnik.
Die Simulationsmodelle der virtuellen Inbetriebnahme sind eine geeignete Lernumgebung für verschiedene Anwendungsfälle der Produktionstechnik.Bild: Institut für Steuerungstechnik der Werkzeugmaschinen und Fertigungseinrichtungen (ISW)

Testumgebung als Lernumgebung

Der vorgestellte Lösungsansatz basiert auf der strukturellen Ähnlichkeit zwischen der X-in-the-Loop-Simulation und Reinforcement Learning. Die Idee besteht darin, die Entwicklungs- und Testumgebung so zu erweitern, dass sie vom Funktionsumfang einer Lernumgebung entsprechen kann. Der Agent agiert als Steuerungssystem in der X-in-the-Loop-Struktur. Ziel ist es die Abläufe und damit die Programmierung der Steuerung zu erlernen und diese anschließend auf das Steuerungssystem zu übertragen. Die Kommunikation der Soll/Ist-Werte zwischen den simulierten Komponenten und der Steuerung muss in die für Reinforcement Learning übliche Struktur mit Zuständen und Aktionen eingepasst werden. Als Ergänzung zu der X-in-the-Loop Struktur muss eine spezifische Belohnungsfunktion integriert werden, um das Reinforcement Learning Problem vollständig zu definieren. Die Belohnungsfunktion muss dabei als Zielstellung vom Steuerungsentwickler vorgegeben werden. Der Agent ist dadurch in der Lage selbstständig, in seinem über die Aktionen definierten Lösungsraum, iterativ eine Strategie zu finden, um den in der Lernumgebung vorgegebenen Anwendungsfall optimal zu lösen.

Seiten: 1 2Auf einer Seite lesen

http://www.isw.uni-stuttgart.de

News

Topstories

Das könnte Sie auch interessieren

Bild: FP InovoLabs GmbH
Bild: FP InovoLabs GmbH
So geht Retrofit!

So geht Retrofit!

In modern vernetzten Maschinen finden sich greifbare Vorteile. Zudem liefert eine zentrale Überwachung von Anlagen enormes Verbesserungspotential. Das Kosten/Nutzen-Verhältnis wäre jedoch fragwürdig, wenn dafür zuvor teuer angeschaffte Maschinen ausgetauscht werden müssten. Retrofit lautet hier die bessere Lösung.

Bild: Weidmüller GmbH & Co. KG
Bild: Weidmüller GmbH & Co. KG
Autark und modular

Autark und modular

Standalone-Steuerungen erfüllen eigenständig ihre Aufgaben und bieten dadurch in vielen Anwendungen Vorteile gegenüber zentralen Lösungen: Sie reduzieren den anlagenweiten Datenverkehr, sind unempfindlich gegenüber Störungen im Netzwerk, erleichtern die Fehlersuche und lassen sich sehr gut mit manuellen Prozessen kombinieren. Gerade hier werden neue flexible Plug&Play-Steuerungskonzepte benötigt, die sich ohne großen Aufwand auf die jeweilige Applikation einstellen lassen. Die SPS u-control web von Weidmüller vereinfacht als offene, webbasierte Steuerung den Programmierprozess, integriert Echtzeitautomatisierung sowie IoT-Kommunikation und bietet sich somit als Schnittstelle zwischen den Welten von IT und OT an.

Bild: FGW Forschungsgemeinschaft Werkzeuge und Werkstoff
Bild: FGW Forschungsgemeinschaft Werkzeuge und Werkstoff
Wo gehobelt wird, fallen Späne

Wo gehobelt wird, fallen Späne

Während Spanbildung, -fluss und Späneflug beim Hobeln und Fräsen relativ gut erforscht sind, stellen beim Kreissägen die Eingriffsverhältnisse des Sägeblatts hohe Hürden bei der Beobachtung und Untersuchung dar. Die Späne entstehen optisch unerreichbar in der Schnittfuge, fließen ebenfalls unsichtbar durch den Spanraum und werden erst beim Austritt des Sägeblatts zu einem relativ späten Zeitpunkt sichtbar. Aber auch das nur teilweise, weil sich bei vielen Anwendungen ein Teil der Späne zwischen Sägestammblatt und Schnittgut den Weg ins Freie sucht. In einem IGF-Vorhaben hat die Forschungsgemeinschaft Werkzeuge und Werkstoffe e.V (FGW) die Erfassung der realen Spanentstehung zusammen mit Holzbearbeitungsmaschinen- und -werkzeugherstellern eingehend untersucht.

Bild: G. Kraft Maschinenbau GmbH
Bild: G. Kraft Maschinenbau GmbH
Ein wahres Kraft-Paket

Ein wahres Kraft-Paket

Möbelteile transportsicher, homogen, nachhaltig, und automatisiert in Losgröße 1 verpacken. Das war das große Ziel bei der Entwicklung einer neuen Verpackungsanlage von G. Kraft Maschinenbau GmbH, sagt Jürgen Sandmeier. Er ist Konstruktionsleiter bei Kraft Maschinenbau und einer der vielen Ideengeber einer ungewöhnlichen Verpackungsanlage. Die HOB hat die Anlage unter die Lupe genommen.

Bild: Hans Turck GmbH & Co. KG
Bild: Hans Turck GmbH & Co. KG
Highway to Cloud

Highway to Cloud

Die dezentrale Automatisierung greift in vielen Fällen die Vorteile der zunehmenden Digitalisierung in der Produktion sehr gut auf. Mit einer Codesys-Steuerung im robusten IP67-Blockmodul bringt Turck eine intelligente I/O-Lösung direkt an die Maschine. Ein neues Firmware-Update erlaubt jetzt sogar die direkte Cloudanbindung ohne separates Edge Gateway

Bild: Codesys GmbH
Bild: Codesys GmbH
Im Praxiseinsatz: 
Codesys Automation Server

Im Praxiseinsatz: Codesys Automation Server

Landwirtschaft ist systemrelevant – sie macht uns alle satt. Optimierte Maschinen sorgen dafür, dass von der Aussaat bis zum Supermarkt die Qualität stimmt und arbeitsintensive Aufgaben nicht mehr körperlich aufreibend oder gefährlich sind. Wie dabei Hightech und Industrie 4.0 helfen können, erläutert das Praxisbeispiel der Firma Fliegl.

Bild: Homag Plattenaufteiltechnik GmbH
Bild: Homag Plattenaufteiltechnik GmbH
„Das Tool macht Robotersägen fürs Handwerk noch besser und wirtschaftlicher“

„Das Tool macht Robotersägen fürs Handwerk noch besser und wirtschaftlicher“

Mit den Homag-Robotersägen Sawteq B-300/B-400 flexTec begann vor zwei Jahren im Handwerk ein neues Zeitalter: das des mannlosen Zuschnitts. Die Sägen erledigen ihn über längere Strecken autonom, lassen sich aber auch von Hand bedienen. Das bleibt auch weiterhin so. Neu ist ein digitales Produkt, der intelliOptimizer Stacking. Er verlängert die Phasen der autonomen Fertigung deutlich. Die HOB-Redaktion sprach mit Arne Mömesheim, Product Manager Software bei der Homag Plattenaufteiltechnik GmbH, über die Neuentwicklung.

- Anzeige -
- Anzeige -
- Anzeige -