Schlagwort: ‘Task Planning’
Robot Cooking – Überführung von Beobachtungen in eine Planungssprache
Überführung von Beobachtungen in eine Planungssprache: Ein automatisierter Ansatz im Bereich des Kochen
Im Robot Cooking Projekt wird eine automatisierte Methode entwickelt, um Bewegungsdaten zu analysieren, identifizieren und in eine maschinenlesbare Planungssprache zu überführen. Dies geschieht am Beispiel eines Kochszenarios, indem die Bewegungsdaten durch die Aufzeichnung der Handpose des Kochs erfasst werden.
Die Aufzeichnung erfolgt mit einem Motion-Capture-System, bestehend aus sieben Kameras und einem Handschuh mit drei Markern auf dem Handrücken des Kochs. Die Position der Marker wird durch Triangulation bestimmt. Dies liefert genügend Informationen, um die Handpose abzuleiten. Die Aufnahme erfolgt mit 120 Bildern pro Sekunde. Vor dem Kochvorgang werden alle Objekte im Arbeitsraum identifiziert und ihre Ausgangspositionen bestimmt. Die Bewegungsdaten werden kontinuierlich aufgezeichnet und in Posen mit Zeitstempeln umgewandelt. Zusätzliche Informationen wie Geschwindigkeit, Beschleunigung und Winkel in Bezug auf die Tischplatte werden aus den Rohdaten abgeleitet.
Eine erste Strukturierung des Datensatzes erfolgt durch die Identifizierung der Nebenhandlungen mittels Klassifikation. Hierbei werden Greifen, Bewegen und Ablegen als wiederkehrende Handlungen erkannt. Ein eigener Trainingsdatensatz wird verwendet, um einen Klassifikator zu trainieren, der diese Handlungen erkennt. Dies ermöglicht eine einfachere Analyse der verbleibenden Aktionen.
Das Clustering wird angewendet, um unbekannte Aktionen zu identifizieren. Ein dynamischer Ansatz ermöglicht die Analyse trotz hoher Variabilität in der Ausführung. Ein eindeutiger Fingerabdruck für jede Handlung wird gefunden, basierend auf der Ausrichtung des Handrückens und seiner Geschwindigkeit auf der Tischebene, um jedes Einzelbild einem Cluster und schließlich einer Aktionen zuzuordnen.
Die gewonnenen Erkenntnisse aus Klassifikation und Clustering werden in eine maschinenlesbare Planning Domain Definition Language (PDDL) übersetzt. Ein Zeitplan wird erstellt, wobei bekannte Aktionen direkt zugeordnet werden. Start- und Endpositionen werden festgelegt, und virtuelle Objektverfolgung wird verwendet, um den Verlauf von Objekten während des Kochens darzustellen. Für unbekannte Aktionen werden Vorbedingungen und Auswirkungen dynamisch gehandhabt. Die Ergebnisse werden in eine maschinenlesbare PDDL übersetzt. Diese formale Darstellung ermöglicht die effiziente automatische Planung und Ausführung der zuvor demonstrierten Kochaufgabe.
Zusätzliche Informationen sind im oben verlinkten Video, dem Poster und dem Paper verfügbar.
Ansprechpartner:
Markus Schmitz
Ein mehrschichtiger Task-Sequencing-Ansatz
Cobots sind bei Fertigungsunternehmen im Gegensatz zu vollautomatischen Produktionslinien sehr gefragt, da sie den zusätzlichen Vorteil eines flexiblen Betriebs bieten. Eine große Herausforderung bei den derzeitigen kollaborativen Systemen sind die langwierigen Setup-Zeiten für eine effiziente und robuste Mensch-Roboter Kollaboration sowie die schlechte Unterstützung für zufällige Unterbrechungen.
Dieses Projekt zielt darauf ab, autonome kollaborative Prozessschritte für serielle Manipulatoren zu ermöglichen, bei denen Unterbrechungen durch menschliches Eingreifen auftreten können. Zu diesem Ziel werden zwei Hauptaspekte behandelt, die die Ausführung von Aufgaben beeinflussen, nämlich die Ausführungszeit und die Kollaboration:
1. Eine Methode zur Minimierung der zurückgelegten Gesamtstrecke wird entwickelt, in der die für die jeweilige Aufgabe optimale Sequenz von Prozessschritten unter Beibehaltung der Online-Betriebsfähigkeiten eingehalten wird.
2. Ein Echtzeit-Algorithmus wird entwickelt und implementiert, der die Mersch-Roboter Kollaboration in Umgebungen mit zufälligen Unterbrechungen ermöglicht. Das Ziel ist den Betrieb auch dann aufrechtzuerhalten und die Sicherheit der menschlichen Mitarbeiter zu gewährleisten, wenn Bereiche des Arbeitsraums verdeckt sind.
Ein Beispiel für den Einsatz auf einer Prototyp-Plattform, bestehend aus einem kollaborativen UR10e-Arm, einer Stereokamera zur statischen Umgebungserfassung und einem Laserscanner zur Erfassung von dynamischen Hindernissen, wird im Video gezeigt.
Ansprechpartner: Daniel Gossen
Musik: madiRFAN – Both of Us (https://pixabay.com/music/beats-madirfan-both-of-us-14037/)
Das Video auf unserem Kanal: hier.
IGMR-Seminar 11.05.2021, 16:00 – 17:00 Uhr: Task Planning, Environment Representation and Reasoning in Agricultural and Industrial Robotics
Wir freuen uns Oscar Lima vom DFKI (Deutsches Forschungszentrum für Künstliche Intelligenz) aus Osnabrück als Vortragender beim nächsten Termin der IGMR Vortragsreihe im Sommersemester 21 zu haben. Der Titel seines Vortrags lautet Task Planning, Environment Representation and Reasoning in Agricultural and Industrial Robotics.
The focus of the talk will be on DFKI Osnabrück projects. Most of our work is related to agricultural robotics, perception, environment representation, reasoning and task planning. We start the talk with the concept of precision farming, how robots can assist there, to then look into route planning, environment representation, and some of its applications in navigation and expert systems. At the end of the talk we will finish with projects that are related with industry 4.0 and one which aims to provide a generic tool for AI planning in Europe. The talk is light and conceptual, I hope to catch your attention with interesting and new ideas!
Zoom Meeting Informationen:
11.05.2021, 16:00 – 17:00 Uhr
https://rwth.zoom.us/j/95798557131?pwd=WDNoUmxLV3h4R2JTWVZWMWNSajhNZz09
Meeting-ID: 957 9855 7131
Kenncode: 917617
Die Datenschutzhinweise zur Nutzung von Zoom und eine Handreichung für Teilnehmer (Studierende) können von den Seiten des CLS der RWTH Aachen University heruntergeladen werden.
Die Veranstaltungen werden in Zusammenarbeit mit dem VDI-GPP-Arbeitskreis des Bezirksvereins Aachen durchgeführt.
