{"id":809,"date":"2023-10-18T13:42:45","date_gmt":"2023-10-18T11:42:45","guid":{"rendered":"https:\/\/blog.rwth-aachen.de\/robotik\/?p=809"},"modified":"2024-09-04T11:19:48","modified_gmt":"2024-09-04T09:19:48","slug":"robot-cooking-ueberfuehrung-von-beobachtungen-in-eine-planungssprache","status":"publish","type":"post","link":"https:\/\/blog.rwth-aachen.de\/robotik\/robot-cooking-ueberfuehrung-von-beobachtungen-in-eine-planungssprache\/","title":{"rendered":"Robot Cooking &#8211; \u00dcberf\u00fchrung von Beobachtungen in eine Planungssprache"},"content":{"rendered":"<p><\/p>\n<p>&nbsp;<\/p>\n<div style=\"width: 1920px;\" class=\"wp-video\"><video class=\"wp-video-shortcode\" id=\"video-809-1\" width=\"1920\" height=\"1080\" autoplay preload=\"metadata\" controls=\"controls\"><source type=\"video\/mp4\" src=\"https:\/\/blog.rwth-aachen.de\/robotik\/files\/2023\/10\/Komplett_v02.mp4?_=1\" \/><a href=\"https:\/\/blog.rwth-aachen.de\/robotik\/files\/2023\/10\/Komplett_v02.mp4\">https:\/\/blog.rwth-aachen.de\/robotik\/files\/2023\/10\/Komplett_v02.mp4<\/a><\/video><\/div>\n<p>&nbsp;<\/p>\n<p>\u00dcberf\u00fchrung von Beobachtungen in eine Planungssprache: Ein automatisierter Ansatz im Bereich des Kochen<\/p>\n<p>Im Robot Cooking Projekt wird eine automatisierte Methode entwickelt, um Bewegungsdaten zu analysieren, identifizieren und in eine maschinenlesbare Planungssprache zu \u00fcberf\u00fchren. Dies geschieht am Beispiel eines Kochszenarios, indem die Bewegungsdaten durch die Aufzeichnung der Handpose des Kochs erfasst werden.<\/p>\n<p>Die Aufzeichnung erfolgt mit einem Motion-Capture-System, bestehend aus sieben Kameras und einem Handschuh mit drei Markern auf dem Handr\u00fccken des Kochs. Die Position der Marker wird durch Triangulation bestimmt. Dies liefert gen\u00fcgend Informationen, um die Handpose abzuleiten. Die Aufnahme erfolgt mit 120 Bildern pro Sekunde. Vor dem Kochvorgang werden alle Objekte im Arbeitsraum identifiziert und ihre Ausgangspositionen bestimmt. Die Bewegungsdaten werden kontinuierlich aufgezeichnet und in Posen mit Zeitstempeln umgewandelt. Zus\u00e4tzliche Informationen wie Geschwindigkeit, Beschleunigung und Winkel in Bezug auf die Tischplatte werden aus den Rohdaten abgeleitet.<\/p>\n<p>Eine erste Strukturierung des Datensatzes erfolgt durch die Identifizierung der Nebenhandlungen mittels Klassifikation. Hierbei werden Greifen, Bewegen und Ablegen als wiederkehrende Handlungen erkannt. Ein eigener Trainingsdatensatz wird verwendet, um einen Klassifikator zu trainieren, der diese Handlungen erkennt. Dies erm\u00f6glicht eine einfachere Analyse der verbleibenden Aktionen.<\/p>\n<p>Das Clustering wird angewendet, um unbekannte Aktionen zu identifizieren. Ein dynamischer Ansatz erm\u00f6glicht die Analyse trotz hoher Variabilit\u00e4t in der Ausf\u00fchrung. Ein eindeutiger Fingerabdruck f\u00fcr jede Handlung wird gefunden, basierend auf der Ausrichtung des Handr\u00fcckens und seiner Geschwindigkeit auf der Tischebene, um jedes Einzelbild einem Cluster und schlie\u00dflich einer Aktionen zuzuordnen.<\/p>\n<p>Die gewonnenen Erkenntnisse aus Klassifikation und Clustering werden in eine maschinenlesbare Planning Domain Definition Language (PDDL) \u00fcbersetzt. Ein Zeitplan wird erstellt, wobei bekannte Aktionen direkt zugeordnet werden. Start- und Endpositionen werden festgelegt, und virtuelle Objektverfolgung wird verwendet, um den Verlauf von Objekten w\u00e4hrend des Kochens darzustellen. F\u00fcr unbekannte Aktionen werden Vorbedingungen und Auswirkungen dynamisch gehandhabt. Die Ergebnisse werden in eine maschinenlesbare PDDL \u00fcbersetzt. Diese formale Darstellung erm\u00f6glicht die effiziente automatische Planung und Ausf\u00fchrung der zuvor demonstrierten Kochaufgabe.<\/p>\n<p>Zus\u00e4tzliche Informationen sind im oben verlinkten Video, dem <a href=\"https:\/\/publications.rwth-aachen.de\/record\/960437\">Poster<\/a> und dem <a href=\"https:\/\/www.mdpi.com\/2673-4117\/4\/4\/143\">Paper<\/a> verf\u00fcgbar.<\/p>\n<p>Ansprechpartner:<br \/>\n<a href=\"https:\/\/www.igmr.rwth-aachen.de\/cms\/igmr\/Das-Institut\/Team\/~thviv\/Dr-Ing-Markus-Schmitz\/\">Markus Schmitz<\/a><\/p>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n<p>","protected":false},"excerpt":{"rendered":"<p>&nbsp; &nbsp; \u00dcberf\u00fchrung von Beobachtungen in eine Planungssprache: Ein automatisierter Ansatz im Bereich des Kochen Im Robot Cooking Projekt wird eine automatisierte Methode entwickelt, um Bewegungsdaten zu analysieren, identifizieren und [&hellip;]<\/p>\n","protected":false},"author":4560,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"c2c_always_allow_admin_comments":false,"footnotes":""},"categories":[1],"tags":[324,144,135,46,151,137,136,355,141,265],"class_list":["post-809","post","type-post","status-publish","format-standard","hentry","category-allgemein","tag-ai","tag-arbeitsraumueberwachung","tag-aufgabenplanung","tag-ki","tag-kollaboration","tag-mrk","tag-pddl","tag-robot-cooking","tag-roboterprogrammierung","tag-task-planning"],"_links":{"self":[{"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/posts\/809","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/users\/4560"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/comments?post=809"}],"version-history":[{"count":4,"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/posts\/809\/revisions"}],"predecessor-version":[{"id":815,"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/posts\/809\/revisions\/815"}],"wp:attachment":[{"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/media?parent=809"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/categories?post=809"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/robotik\/wp-json\/wp\/v2\/tags?post=809"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}