Schlagwort: ‘MRK’

Robot Cooking – Transferring observations into a planning language

October 18th, 2023 | by



Transferring observations into a planning language: An automated approach in the field of cooking

In the Robot Cooking project, an automated method is developed to analyze and identify motion data and convert it into a machine-readable planning language. This is done using a cooking scenario as an example in which the motion data is captured by recording the hand pose of the cook.

The recording is done using a motion capture system consisting of seven cameras and a glove with three markers on the back of the chef’s hand. The position of the markers is determined by triangulation. This provides enough information to derive the hand pose. The recording is done at 120 frames per second. Before the cooking process, all objects in the workspace are identified and their initial positions determined. Motion data is continuously recorded and converted into poses with time stamps. Additional information such as velocity, acceleration and angle in relation to the tabletop are derived from the raw data.

A initial structure of the dataset is created by finding the side actions using classification. Here, pick, move and place are identified as recurrent side actions. A separate training dataset is used to train a classifier that recognizes these actions. This enables an easier analysis of the remaining actions.

Clustering is applied to identify unknown actions. A dynamic approach allows analysis despite high variability in execution. A unique fingerprint for each action is found, based on the orientation of the back of the hand and its speed on the table plane, to assign each frame to a cluster and finally to an action.

The knowledge gained from classification and clustering is translated into a machine-readable Planning Domain Definition Language (PDDL). A schedule is created, with known actions directly assigned. Start and end positions are specified, and virtual object tracking is used to represent the progression of objects during cooking. For unknown actions, preconditions and effects are handled dynamically. The results are translated into a machine-readable PDDL. This formal representation enables efficient automatic scheduling and execution of the previously demonstrated cooking task.

Additional information is available in the video linked above, the poster and the paper.

Markus Schmitz



Project launch IIDEA – Inclusion and integration through cobots on the labor market

April 28th, 2023 | by

In April, the innovative project “IIDEA – Inclusion and integration through cobots in the first labor market” was launched, which aims to empower the inclusion and integration of severely disabled people in the first labor market through collaborative robotics.

The deployment of cobots makes it possible to create new jobs and forms of work that satisfy the individual needs of severely disabled people. These new forms of work are not being established on the margins but at the heart of digitization and Industry 4.0.

In a rapidly changing world, we must focus on the needs of all people and ensure that everyone can reach their full potential. The IIDEA project is an important step towards an inclusive and inclusive society and economy.

For more information about the project, please visit the project profile. If you have any further questions, please feel free to contact our staff:

Prof. Mathias Hüsing
Carlo Weidemann
Sophie-Charlotte Keunecke
Elodie Hüsing
Christina Jansen

Results of the project Next Generation

July 21st, 2022 | by
Watch this video on YouTube.
Der an dieser Stelle eingebundene Inhalt führt Sie auf Seiten, die von der von Google betriebenen Seite YouTube - YouTube, LLC, 901 Cherry Ave., San Bruno, CA 94066, USA - zur Verfügung gestellt werden. Mit dem Aufruf des Inhalts kann YouTube Ihre IP-Adresse und die Sprache des Systems, sowie verschiedene browserspezifische Angaben ermitteln. Wenn Sie in Ihrem YouTube-Account eingeloggt sind, ermöglichen Sie YouTube, Ihr Surfverhalten direkt Ihrem persönlichen Profil zuzuordnen. Dies können Sie verhindern, indem Sie sich aus Ihrem YouTube-Account ausloggen. YouTube verwendet Cookies und Tracking-Tools. Die Datenverarbeitungsvorgänge sowie die Zwecke der Verarbeitung können direkt bei YouTube erfragt und eingesehen werden.

At the end of the Next Generation project, the perspectives of all those involved were collected. As always, the focus is on people. With the inclusive workplace and the collaborative robot, the project shows new perspectives for the employment of people with multiple disabilities. HRC is an enabler for inclusion in the primary labor market! We are happy about the great project results and the video reflecting them.

For more information about the project, click here.


Carlo Weidemann
Elodie Hüsing
Mathias Hüsing


Next Generation project wins 3rd Digital Prize

June 24th, 2022 | by


Together with our project partners Caritas Wertarbeit Köln e.V. and the Fachhochschule des Mittelstands (University of Applied Sciences for Small and Medium Enterprises), we accepted the third place in the Digital Prize and the prize money of 2,000 euros for the Next Generation project at the Futurium in Berlin on Tuesday, 3 May.

The Digital Prize is being awarded for the second time since 2019. According to the theme ‘Digital Inclusive’, the CBP aims to promote the use of digital technologies for people with disabilities and mental illnesses in the fields of disability assistance, psychiatry, politics, research, and business. At the end of the project, we are delighted to have received this award and would like to thank all those involved in and supporting the project. Next Generation is funded by the Stiftung Wohlfahrtspflege NRW, the Landschaftsverband Rheinland and the Caritasverband der Stadt Köln e.V.

Watch this video on YouTube.
Der an dieser Stelle eingebundene Inhalt führt Sie auf Seiten, die von der von Google betriebenen Seite YouTube - YouTube, LLC, 901 Cherry Ave., San Bruno, CA 94066, USA - zur Verfügung gestellt werden. Mit dem Aufruf des Inhalts kann YouTube Ihre IP-Adresse und die Sprache des Systems, sowie verschiedene browserspezifische Angaben ermitteln. Wenn Sie in Ihrem YouTube-Account eingeloggt sind, ermöglichen Sie YouTube, Ihr Surfverhalten direkt Ihrem persönlichen Profil zuzuordnen. Dies können Sie verhindern, indem Sie sich aus Ihrem YouTube-Account ausloggen. YouTube verwendet Cookies und Tracking-Tools. Die Datenverarbeitungsvorgänge sowie die Zwecke der Verarbeitung können direkt bei YouTube erfragt und eingesehen werden.


Mathias Hüsing
Carlo Weidemann
Elodie Hüsing


Task Planning for AI in an Office Scenario with Mobile Manipulators

May 20th, 2022 | by

Transformation of workplaces by human-robot collaboration (HRC) at Ford

April 27th, 2022 | by

Zusammenarbeit zwischen Mensch und Roboter

Since April 2021, employees with disabilities have been working successfully with a collaborative robot at the production line of Ford engine plant in cologne. The robot takes over the unergonomic pressing of the VCT solenoids into the engine cover and the employee installs the screws. During this process, humans and robots work simultaneously in the same workspace. The key findings and results of the project are summarized in the strategy paper.

Further information on the project can be found here.


Carlo Weidemann



Development of new wrists for the Paragrip

April 8th, 2022 | by

In a joint research project of the IGMR together with the ISF of the RWTH Aachen University, the Multidirectional Additive Manufacturing (MDAM) of metallic components is being researched. In order to optimize the multi-armed. Paragrip robot for this application, student Raphael Hoffmann has developed an innovative concept of a new robotic wrist in his bachelor thesis. The concept enables the welding current to be conducted directly through the wristsm without the need for an additional ground cable attached to the print bed. Moreover, the wrists enable form fitting gripping of the print bed with self-centering to minimize positioning inaccuracies.

You can find the video on our YouTube channel:

Jan Wiartalla

Teilnahme am A+A Kongress in Düsseldorf

December 3rd, 2021 | by

Vortrag A+A Kongress

Presentation of the Next Generation Workplace and lecture on “HRC as a tool for inclusive workplaces

At the A+A Congress in Düsseldorf, we presented the Next Generation project together with Caritas Wertarbeit Köln. The congress is attended by many interested parties and experts in the field of occupational health and safety and stimulates dialogue with many exciting presentations on current topics in these areas. On both days of the A+A Congress there were many discussions with interested participants. On the final day, Carlo Weidemann also gave a presentation on Human-Robot Collaboration as an Assistive Medium for Inclusive Workplaces. In addition to explaining the motivation behind the design of inclusive workplaces, this presentation also covered the inclusion projects that the IGMR is supporting and helping to shape. These are the Next Generation Project and the project with Ford to reorganise a workplace for employees who have undergone a performance change.



Prof. Hüsing

Elodie Hüsing

Carlo Weidemann

Kollaborierender Roboter bei Ford schafft Jobs für leistungsgewandelte Beschäftige

August 16th, 2021 | by

Mitarbeiter und kollaborierende Roboter in der Produktion bei Ford



AACHEN, 16. August 2021 – Ford hat die Einrichtung eines einzigartigen kollaborierenden Roboters erfolgreich abgeschlossen. Nach rund einem Jahr Forschung, Entwicklung, Mitarbeiterschulung und Trockenläufen arbeitet der so genannte Kobot, ein Wortspiel aus kollaborierend (zusammenarbeitend) und Roboter, nun taktgebunden im Linienfluss im Kölner Motorenwerk des Automobilherstellers. Dort setzt er gemeinsam mit seinem menschlichen Partner VCT-Magnetspulen in einen Öler ein, nimmt die Magnetspulen anschließend auf und presst sie in den Stirndeckel des Motorblocks. Diese Arbeit erfordert große Eindruckkräfte, die selbst für gesunde Arbeitende auf Dauer belastend sein können, und die nun der Kobot für den Menschen übernimmt. Bei den menschlichen Partnern handelt es sich um Beschäftigte mit Schulter- und Handgelenkproblemen. So konnte ein Arbeitsplatz für zwei Beschäftigte mit Schwerbehinderung geschaffen werden.


Ford, die Rheinisch Westfälisch Technische Hochschule in Aachen (RWTH) sowie der Landschaftsverband Rheinland (LVR) forschten rund ein Jahr lang an dieser neuen Einsatzmöglichkeit für einen kollaborierenden Roboter. Das vom LVR mit 372.000 Euro geförderte Modellprojekt hatte das Ziel, den Roboter dergestalt in eine Fertigung einzubauen, dass ein schwerbehinderter Mensch sich einen Arbeitsplatz mit einem Roboter teilt. Das Besondere daran ist die Konfiguration des Roboters, so dass er mit dem Menschen interaktiv „Hand in Hand“ arbeitet und nicht durch eine trennende Schutzeinrichtung, wie z.B. einen Maschinenschutzzaun, getrennt sein muss. Neben der exakten Programmierung des Roboters war auch eine intensive Schulung der Beschäftigten nötig, damit sie einerseits die „Scheu“ vor diesem Kobot ablegen, zum anderen trotzdem noch die nötige Vorsicht walten lassen. Roboter werden seit vielen Jahrzehnten in der Automobilindustrie eingesetzt, allerdings zumeist als überdimensional große Maschinen, die hinter Schutzvorrichtungen arbeiten oder als autonome Fahrroboter, die Materialien transportieren. In diesem Fall bestand die Herausforderung darin, den Arbeitsplatz so zu gestalten, dass sowohl die Voraussetzungen der taktgebundenen Fertigung, die Anforderungen der Arbeitssicherheit als auch die barrierefreie Gestaltung des Arbeitsplatzes berücksichtigt sind.

„Ich bin stolz, dass wir mit diesem Vorzeigeprojekt einen Arbeitsplatz so umgestalten konnten, dass wir ein weiteres Angebot für leistungsgewandelte Beschäftigte haben“, so Dirk Heller, Geschäftsführer Fertigung Ford-Werke GmbH. „Die Akzeptanz unter der Belegschaft ist groß, und besonders die an diesem Arbeitsplatz eingesetzten Mitarbeiter freuen sich auf die neue Aufgabe.“


„Gemeinsam haben wir einen einzigartigen kollaborativen Arbeitsplatz in der Industrie umgesetzt. Ich kenne kaum solch erfolgreich umgesetzte Kollaborationsarbeitsplätze“, erklärt Mathias Hüsing, Professor an der RWTH Aachen. „Warum dieser Mangel? Die menschenzentrierte Arbeitsplatzplanung unter Berücksichtigung von Montageaufgaben, technischen Möglichkeiten und Sicherheitsanforderungen ist (noch) nicht etabliert. Unsere Forschung im Bereich kollaborativer Prozessplanung fokussiert dieses. Inzwischen setzen wir Kollaborationsarbeitsplätze erfolgreich bei anderen Projekten um, wo es darum geht, Arbeitsplätze für Menschen mit Behinderungen auf dem ersten Arbeitsmarkt mit Unterstützung von kollaborierenden Robotern einzurichten.“


„Mit den Mitteln der Ausgleichsabgabe hat das LVR-Inklusionsamt in den letzten Jahren schon auf sehr vielfältige Weise Arbeitsplätze bei Ford umgestalten und sichern können. Das ist eine über die Jahre gewachsene und sehr gute Kooperation zwischen Ford und LVR mit großem Nutzen für die Förderung von Inklusion auf dem Arbeitsmarkt“, ergänzt Christoph Beyer, Leiter des LVR-Inklusionsamtes. „Auch die Erkenntnisse aus dem aktuellen Modellprojekt Kobot helfen uns enorm dabei, die Beschäftigungsmöglichkeit von Menschen mit Behinderung erweitern und neue technische Entwicklungen nutzen zu können. Ford hat hier als großes Unternehmen im Rheinland eine bedeutende Vorbildunktion inne.“


Das Institut für Getriebetechnik, Maschinendynamik und Robotik der RWTH Aachen begleitet das Projekt wissenschaftlich und entwickelt dabei ein Strategiepapier auf Grundlage des im Projekt entstandenen Arbeitsplatzes. Dieses Strategiepapier ist dazu gedacht, die Umsetzung des Arbeitsplatzes für Menschen mit Behinderung im Detail zu beleuchten. In diesem Sinne werden die Veränderungen der Beschäftigungssituation für die Beschäftigten, die Wirtschaftlichkeit der Umsetzung, der Ablauf der Implementierung und die Unterschiede zur Implementierung einer klassischen Industrieroboterzelle sowie die sicherheitstechnischen Herausforderungen dargestellt, analysiert und dokumentiert. So ist gewährleistet, dass zukünftige Projekte von den Erfahrungen und Erkenntnissen aus dem vorliegenden Projekt profitieren.


Das LVR-Inklusionsamt ist zuständig für die Teilhabe schwerbehinderter Menschen auf dem allgemeinen Arbeitsmarkt im Rheinland. Es bietet sowohl für Arbeitgeber als auch für schwerbehinderte Menschen unterschiedliche Unterstützungsangebote an und arbeitet mit verschiedenen Partnern zusammen. Die Angebote umfassen beispielsweise finanzielle Förderung zur Schaffung von Arbeits- und Ausbildungsplätzen, zur behinderungsgerechten Einrichtung von Arbeitsplätzen oder bei außergewöhnlichen Belastungen während der Beschäftigung.


Hier finden Sie ein Video



Mathias Hüsing

Carlo Weidemann

Robotervorstellung im Projekt Next Generation

June 21st, 2021 | by

Person im Rollstuhl an inklusivem Arbeitsplatz mit Roboter des NextGeneration-Projektes Person im Rollstuhl an inklusiven Arbeitsplatz mit Greifer des Roboters als Unterstützung

In Köln haben die Teilnehmenden zum ersten Mal die Roboter kennengelernt. Die Begeisterung und Spannung bei allen Beteiligten war groß.

Im Rahmen der Robotervorstellung hatte jeder Teilnehmende eine Stunde Zeit, mit den Roboter in beispielhaften Anwendungen zu arbeiten. Dazu haben wir den KUKA LBR iiwa 7 und den Universal Robot UR10e mit einer unserer Musteranwendungen programmiert, bei denen die Teilnehmenden gute und schlechte Bauteile visuell prüfen mussten. Der Roboter dient dabei als Assistenzmedium und hat den Teilnehmenden die Bauteile angereicht und abgelegt oder gehalten und gedreht, je nachdem ob die Teilnehmenden das Bauteil selber handhaben konnten oder nicht.
In einer dritten Anwendung gab es die Möglichkeit den Kinova Jaco² per Joystick zu steuern und Bauteile zu greifen. Obwohl die Joysticksteuerung großen Anklang fand, muss die Bewegungskoordination noch geübt werden. Mit diesem Ergebnis ist klar, dass für die beiden anderen Roboter auch eine Joystick-Steuerung wünschenswert ist. Angedacht ist darum, den Teilnehmenden die Positionierung und Drehung des Bauteils mit dem Joystick zu ermöglichen, um den visuellen Prüfprozess zu verbessern. Bisher dreht der Roboter das Bauteil in festgelegten Intervallen, bevor eine Eingabe über Taster erfolgen kann.

Ein Video mit weiteren Eindrücken der Robotervorstellung gibt es demnächst hier im Robotik Blog zu sehen.

Weitere Informationen und Bilder zur Robotervorstellung sind auf der Projektwebsite zu finden.


Internetseite des Projektes NextGeneration


Ansprechpartnerinnen und Ansprechpartner

Elodie Hüsing

Carlo Weidemann