{"id":8710,"date":"2021-04-09T13:00:55","date_gmt":"2021-04-09T11:00:55","guid":{"rendered":"https:\/\/blog.rwth-aachen.de\/itc\/?p=8710"},"modified":"2023-06-09T08:52:12","modified_gmt":"2023-06-09T06:52:12","slug":"prope","status":"publish","type":"post","link":"https:\/\/blog.rwth-aachen.de\/itc\/2021\/04\/09\/prope\/","title":{"rendered":"ProPE \u2013 High Performance und dann auch noch optimiert"},"content":{"rendered":"<div class=\"twoclick_social_bookmarks_post_8710 social_share_privacy clearfix 1.6.4 locale-de_DE sprite-de_DE\"><\/div><div class=\"twoclick-js\"><script type=\"text\/javascript\">\/* <![CDATA[ *\/\njQuery(document).ready(function($){if($('.twoclick_social_bookmarks_post_8710')){$('.twoclick_social_bookmarks_post_8710').socialSharePrivacy({\"txt_help\":\"Wenn Sie diese Felder durch einen Klick aktivieren, werden Informationen an Facebook, Twitter, Flattr, Xing, t3n, LinkedIn, Pinterest oder Google eventuell ins Ausland \\u00fcbertragen und unter Umst\\u00e4nden auch dort gespeichert. N\\u00e4heres erfahren Sie durch einen Klick auf das <em>i<\\\/em>.\",\"settings_perma\":\"Dauerhaft aktivieren und Daten\\u00fcber-tragung zustimmen:\",\"info_link\":\"http:\\\/\\\/www.heise.de\\\/ct\\\/artikel\\\/2-Klicks-fuer-mehr-Datenschutz-1333879.html\",\"uri\":\"https:\\\/\\\/blog.rwth-aachen.de\\\/itc\\\/2021\\\/04\\\/09\\\/prope\\\/\",\"post_id\":8710,\"post_title_referrer_track\":\"ProPE+%E2%80%93+High+Performance+und+dann+auch+noch+optimiert\",\"display_infobox\":\"on\"});}});\n\/* ]]> *\/<\/script><\/div><p><\/p>\n<h4>Prozessorientierte Performance Engineering Service-Infrastruktur f\u00fcr wissenschaftliche Software an deutschen HPC-Zentren \u2013kurz ProPE<\/h4>\n<div id=\"attachment_8711\" style=\"width: 310px\" class=\"wp-caption alignright\"><a href=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/Logo-ProPE.png\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-8711\" class=\"wp-image-8711 size-medium\" src=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/Logo-ProPE-300x140.png\" alt=\"Projektlogo ProPE\" width=\"300\" height=\"140\" srcset=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/Logo-ProPE-300x140.png 300w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/Logo-ProPE-768x358.png 768w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/Logo-ProPE.png 815w\" sizes=\"auto, (max-width: 300px) 100vw, 300px\" \/><\/a><p id=\"caption-attachment-8711\" class=\"wp-caption-text\">Das DFG-gef\u00f6rderte Projekt \u201eProzessorientierte Performance Engineering Service-Infrastruktur f\u00fcr wissenschaftliche Software an deutschen HPC-Zentren\u201c \u2013kurz ProPE. <br \/>Quelle: <a href=\" https:\/\/blogs.fau.de\/prope\">ProPE<\/a><\/p><\/div>\n<p>Bei ProPE handelt es sich um ein Kooperationsprojekt der Rechenzentren der Friedrich-Alexander-Universit\u00e4t Erlangen (FAU), der TU Dresden (TUD) sowie der RWTH Aachen University (RWTH). Gestartet ist das Projekt 2017, gef\u00f6rdert von der Deutschen Forschungsgesellschaft, mit dem Ziel eine nachhaltige Blaupause f\u00fcr eine strukturierte, prozessorientierte Service-Infrastruktur f\u00fcr das Performance Engineering (PE) zu entwickeln. Dabei wurden gemeinsam Prozesse, Methoden und Werkzeuge evaluiert, entwickelt und implementiert, um die bundesweite PE-Infrastruktur zu schaffen, in der die HPC-Expertise der Zentren effizient zu nutzen.<\/p>\n<p><!--more--><\/p>\n<p>Anwendung findet das Performance Engineering im Hochleistungsrechnen. Es erm\u00f6glicht Anwendungswissenschaftlerinnen und -wissenschaftlern Code mit nachweislich optimaler Hardware-Ressourcenauslastung auf Hochleistungssystemen zu entwickeln und zu nutzen. Damit gelingt es nicht nur eine zielorientierte und nachhaltige Anwenderunterst\u00fctzung anzubieten, sondern auch als \u00fcbergreifendes Angebot mehrerer Tier-2\/3 HPC-Zentren die verteilten Kompetenzen optimal zu nutzen.<\/p>\n<p>Strukturiert wurde das Projekt in f\u00fcnf Arbeitspakete mit unterschiedlichen Aufgabenschwerpunkten zur Erreichung der Ziele. Alle Details sowie Empfehlungen aus diesem Projekt findet ihr im gemeinsam verfassten <a href=\"https:\/\/blogs.fau.de\/prope\/files\/2020\/12\/prope-whitepaper-november-2020.pdf\">Whitepaper<\/a>, das auf dem Blog des <a href=\"https:\/\/blogs.fau.de\/prope\/\">FAU-RRZE<\/a> zum Download bereitsteht.<\/p>\n<h2>Die Arbeitspakete<\/h2>\n<h4>Arbeitspaket 1: Performance Engineering<\/h4>\n<p>Performance Engineering (PE) ist ein wohldefinierter und strukturierter Prozess, um die Ressourceneffizienz von Anwendungsprogrammen zu verbessern. Das ProPE-Projekt bietet einen auf wissenschaftlichen Prinzipien basierenden PE-Prozess, der in Support und Schulungsaktivit\u00e4ten eingesetzt werden kann. Durchf\u00fchrbar ist dieser Prozess in verschiedenen Detailgraden. Ma\u00dfgebliche Ergebnisse des Arbeitspaketes Performance Engineering ist die Erweiterung der Performance Muster sowie die Etablierung eines <a href=\"https:\/\/github.com\/RRZE-HPC\/ThePerformanceLogbook\">Performance Logbuches<\/a>, das in Markdown verf\u00fcgbar bist. Es beinhaltet die Dokumentation von Aktivit\u00e4ten und Ergebnissen in Hinblick auf das PE in strukturierter Form. Der Fokus dabei liegt auf einem m\u00f6glichst standardisierten Datenaustausch hinsichtlich Formaten sowie einheitlicher Benennung von Metriken.<\/p>\n<div id=\"attachment_8712\" style=\"width: 788px\" class=\"wp-caption aligncenter\"><a href=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/PE-Prozess.png\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-8712\" class=\"wp-image-8712 size-full\" src=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/PE-Prozess.png\" alt=\"Vereinfachte \u00dcbersicht des PE-Prozesses\" width=\"778\" height=\"534\" srcset=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/PE-Prozess.png 778w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/PE-Prozess-300x206.png 300w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/PE-Prozess-768x527.png 768w\" sizes=\"auto, (max-width: 778px) 100vw, 778px\" \/><\/a><p id=\"caption-attachment-8712\" class=\"wp-caption-text\">Die Abbildung zeigt eine vereinfachte \u00dcbersicht des PE-Prozesses. Die Konstruktion eines vollst\u00e4ndigen Leistungsmodells oder die Identifizierung eines Musters f\u00fcr jeden spezifischen Hotspot sind optional und auch nicht immer m\u00f6glich. F\u00fcr jeden spezifischen Hotspot endet der Zyklus, sobald keine relevante Performance Verbesserung mehr erreicht werden kann. Das Hardware Performance Monitoring (HPM) erfolgt mit Hilfe von Hardware Performance Countern. <br \/>Quelle: <a href=\"  https:\/\/blogs.fau.de\/prope\">ProPE<\/a><\/p><\/div>\n<h4><\/h4>\n<h4>Arbeitspaket 2: Prozessmanagement<\/h4>\n<p>Ziel dieses Arbeitspaketes war es eine <a href=\"https:\/\/blog.rwth-aachen.de\/itc\/2018\/12\/19\/prope-performance-engineering-ueberregionaler-support-fuer-hpc-nutzer-im-bereich-performance-engineering\/\">gemeinsame, fl\u00e4chendeckende, nachhaltige Support-Infrastruktur aufzubauen<\/a>, um Nutzenden die notwendige Unterst\u00fctzung anzubieten, die \u00fcber die Grenzen des Heimatrechenzentrums hinausgeht. Mit R\u00fcckgriff auf die Expertise an den Kooperationszentren ist es somit m\u00f6glich, Supportf\u00e4lle zu l\u00f6sen, die sonst ungel\u00f6st blieben. Ein gemeinsames Tickettool erm\u00f6glicht die Bearbeitung von standort\u00fcbergreifenden PE-Supportanfragen. Dabei unterst\u00fctzen Faktoren wie definierte Verantwortlichkeiten, Reaktions- und Eskalationszeiten sowie Ergebnissicherung durch Dokumentation den Kernprozess \u201eProPE-Support\u201c. Mit freundlicher Unterst\u00fctzung unserer \u201eFriendly User\u201c konnte der Prozess in mehreren Testphasen genauer unter die Lupe genommen werden und bis zum Projektende optimiert werden.<\/p>\n<p>Einen weiteren Teil im Prozessmanagement stellt die Entwicklung eines Kostenmodells dar, um den Nutzen von Performance Engineering auf HPC-Projekte \u00fcber die Dauer der Projektlaufzeit zu ermitteln. Wesentliche Bestandteile, die dabei erhoben werden m\u00fcssen sind neben Hardware und Brainware auch Energiekosten. Als Basis konnten in diesem Projekt die Durchschnittswerte der beteiligten Projektpartner beispielsweise hinsichtlich der Hardware-Kosten herangezogen werden.<\/p>\n<h4>Arbeitspaket 3: Performance Monitoring<\/h4>\n<p>Im Monitoring besch\u00e4ftigt man sich grunds\u00e4tzlich mit der \u00dcberwachung bestimmter Vorg\u00e4nge. Auch im Kontext PE erfolgte eine intensive Auseinandersetzung mit dem Monitoring. W\u00e4hrend des Projektes wurde ein Software-Stack entwickelt, das dem systemweiten Monitoring auf Hochleistungsrechnern dient. Ziel dessen ist es, ineffiziente Jobs zu identifizieren. Dabei werden sowohl Performance-Daten gesammelt und gespeichert, als auch analysiert und visualisiert. F\u00fcr das <a href=\"https:\/\/blog.rwth-aachen.de\/itc\/2018\/12\/07\/performance-monitoring-der-hpc-systeme\/\">Monitoring an der RWTH<\/a> wurde das Speichern der Daten \u00fcber Time Series Database (TSDB) <a href=\"https:\/\/www.influxdata.com\/time-series-platform\/influxdb\/\">InfluxDB<\/a> realisiert. Der \u00dcberwachung dient auf den jeweiligen Knoten der Monitoring-Daemon <a href=\"https:\/\/www.influxdata.com\/time-series-platform\/telegraf\/\">Telegraf<\/a>, der entsprechend erweitert wurde, um HPC-relevante Metriken zu verfassen.<\/p>\n<p>Zus\u00e4tzlich wurde in ProPE ein Web-Frontend entwickelt, das insgesamt den \u00dcberwachungs-Stack <a href=\"https:\/\/ieeexplore.ieee.org\/document\/9229636\">Pika<\/a> beschreibt. Die FAU stellte dabei das Performance-Tool <a href=\"https:\/\/github.com\/RRZE-HPC\/likwid\">Likwid<\/a> bereit, um an allen drei Zentren Daten zu erfassen. Erg\u00e4nzend dazu wurde auch das\u00a0 <a href=\"https:\/\/www.rrze.fau.de\/2020\/01\/webanwendung-zum-jobspezifischen-performance-monitoring-eine-erfolgsgeschichte-keine-ressourcen-verschwendung-gezielte-optimierung\/\">ClusterCockpit<\/a> entwickelt \u2013eine Webanwendung f\u00fcr das Performance-Monitoring, um Nutzenden Zugang zu jobspezifischen Daten zu erm\u00f6glichen.<\/p>\n<h4>Arbeitspaket 4: Training<\/h4>\n<p>Der Schwerpunkt dieses Teilprojekts umfasste die Aus- und Weiterbildungsaktivit\u00e4ten sowie die Entwicklung eines verteilten HPC-Curriculums. Um das HPC-Curriculum zu strukturieren, wurden verschiedene HPC-Zielgruppen definiert. Nach Durchsicht der in Deutschland und an den Tier-1\/2 und -3 HPC-Zentren angebotenen HPC-Kursen wurden diese kategorisiert und mit verschiedenen Attributen versehen, einschlie\u00dflich, aber nicht beschr\u00e4nkt auf erforderliche beziehungsweise erreichte F\u00e4higkeiten sowie Niveaus der F\u00e4higkeiten, gestaffelt in Anf\u00e4nger, leicht Fortgeschrittene und Fortgeschrittene sowie Ort der Kurse und mehr.<\/p>\n<p>Zus\u00e4tzlich wurden die Kurse nach dem <a href=\"https:\/\/www.hhcc.uni-hamburg.de\/hpc-certification-program\/hpc-skill-tree.html\">HPC Skill Tree<\/a> kategorisiert, der jetzt Teil des <a href=\"https:\/\/www.hpc-certification.org\/\">HPC Certification Forums<\/a> ist. Diese allgemeine Struktur der HPC-Kurse erm\u00f6glichte eine \u00fcbersichtliche Darstellung der Schulungsaktivit\u00e4ten in Deutschland und diente als Grundlage f\u00fcr das HPC-Curriculum. Dar\u00fcber hinaus erm\u00f6glicht die HPC-Kurs\u00fcbersicht, die HPC-Ausbildungsbem\u00fchungen dorthin zu lenken, wo sie fehlen, insbesondere f\u00fcr verschiedene Einstiegszielgruppen und \u00fcber das akademische Umfeld hinaus. Die Bewerbung der HPC-Kurse erfolgte auf mehreren internationalen Konferenzen und Workshops sowie \u00fcber den <a href=\"https:\/\/hpc-calendar.gauss-allianz.de\/\">Gau\u00df-Allianz HPC-Kalender<\/a> &#8211; die national etablierte HPC-Plattform. W\u00e4hrend des gesamten Projekts wurde eine Reihe von HPC-Schulungsaktivit\u00e4ten entwickelt und durchgef\u00fchrt, die sich an verschiedene HPC-Zielgruppen richteten.<\/p>\n<h4>Arbeitspaket 5: HPC Wiki und Dokumentation<\/h4>\n<p>Der Aufbau einer Anwenderdokumentation allein ist bereits von hohem Wert f\u00fcr Nutzende, doch eine zentrale Dokumentation, die international erreichbar und an die heterogenen Zielgruppen adressiert ist, ist etwas ganz Besonderes. Mit dem <a href=\"https:\/\/hpc-wiki.info\/hpc\/HPC_Wiki\">HPC-Wiki<\/a> ist es gelungen eine zentrale HPC-Dokumentation zu erschaffen, die sich insbesondere durch Nutzerfreundlichkeit, aber auch durch die einzigartige Art und Weise der Informationsaufbereitung herausstellt.<\/p>\n<div id=\"attachment_8713\" style=\"width: 310px\" class=\"wp-caption aligncenter\"><a href=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/HPC-Wiki.png\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-8713\" class=\"wp-image-8713 size-medium\" src=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/HPC-Wiki-300x209.png\" alt=\"Logo des HPC Wikis\" width=\"300\" height=\"209\" srcset=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/HPC-Wiki-300x209.png 300w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/HPC-Wiki-768x536.png 768w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2021\/04\/HPC-Wiki.png 814w\" sizes=\"auto, (max-width: 300px) 100vw, 300px\" \/><\/a><p id=\"caption-attachment-8713\" class=\"wp-caption-text\">Quelle: <a href=\"https:\/\/hpc-wiki.info\/hpc\/HPC_Wiki\">HPC-Wiki<\/a><\/p><\/div>\n<p>Hier finden sowohl Anf\u00e4nger und Anf\u00e4ngerinnen als auch Expertinnen und Experten nicht nur generelle HPC-Informationen und Anleitungen, sondern auch ortsspezifische Informationen, die das jeweilige Rechenzentrum betreffen. Die Dokumentation basiert auf einem Media-Wiki mit einfachem Zugang und Wartung. Doppelpflege der Dokumentation kann vermieden werden und \u00fcber die bequeme Authentifizierung per Shibboleth k\u00f6nnen neue Erkenntnisse und Anpassungen im HPC-Wiki eingepflegt werden. Dabei werden Eintr\u00e4ge patrouilliert editiert und eine gemeinsame HPC-Dokumentation f\u00fcr und mit der Community erstellt. <em>Details zum HPC-Wiki gibt es in <\/em><a href=\"https:\/\/blog.rwth-aachen.de\/itc\/2018\/12\/14\/hpc-wiki-eine-zentrumsuebergreifende-hpc-dokumentation\/\"><em>diesem Beitrag<\/em><\/a><em>.<\/em><\/p>\n<h2>ProPE in weiteren Projekten<\/h2>\n<p>Ergebnisse und Erkenntnisse des ProPE-Projektes finden auch nach Abschluss im Juni 2020 ihre Anwendung. So haben einige Ergebnisse Eingang in das DH.NRW-Projekt <a href=\"https:\/\/hpc.dh.nrw\/\">HPC.NRW<\/a> gefunden. Mit HPC.NRW wird ein Kompetenznetzwerk innerhalb NRWs geschaffen, das nicht nur personell und organisatorisch den Verbund von gro\u00dfen Hochleistungsrechenzentren schafft, sondern auch durch Beratungsdienstleistungen von Tier-3-Zentren erg\u00e4nzt wird. Konkret werden in diesem Projekt die Support-Struktur sowie die Service-Instanz auf dem Tickettool, das von der Gau\u00df Allianz gehostet wird, f\u00fcr operative Anfragen genutzt. Auch das HPC-Wiki wird fortgef\u00fchrt und bietet nun zus\u00e4tzlich verschiedene Tutorial-Beitr\u00e4ge.<\/p>\n<p>Aber auch \u00fcber die Landesgrenzen NRWs hinaus finden viele Erfahrungswerte und Ergebnisse aus ProPE Eingang im <a href=\"https:\/\/www.nhr-gs.de\/nationales-hochleistungsrechnen\">Nationalen Hochleistungsrechnen (NHR)<\/a>. Neben den Ergebnissen zum Monitoring k\u00f6nnen auch Inhalte aus \u201eTraining\u201c und \u201eProzessmanagement\u201c einen Beitrag leisten und neue Projekte von den Entwicklungen aus dem Projekt ProPE profitieren.<\/p>\n<p>Wir danken an dieser Stelle allen f\u00fcr die Zusammenarbeit und die tolle Unterst\u00fctzung.<\/p>\n<p>Verantwortlich f\u00fcr die Inhalte dieses Beitrags sind das <a href=\"https:\/\/blogs.fau.de\/prope\/\">ProPE-Projekt-Team<\/a>, <a href=\"https:\/\/www.itc.rwth-aachen.de\/cms\/IT-Center\/IT-Center\/Team\/~epvp\/Mitarbeiter-CAMPUS-\/?gguid=0x076EFD6C62ADCF4D868FB7134A14B07C&amp;allou=1&amp;lidx=1\">Nicole Filla<\/a> und <a href=\"https:\/\/www.itc.rwth-aachen.de\/cms\/IT-Center\/IT-Center\/Team\/~epvp\/Mitarbeiter-CAMPUS-\/?gguid=0x0EC9C01F8EFF104B810E20F8F5820CD8&amp;allou=1\">Linda J\u00f6rres<\/a>.<\/p>","protected":false},"excerpt":{"rendered":"<p>Prozessorientierte Performance Engineering Service-Infrastruktur f\u00fcr wissenschaftliche Software an deutschen HPC-Zentren \u2013kurz ProPE Bei ProPE handelt es sich um ein Kooperationsprojekt der Rechenzentren der Friedrich-Alexander-Universit\u00e4t Erlangen (FAU), der TU Dresden (TUD) [&hellip;]<\/p>\n","protected":false},"author":2051,"featured_media":8711,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"c2c_always_allow_admin_comments":false,"footnotes":""},"categories":[924,316],"tags":[],"class_list":["post-8710","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hpcnews","category-projekte-kooperationen"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts\/8710","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/users\/2051"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/comments?post=8710"}],"version-history":[{"count":13,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts\/8710\/revisions"}],"predecessor-version":[{"id":15628,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts\/8710\/revisions\/15628"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/media\/8711"}],"wp:attachment":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/media?parent=8710"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/categories?post=8710"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/tags?post=8710"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}