{"id":6702,"date":"2019-11-29T13:00:13","date_gmt":"2019-11-29T11:00:13","guid":{"rendered":"https:\/\/blog.rwth-aachen.de\/itc\/?p=6702"},"modified":"2023-06-01T13:26:59","modified_gmt":"2023-06-01T11:26:59","slug":"exzellente-datenstroeme","status":"publish","type":"post","link":"https:\/\/blog.rwth-aachen.de\/itc\/2019\/11\/29\/exzellente-datenstroeme\/","title":{"rendered":"Exzellente Datenstr\u00f6me"},"content":{"rendered":"<div class=\"twoclick_social_bookmarks_post_6702 social_share_privacy clearfix 1.6.4 locale-de_DE sprite-de_DE\"><\/div><div class=\"twoclick-js\"><script type=\"text\/javascript\">\/* <![CDATA[ *\/\njQuery(document).ready(function($){if($('.twoclick_social_bookmarks_post_6702')){$('.twoclick_social_bookmarks_post_6702').socialSharePrivacy({\"txt_help\":\"Wenn Sie diese Felder durch einen Klick aktivieren, werden Informationen an Facebook, Twitter, Flattr, Xing, t3n, LinkedIn, Pinterest oder Google eventuell ins Ausland \\u00fcbertragen und unter Umst\\u00e4nden auch dort gespeichert. N\\u00e4heres erfahren Sie durch einen Klick auf das <em>i<\\\/em>.\",\"settings_perma\":\"Dauerhaft aktivieren und Daten\\u00fcber-tragung zustimmen:\",\"info_link\":\"http:\\\/\\\/www.heise.de\\\/ct\\\/artikel\\\/2-Klicks-fuer-mehr-Datenschutz-1333879.html\",\"uri\":\"https:\\\/\\\/blog.rwth-aachen.de\\\/itc\\\/2019\\\/11\\\/29\\\/exzellente-datenstroeme\\\/\",\"post_id\":6702,\"post_title_referrer_track\":\"Exzellente+Datenstr%C3%B6me\",\"display_infobox\":\"on\"});}});\n\/* ]]> *\/<\/script><\/div>\r\n<p>Wer forscht, der generiert Daten. Und die wollen auch bearbeitet und ausgewertet werden. Damit das auch mit sehr gro\u00dfen Datenmengen funktioniert, gibt es nicht nur High Performance Cluster wie unseren <a href=\"https:\/\/www.itc.rwth-aachen.de\/cms\/IT-Center\/IT-Center\/Aktuelle-Meldungen\/~rxnl\/CLAIX-2018\/\">CLAIX<\/a>, sondern auch Zusammenschl\u00fcsse von Compute Clustern wie das <a href=\"https:\/\/wlcg.web.cern.ch\/\">LHC Computing Grid<\/a>. Sowohl die Anbindung an das Internet unserer Hochschule als auch die Anbindung dieser Cluster erfolgt \u00fcber das Deutsche Forschungsnetz (DFN). Dieses sorgt unter anderem daf\u00fcr, dass die komplexen Daten, welche beispielsweise im <a href=\"https:\/\/home.cern\/science\/accelerators\/large-hadron-collider\">CERN Large Hadron Collider<\/a> (LHC) generiert werden, an die verschiedenen HPC-Systeme \u00fcbertragen werden. Unser CLAIX ist \u00fcbrigens Teil dieses internationalen Verbunds von HPC-Systemen.<\/p>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<p>Dass durch die gro\u00dfe Komplexit\u00e4t der Berechnungen ein enormer Datenstrom mit mehreren Terabyte an Daten generiert wird, kann man sich vorstellen. Aber was passiert, wenn sehr viele Rechenauftr\u00e4ge auf einmal flie\u00dfen? Wir hatten den Fall und berichten.<\/p>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<p><!--more--><\/p>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<h4 class=\"wp-block-heading\">Was bisher geschah\u2026<\/h4>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<p>Das Netz der <a href=\"https:\/\/www.rwth-aachen.de\/go\/id\/a\/\">RWTH Aachen<\/a> ist gleich mit zwei redundanten Verbindungen an das Deutsche Forschungsnetz angeschlossen. Diese Verbindungen werden als redundant bezeichnet, da sie beide die gleiche Funktion haben und sich gegenseitig absichern. Geografisch gesehen verlaufen diese Leitungen von Aachen \u00fcber getrennte Trassen nach Hannover und Frankfurt.<\/p>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<p>Am 13.11.2019 gab es einen besonderen Belastungsfall: Erstmalig wurden \u00fcber mehrere Stunden so hohe Datenmengen verarbeitet und verschickt, wie nie zuvor. Das Gute? Das Netz der RWTH Aachen konnte die Datenmengen reibungslos verarbeiten \u2013 trotz enorm hoher Auslastung ohne merkbare Einbu\u00dfen f\u00fcr die Verwender. Vergleichbar ist diese Situation mit einer sehr vollen Autobahn: Wenn viele Autos gleichzeitig auf der Stra\u00dfe fahren wollen, flie\u00dft der Verkehr etwas langsamer.<\/p>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<figure class=\"wp-block-image\">\r\n<div id=\"attachment_6704\" style=\"width: 1034px\" class=\"wp-caption alignnone\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-6704\" class=\"wp-image-6704\" src=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2019\/11\/chart_angepasst-1-1024x328.png\" alt=\"Die Grafik zeigt den Verlauf des Tages 13.11.2019 zwischen 15:30 und 00:00 Uhr mit den Peaks von \u00fcber 100 Gbps. Bis zu dieser \u201emagischen Grenze\u201c k\u00f6nnen Datenstr\u00f6me sicher gew\u00e4hrleistet werden. Dies ist jedoch keine absolute Obergrenze, zu sehen in den Peaks mit Werten um die 120 Gbps. \" width=\"1024\" height=\"328\" srcset=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2019\/11\/chart_angepasst-1-1024x328.png 1024w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2019\/11\/chart_angepasst-1-300x96.png 300w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2019\/11\/chart_angepasst-1-768x246.png 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><p id=\"caption-attachment-6704\" class=\"wp-caption-text\">Die Grafik zeigt den Verlauf des Tages 13.11.2019 zwischen 15:30 und 00:00 Uhr mit den Peaks von \u00fcber 100 Gbps. Bis zu dieser \u201emagischen Grenze\u201c k\u00f6nnen Datenstr\u00f6me sicher gew\u00e4hrleistet werden. Dies ist jedoch keine absolute Obergrenze, zu sehen in den Peaks mit Werten um die 120 Gbps.<br \/>Quelle: Eigene Darstellung<\/p><\/div>\r\n<\/figure>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<h4 class=\"wp-block-heading\">Super Vorbereitung durch das IT Center<\/h4>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<p>Dass es keine Zwischenf\u00e4lle bei einer derart hohen Last gab, haben wir der <a href=\"https:\/\/www.itc.rwth-aachen.de\/cms\/it-center\/IT-Center\/Profil\/Organisationsstruktur\/~stymr\/Abteilungen\/#net\">Abteilung Netze<\/a> des <a href=\"https:\/\/www.itc.rwth-aachen.de\/cms\/~epto\/IT-Center\/\">IT Centers<\/a> zu verdanken. Die Kolleginnen und Kollegen haben sowohl gut vorgesorgt und bereits im Vorfeld die Firewall optimiert als auch RWTH-interne Verbindungen verbessert und robuster gemacht.<\/p>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<h4 class=\"wp-block-heading\">RWTH Wheathermap zeigt aktuelle Datenstr\u00f6me<\/h4>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<p>Wer sich die aktuellen Datenstr\u00f6me im Netz der RWTH Aachen und nach au\u00dfen angucken m\u00f6chte, kann hierzu auf die <a href=\"http:\/\/netstatus.rz.rwth-aachen.de\/status\/weathermap\/\">Wheatermap<\/a> zugreifen. Diese Abbildung wird alle 5 Minuten aktualisiert.<\/p>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<p>Die untenstehende Momentaufnahme vom 13.11.2019 zeigt die enormen Datenmengen, die vom DFN an das Netz der RWTH Aachen gesendet worden &#8211;\u00a0 gut zu sehen am auff\u00e4lligen roten Pfeil von den Knoten \u201eDFN\u201c, f\u00fcr Deutsches Forschungsnetz, zu \u201eXWIN\u201c. \u201eXWIN\u201c steht hier f\u00fcr den redundanten Routerverbund, der alle Verbindungen vom RWTH Netz in die Au\u00dfenwelt managed.<\/p>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<figure class=\"wp-block-image\">\r\n<div id=\"attachment_6705\" style=\"width: 1034px\" class=\"wp-caption alignnone\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-6705\" class=\"wp-image-6705\" src=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2019\/11\/RWTH-Weathermap_angepasst-1024x523.png\" alt=\"So sieht sie aus: Die RWTH Weathermap.\r\nSie bildet alle Datenstr\u00f6me in das RWTH Netz als auch nach au\u00dfen ab. Besonders auff\u00e4llig: Der rote Pfeil von \u201eDFN\u201c nach \u201eXWIN\u201c.\r\n[Quelle: http:\/\/netstatus.rz.rwth-aachen.de\/status\/weathermap\/ Momentaufnahme vom 13.11.2019]\" width=\"1024\" height=\"523\" srcset=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2019\/11\/RWTH-Weathermap_angepasst-1024x523.png 1024w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2019\/11\/RWTH-Weathermap_angepasst-300x153.png 300w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2019\/11\/RWTH-Weathermap_angepasst-768x392.png 768w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2019\/11\/RWTH-Weathermap_angepasst.png 1071w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><p id=\"caption-attachment-6705\" class=\"wp-caption-text\">So sieht sie aus: Die RWTH Weathermap. Sie bildet alle Datenstr\u00f6me in das RWTH Netz als auch nach au\u00dfen ab. Besonders auff\u00e4llig: Der rote Pfeil von \u201eDFN\u201c nach \u201eXWIN\u201c.<br \/>Quelle: Eigene Darstellung\/ Momentaufnahme vom 13.11.2019<\/p><\/div>\r\n<\/figure>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<p>Wir sind stolz, dass auch in einem solchem Extremfall alle Datenstr\u00f6me stabil flie\u00dfen k\u00f6nnen und bedanken uns an dieser Stelle herzlich bei der Abteilung Netze f\u00fcr die grandiose Arbeit.<\/p>\r\n\r\n<p>&nbsp;<\/p>\r\n\r\n<p>Verantwortlich f\u00fcr die Inhalte dieses Beitrags sind <a href=\"https:\/\/www.itc.rwth-aachen.de\/cms\/IT-Center\/IT-Center\/Team\/~epvp\/Mitarbeiter-CAMPUS-\/?gguid=0x0EC9C01F8EFF104B810E20F8F5820CD8&amp;allou=1\">Linda J\u00f6rres<\/a>, <a href=\"https:\/\/www.itc.rwth-aachen.de\/go\/id\/epvp\/gguid\/0x87D46A082A9D8244B475C9365FA57B12\/allou\/1\/\">Nils Neumann<\/a> und <a href=\"https:\/\/www.itc.rwth-aachen.de\/cms\/IT-Center\/IT-Center\/Team\/~epvp\/Mitarbeiter-CAMPUS-\/?gguid=0xD91E01F6C3D51E439F5365E0DA5FB893&amp;allou=1\">Benedikt Paffen<\/a>.<\/p>\r\n","protected":false},"excerpt":{"rendered":"<p>Wer forscht, der generiert Daten. Und die wollen auch bearbeitet und ausgewertet werden. Damit das auch mit sehr gro\u00dfen Datenmengen funktioniert, gibt es nicht nur High Performance Cluster wie unseren [&hellip;]<\/p>\n","protected":false},"author":2051,"featured_media":6704,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"c2c_always_allow_admin_comments":false,"footnotes":""},"categories":[312,315],"tags":[],"class_list":["post-6702","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-insight-it-center","category-services-support"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts\/6702","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/users\/2051"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/comments?post=6702"}],"version-history":[{"count":6,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts\/6702\/revisions"}],"predecessor-version":[{"id":15950,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts\/6702\/revisions\/15950"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/media\/6704"}],"wp:attachment":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/media?parent=6702"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/categories?post=6702"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/tags?post=6702"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}