{"id":16111,"date":"2023-06-23T12:00:53","date_gmt":"2023-06-23T10:00:53","guid":{"rendered":"https:\/\/blog.rwth-aachen.de\/itc\/?p=16111"},"modified":"2026-02-10T16:26:19","modified_gmt":"2026-02-10T15:26:19","slug":"archivmigration-projektabschluss","status":"publish","type":"post","link":"https:\/\/blog.rwth-aachen.de\/itc\/2023\/06\/23\/archivmigration-projektabschluss\/","title":{"rendered":"Archivmigration \u2013 Projektabschluss"},"content":{"rendered":"<div class=\"twoclick_social_bookmarks_post_16111 social_share_privacy clearfix 1.6.4 locale-de_DE sprite-de_DE\"><\/div><div class=\"twoclick-js\"><script type=\"text\/javascript\">\/* <![CDATA[ *\/\njQuery(document).ready(function($){if($('.twoclick_social_bookmarks_post_16111')){$('.twoclick_social_bookmarks_post_16111').socialSharePrivacy({\"txt_help\":\"Wenn Sie diese Felder durch einen Klick aktivieren, werden Informationen an Facebook, Twitter, Flattr, Xing, t3n, LinkedIn, Pinterest oder Google eventuell ins Ausland \\u00fcbertragen und unter Umst\\u00e4nden auch dort gespeichert. N\\u00e4heres erfahren Sie durch einen Klick auf das <em>i<\\\/em>.\",\"settings_perma\":\"Dauerhaft aktivieren und Daten\\u00fcber-tragung zustimmen:\",\"info_link\":\"http:\\\/\\\/www.heise.de\\\/ct\\\/artikel\\\/2-Klicks-fuer-mehr-Datenschutz-1333879.html\",\"uri\":\"https:\\\/\\\/blog.rwth-aachen.de\\\/itc\\\/2023\\\/06\\\/23\\\/archivmigration-projektabschluss\\\/\",\"post_id\":16111,\"post_title_referrer_track\":\"Archivmigration+%E2%80%93+Projektabschluss\",\"display_infobox\":\"on\"});}});\n\/* ]]> *\/<\/script><\/div><p><div id=\"attachment_16113\" style=\"width: 310px\" class=\"wp-caption alignright\"><a href=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2023\/06\/12085316_20944142-scaled.jpg\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-16113\" class=\"size-medium wp-image-16113\" src=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2023\/06\/12085316_20944142-300x200.jpg\" alt=\"Symbolbild f\u00fcr Projektabschluss Archivmigration\" width=\"300\" height=\"200\" srcset=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2023\/06\/12085316_20944142-300x200.jpg 300w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2023\/06\/12085316_20944142-1024x683.jpg 1024w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2023\/06\/12085316_20944142-768x512.jpg 768w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2023\/06\/12085316_20944142-1536x1024.jpg 1536w, https:\/\/blog.rwth-aachen.de\/itc\/files\/2023\/06\/12085316_20944142-2048x1365.jpg 2048w\" sizes=\"auto, (max-width: 300px) 100vw, 300px\" \/><\/a><p id=\"caption-attachment-16113\" class=\"wp-caption-text\">Quelle: <a href=\"https:\/\/de.freepik.com\/vektoren-kostenlos\/organisiertes-archiv-dateien-in-der-datenbank-suchen_12085316.htm#query=forschungsdatentransfer%20illustriert&amp;position=6&amp;from_view=search&amp;track=ais\">Freepik<\/a><\/p><\/div><\/p>\n<p>\u201eEs ist vollbracht.&#8220; Diese Worte k\u00f6nnen wir nun auch im Zuge des Projekts \u201cArchivmigration\u201d sagen. Nach mehr als zweieinhalb Jahren sind in der vergangenen Woche die letzten Daten aus dem Altsystem ins Digitalarchiv bzw. nach Coscine migriert worden. Jetzt, mit dem Abschluss des Projekts, k\u00f6nnen wir die Zeit nochmals Revue passieren lassen und den Verlauf evaluieren.<\/p>\n<p><!--more--><\/p>\n<h3><span style=\"color: #00549f;\">Die Anf\u00e4nge<\/span><\/h3>\n<p>Das erste Konzept \u00fcber die anstehende Migration wurde im Dezember 2020 vorgelegt und innerhalb des IT Centers diskutiert. Schnell wurde klar, dass f\u00fcr dieses Projekt mehr als eine Abteilung ben\u00f6tigt wird, um die anstehenden Aufgaben zu bew\u00e4ltigen. Ausgehend von dem urspr\u00fcnglichen Fokus auf die Migration der Forschungsdaten wurde das Projekt in der Gruppe &#8222;Forschungsdatenmanagement&#8220; der Abteilung &#8222;IT-PFL&#8220; (jetzt PDSL) angesiedelt. Die technische Umsetzung leistete die Abteilung &#8222;Systeme &amp; Betrieb&#8220; die \u00d6ffentlichkeitsarbeit sowie die Kommunikation mit den Nutzenden die Abteilung &#8222;Service &amp; Kommunikation&#8220;. Mit der Vorstellung des Migrationsprojekts in verschiedenen internen wie externen Gremien erfolgte im Februar 2021 der Startschuss. Aufgeteilt auf f\u00fcnf Teilprojekte konnten somit die verschiedenen Arbeitspakete beginnen: Teilprojekt 1 k\u00fcmmerte sich um die konkrete, technische Migration der Daten aus dem Altsystem. Teilprojekt 2 verantwortete die Schnittstelle zum Digitalarchiv (welches zu diesem fr\u00fchen Zeitpunkt noch nicht existierte). In Teilprojekt 3 wurde das Formular erstellt, anhand dessen Nutzende ihre Archivknoten klassifizieren mussten. Mit Teilprojekt 4 war die Anbindung an <a href=\"https:\/\/www.coscine.de\/\">Coscine<\/a> verkn\u00fcpft und in Teilprojekt 5 liefen die F\u00e4den zusammen, was die direkte und indirekte Kommunikation mit den Nutzenden betraf.<\/p>\n<h3><span style=\"color: #00549f;\">Unterwegs erreichte Meilensteine und Schwierigkeiten<\/span><\/h3>\n<p>Mit der Umstellung des TSM-Archivs auf einen nur noch lesenden Zugriff Anfang Dezember 2021 wurde ein wichtiger Meilenstein erreicht: Ab jetzt konnten die Nutzenden ihre Archivknoten klassifizieren, das konkret hie\u00df, dass wichtige Metadaten hinterlegt werden mussten, um den zuk\u00fcnftigen Speicherort festlegen zu k\u00f6nnen. So wurden Forschungsdaten nach Coscine migriert und Daten aus Lehrveranstaltungen und sonstige Daten ins Digitalarchiv. Parallel dazu wurden die Schnittstellen zu den Zielsystemen mit der vorangestellten Migration von &#8222;simpleArchive&#8220; getestet. Bereits an diesem Punkt zeigte sich, dass der angestrebte Zeitplan schwer einzuhalten werden w\u00fcrde.<\/p>\n<p>Als wir im Sommer 2022 mit der tats\u00e4chlichen Migration der Daten starteten, h\u00e4tten wir nicht gedacht, dass wir uns bis zum Schluss in einem konstanten Entwicklungs- und Anpassungsprozess der f\u00fcr die Migration genutzten Skripte befinden w\u00fcrden, um Daten lediglich von einem System in ein anderes zu \u00fcbertragen. Um die anhaltenden Probleme und Herausforderungen des Projekts den wartenden Archivknotenbesitzenden zu vermitteln, entschlossen wir uns dazu, die Umst\u00e4nde ganz offen und transparent in einem <a href=\"https:\/\/blog.rwth-aachen.de\/itc\/2022\/09\/21\/projektverzug-archivmigration\/\">Blogbeitrag<\/a> \u00a0im September 2022 zu kommunizieren. Auch gaben wir mit der \u00f6ffentlich erreichbaren Reporting-Seite den Nutzenden die M\u00f6glichkeit, sich direkt \u00fcber den Status des Projekts und ihres Archivknotens zu informieren. Intern stockten wir die Projektgruppe auf und mobilisierten auf verschiedenen Ebenen diverse Ressourcen: Mit mehr Mitarbeitenden konnten wir bei problematischen Knoten eine manuelle Migration der Daten durchf\u00fchren, w\u00e4hrend zeitgleich intensiv an der Weiterentwicklung des Skripts f\u00fcr die automatisierte Migration gearbeitet wurde. Ebenso wurden die virtuellen Maschinen auf \u00fcber zwei Dutzend aufgestockt, um eine Vielzahl an Archivknoten parallel zu migrieren. Diese Arbeitsweise wurde bis zum Schluss beibehalten. Als schlie\u00dflich im Januar 2023 das <a href=\"https:\/\/blog.rwth-aachen.de\/itc\/2023\/01\/20\/alles-hat-ein-ende-auch-das-tsm-backup\/\">TSM-Backup<\/a> auf \u201cRead Only\u201d umgestellt wurde, konnte die begrenzte Anzahl an Bandlaufwerken exklusiv f\u00fcr die Migration genutzt werden, was den Fortschritt deutlich beschleunigte.<\/p>\n<h3><span style=\"color: #00549f;\">Die Personengruppen<\/span><\/h3>\n<p>W\u00e4hrend der Projektlaufzeit wurden verschiedene Personengruppen ins Leben gerufen, welche unmittelbar ins Projekt involviert wurden. Neben dem eigentlichen Projektteam gab es die &#8222;Interessenvertretungsgruppe&#8220;, bestehend aus Personen verschiedener Einrichtungen und unterschiedlicher Expertise, die mit ihrem Blick von au\u00dfen unsere Prozesse begutachtete und wichtige R\u00fcckmeldungen lieferte. \u00dcber die gesamte Laufzeit bildete der &#8222;Projektbeirat&#8220; ein wichtiges Gremium, der die Aufgabe innehatte, die Projektleitung in regelm\u00e4\u00dfigen Treffen zu benachrichtigen und bei Entscheidungen \u00fcber notwendige Prozessanpassungen mitwirkte.<\/p>\n<p>Neben dem geschilderten Verlauf spiegeln auch die Zahlen die Gr\u00f6\u00dfe dieses Mammutprojekts wider: Im alten Archiv lagerten Daten mit einer Gr\u00f6\u00dfe von \u00fcber 1,7 PB, verteilt auf \u00fcber 1000 Knotenpunkte. Von diesen wurden die H\u00e4lfte der Knotenpunkte nicht migriert (ca. 260 TB), da die Nutzenden keine Migration w\u00fcnschten oder die notwendigen Metadaten nicht geliefert wurden. Die restlichen Daten verteilen sich wie folgt:<\/p>\n<div id=\"attachment_16112\" style=\"width: 305px\" class=\"wp-caption aligncenter\"><a href=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2023\/06\/Zahlen-ArMi.png\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-16112\" class=\"size-full wp-image-16112\" src=\"https:\/\/blog.rwth-aachen.de\/itc\/files\/2023\/06\/Zahlen-ArMi.png\" alt=\"Zahlen des Archivmigrationsprojekts \" width=\"295\" height=\"126\" \/><\/a><p id=\"caption-attachment-16112\" class=\"wp-caption-text\">Quelle: Eigene Darstellung<\/p><\/div>\n<p>Insgesamt wurden mehr als 600.000.000 Objekte bei knapp 1,5 PB aus dem TSM-Archiv nach Coscine bzw. ins Digitalarchiv migriert.<\/p>\n<h3><span style=\"color: #00549f;\">Ein herzliches Dankesch\u00f6n<\/span><\/h3>\n<p>Dieses Projekt h\u00e4tte nicht ohne die tatkr\u00e4ftige Unterst\u00fctzung der vielen Projektbeteiligten gestemmt werden k\u00f6nnen. Unser herzlicher Dank geht an erster Stelle an die Mitglieder der Projektgruppe, die die notwendige Ausdauer behielten, um auch die letzten Bits und Byts in die Zielsysteme zu migrieren. Ebenso geht ein gro\u00dfes Dankesch\u00f6n an den Projektbeirat f\u00fcr die sehr hilfreichen R\u00fcckmeldungen und stets konstruktiven Diskussionen. Ganz besonders bedanken wir uns bei den Mitgliedern der &#8222;Interessensvertretungsgruppe&#8220;, die uns die Sicht der Nutzenden auf das Projekt wiedergaben. Zu guter Letzt bedanken wir uns bei den Archivnutzenden selbst f\u00fcr ihre Geduld und ihr Verst\u00e4ndnis, dass \u2014 wie so oft \u2014 bei Projekten dieser Gr\u00f6\u00dfe nicht immer alles glatt l\u00e4uft. F\u00fcr die n\u00e4chste Migration haben wir auf jeden Fall einiges dazugelernt.<\/p>\n<p>_________________________________<\/p>\n<p>&nbsp;<\/p>\n<p>Verantwortlich f\u00fcr die Inhalte dieses Beitrags sind \u00a0<a href=\"https:\/\/www.itc.rwth-aachen.de\/cms\/it-center\/IT-Center\/Profil\/Team\/~epvp\/Mitarbeiter-CAMPUS-\/?gguid=0x741F3A251551044BB9047AF649DED3B4&amp;allou=1\">Lukas C. Bossert<\/a> und <a href=\"https:\/\/www.itc.rwth-aachen.de\/cms\/it-center\/IT-Center\/Profil\/Team\/~epvp\/Mitarbeiter-CAMPUS-\/?gguid=0xB3655D4C7CF8E5418848BB29AC4CA7E8&amp;allou=1\">Sascha B\u00fccken<\/a><\/p>\n<p>&nbsp;<\/p>","protected":false},"excerpt":{"rendered":"<p>\u201eEs ist vollbracht.&#8220; Diese Worte k\u00f6nnen wir nun auch im Zuge des Projekts \u201cArchivmigration\u201d sagen. Nach mehr als zweieinhalb Jahren sind in der vergangenen Woche die letzten Daten aus dem [&hellip;]<\/p>\n","protected":false},"author":3675,"featured_media":16113,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"c2c_always_allow_admin_comments":false,"footnotes":""},"categories":[306,1574,316,315],"tags":[209,459,43,46,355,56,714],"class_list":["post-16111","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ankuendigungen","category-fdm","category-projekte-kooperationen","category-services-support","tag-archive-migration","tag-archivknoten","tag-archivmigration","tag-coscine","tag-digitalarchiv","tag-projekt","tag-tsm"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts\/16111","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/users\/3675"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/comments?post=16111"}],"version-history":[{"count":4,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts\/16111\/revisions"}],"predecessor-version":[{"id":16133,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/posts\/16111\/revisions\/16133"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/media\/16113"}],"wp:attachment":[{"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/media?parent=16111"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/categories?post=16111"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.rwth-aachen.de\/itc\/wp-json\/wp\/v2\/tags?post=16111"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}