Quelle: Freepik
„Es ist vollbracht.“ Diese Worte können wir nun auch im Zuge des Projekts “Archivmigration” sagen. Nach mehr als zweieinhalb Jahren sind in der vergangenen Woche die letzten Daten aus dem Altsystem ins Digitalarchiv bzw. nach Coscine migriert worden. Jetzt, mit dem Abschluss des Projekts, können wir die Zeit nochmals Revue passieren lassen und den Verlauf evaluieren.
Die Anfänge
Das erste Konzept über die anstehende Migration wurde im Dezember 2020 vorgelegt und innerhalb des IT Centers diskutiert. Schnell wurde klar, dass für dieses Projekt mehr als eine Abteilung benötigt wird, um die anstehenden Aufgaben zu bewältigen. Ausgehend von dem ursprünglichen Fokus auf die Migration der Forschungsdaten wurde das Projekt in der Gruppe „Forschungsdatenmanagement“ der Abteilung „IT-PFL“ (jetzt PDSL) angesiedelt. Die technische Umsetzung leistete die Abteilung „Systeme & Betrieb“ die Öffentlichkeitsarbeit sowie die Kommunikation mit den Nutzenden die Abteilung „Service & Kommunikation“. Mit der Vorstellung des Migrationsprojekts in verschiedenen internen wie externen Gremien erfolgte im Februar 2021 der Startschuss. Aufgeteilt auf fünf Teilprojekte konnten somit die verschiedenen Arbeitspakete beginnen: Teilprojekt 1 kümmerte sich um die konkrete, technische Migration der Daten aus dem Altsystem. Teilprojekt 2 verantwortete die Schnittstelle zum Digitalarchiv (welches zu diesem frühen Zeitpunkt noch nicht existierte). In Teilprojekt 3 wurde das Formular erstellt, anhand dessen Nutzende ihre Archivknoten klassifizieren mussten. Mit Teilprojekt 4 war die Anbindung an Coscine verknüpft und in Teilprojekt 5 liefen die Fäden zusammen, was die direkte und indirekte Kommunikation mit den Nutzenden betraf.
Unterwegs erreichte Meilensteine und Schwierigkeiten
Mit der Umstellung des TSM-Archivs auf einen nur noch lesenden Zugriff Anfang Dezember 2021 wurde ein wichtiger Meilenstein erreicht: Ab jetzt konnten die Nutzenden ihre Archivknoten klassifizieren, das konkret hieß, dass wichtige Metadaten hinterlegt werden mussten, um den zukünftigen Speicherort festlegen zu können. So wurden Forschungsdaten nach Coscine migriert und Daten aus Lehrveranstaltungen und sonstige Daten ins Digitalarchiv. Parallel dazu wurden die Schnittstellen zu den Zielsystemen mit der vorangestellten Migration von „simpleArchive“ getestet. Bereits an diesem Punkt zeigte sich, dass der angestrebte Zeitplan schwer einzuhalten werden würde.
Als wir im Sommer 2022 mit der tatsächlichen Migration der Daten starteten, hätten wir nicht gedacht, dass wir uns bis zum Schluss in einem konstanten Entwicklungs- und Anpassungsprozess der für die Migration genutzten Skripte befinden würden, um Daten lediglich von einem System in ein anderes zu übertragen. Um die anhaltenden Probleme und Herausforderungen des Projekts den wartenden Archivknotenbesitzenden zu vermitteln, entschlossen wir uns dazu, die Umstände ganz offen und transparent in einem Blogbeitrag im September 2022 zu kommunizieren. Auch gaben wir mit der öffentlich erreichbaren Reporting-Seite den Nutzenden die Möglichkeit, sich direkt über den Status des Projekts und ihres Archivknotens zu informieren. Intern stockten wir die Projektgruppe auf und mobilisierten auf verschiedenen Ebenen diverse Ressourcen: Mit mehr Mitarbeitenden konnten wir bei problematischen Knoten eine manuelle Migration der Daten durchführen, während zeitgleich intensiv an der Weiterentwicklung des Skripts für die automatisierte Migration gearbeitet wurde. Ebenso wurden die virtuellen Maschinen auf über zwei Dutzend aufgestockt, um eine Vielzahl an Archivknoten parallel zu migrieren. Diese Arbeitsweise wurde bis zum Schluss beibehalten. Als schließlich im Januar 2023 das TSM-Backup auf “Read Only” umgestellt wurde, konnte die begrenzte Anzahl an Bandlaufwerken exklusiv für die Migration genutzt werden, was den Fortschritt deutlich beschleunigte.
Die Personengruppen
Während der Projektlaufzeit wurden verschiedene Personengruppen ins Leben gerufen, welche unmittelbar ins Projekt involviert wurden. Neben dem eigentlichen Projektteam gab es die „Interessenvertretungsgruppe“, bestehend aus Personen verschiedener Einrichtungen und unterschiedlicher Expertise, die mit ihrem Blick von außen unsere Prozesse begutachtete und wichtige Rückmeldungen lieferte. Über die gesamte Laufzeit bildete der „Projektbeirat“ ein wichtiges Gremium, der die Aufgabe innehatte, die Projektleitung in regelmäßigen Treffen zu benachrichtigen und bei Entscheidungen über notwendige Prozessanpassungen mitwirkte.
Neben dem geschilderten Verlauf spiegeln auch die Zahlen die Größe dieses Mammutprojekts wider: Im alten Archiv lagerten Daten mit einer Größe von über 1,7 PB, verteilt auf über 1000 Knotenpunkte. Von diesen wurden die Hälfte der Knotenpunkte nicht migriert (ca. 260 TB), da die Nutzenden keine Migration wünschten oder die notwendigen Metadaten nicht geliefert wurden. Die restlichen Daten verteilen sich wie folgt:
Quelle: Eigene Darstellung
Insgesamt wurden mehr als 600.000.000 Objekte bei knapp 1,5 PB aus dem TSM-Archiv nach Coscine bzw. ins Digitalarchiv migriert.
Ein herzliches Dankeschön
Dieses Projekt hätte nicht ohne die tatkräftige Unterstützung der vielen Projektbeteiligten gestemmt werden können. Unser herzlicher Dank geht an erster Stelle an die Mitglieder der Projektgruppe, die die notwendige Ausdauer behielten, um auch die letzten Bits und Byts in die Zielsysteme zu migrieren. Ebenso geht ein großes Dankeschön an den Projektbeirat für die sehr hilfreichen Rückmeldungen und stets konstruktiven Diskussionen. Ganz besonders bedanken wir uns bei den Mitgliedern der „Interessensvertretungsgruppe“, die uns die Sicht der Nutzenden auf das Projekt wiedergaben. Zu guter Letzt bedanken wir uns bei den Archivnutzenden selbst für ihre Geduld und ihr Verständnis, dass — wie so oft — bei Projekten dieser Größe nicht immer alles glatt läuft. Für die nächste Migration haben wir auf jeden Fall einiges dazugelernt.
_________________________________
Verantwortlich für die Inhalte dieses Beitrags sind Lukas C. Bossert und Sascha Bücken
