IT Center Blog

Quelle: Pixabay

**Update**

Derzeit dauert die Migration der Archivdaten noch an und dauert über das verlängerte Projektziel hinaus. Nutzende, deren Daten noch nicht migriert wurden, werden per E-Mail kontaktiert. Auf unserer Reporting-Seite könnt ihr den aktuellen Stand der Migration nachsehen. (*)

Das Projekt „Archivmigration“, in dem wir archivierte Daten aus dem Bestandssystem TSM in die neuen Zielsysteme DigitalArchiv und Coscine überführen, entwickelt sich mehr und mehr zu einem Mammut-Projekt. Trotz ausgiebiger Planung der fünf Teilprojekte und umfassender Kommunikation zur Klassifizierung der archivierten Knoten, kam und kommt es in der technischen Umsetzung der Migration zu unvorhersehbaren Problemen, die nun zu einem Projektverzug führen.

Geplantes Projektende 31.12.2022

Aufgrund der gehäuften Probleme und ständig notwendigen Anpassungen unserer Arbeitsabläufe, wird sich das Projektende voraussichtlich auf den 31. Dezember 2022 verschieben. Ganz wichtig ist es uns aber an dieser Stelle allen Betroffenen mitzuteilen, dass die archivierten Daten sicher bei uns sind. Die oberste Prämisse in der Archivmigration ist es, die Integrität der zu migrierenden Daten zu wahren.

Mit diesem Blogbeitrag möchten wir transparent Einblick geben in die Herausforderungen und technischen Probleme, die uns bislang bei der Archivmigration begegnet sind.

Auch wenn wir heute nur einen Zwischenschritt beschreiben können, bedanken wir uns bei allen Knotenansprechpersonen und Backup-Admins, die stellvertretend für u.a. ausgeschiedene Knotenansprechpersonen die Klassifikation von Archivknoten (Daten aus der Forschung oder Lehrveranstaltung oder sonstige Daten) übernommen haben. Damit haben sie die Grundlage geschaffen, um die Archivknoten in die richtigen Zielsysteme migrieren zu können. Dennoch waren in vielen Fällen auch hier Nacharbeiten notwendig, sodass es auch jetzt noch zum Einholen von Metadaten individueller Knoten kommt.

Dabei haben wir festgestellt, dass auch Knoten klassifiziert worden sind, obwohl sie gar keine Daten enthalten. Da es technisch nicht möglich ist, diese zu migrieren, weil keine Daten vorhanden sind, die migriert werden können, werden diese Knoten mit dem Status „No Migration“ versehen.  Die jeweiligen Knotenansprechpersonen werden darüber per E-Mail informiert.

Laufend neue Probleme mit dem Start der technischen Migration

Der ursprüngliche Plan, die archivierten Daten automatisiert aus dem Bestandssystem TSM in die neuen Zielsysteme DigitalArchiv und Coscine zu überführen, hat aufgrund einer Vielzahl von technischen Problemen nicht wie geplant funktioniert. Dieser Umstand beschreibt den primären Grund für den Projektverzug. Aufgrund des großen Umfangs der zu migrierenden Daten von über 1.690.722 GB (ca. 1,7 PB) mit über 785 Mio. Objekten, ergibt sich zwangsläufig eine gewisse Datenheterogenität, sodass wir laufend in neue Probleme seit dem Start der technischen Migration gelaufen sind, die wir so nicht absehen konnten.

Die größten Herausforderungen und Probleme, die uns bisher begegnet sind, möchten wir etwas näher ausführen.

• Plattformprobleme auf dem Altsystem:
  In das Bestandsystem TSM konnten Daten in einen Windows- oder Linux-Knoten eingespielt werden. Beide Systeme erfordern ganz unterschiedliche Anpassungen und jeder „Ausnahmefall“, der uns bei den Archivknoten begegnet, muss stets für beide Plattformen korrigiert werden.
• Heterogenität der vorgehaltenen Daten, bspw. Encoding der Dateinamen:
  Das Bestandsystem TSM operiert nicht nach dem Encoding-Standard UTF-8, sodass Dateinamen mit Sonderzeichen o.ä. nicht korrekt ausgegeben werden und wir diese so auch nicht korrekt migrieren könnten. Da das Zeichenkodiersystem des TSM nicht dokumentiert ist, mussten wir zunächst viel Zeit für das Dekodieren aufbringen, um eine korrekte Migration zu ermöglichen. Für die Zielsysteme arbeiten wir mit dem Standard UTF-8, sodass zukünftig dieses Problem nicht mehr auftaucht.
• Verschlüsselte Knoten:
  Im Bestandsystem gab es die Möglichkeit, Knoten über den TSM zu verschlüsseln. Nur, wer im Besitz des Schlüssels ist, kann auf die Daten zugreifen. Auch uns im IT Center ist dieser Schlüssel nicht bekannt und es gibt für uns *keine* Möglichkeit, auf diese Daten zuzugreifen und sie zu migrieren. Wir werden die Knotenansprechpersonen, für deren Knoten wir eine solche Verschlüsselung feststellen, individuell kontaktieren und über die Möglichkeit der „eigeninitiierten Migration“ informieren.
• Leere Knoten, die dennoch klassifiziert wurden:
  Dankeswerterweise wurde dem Aufruf zur Klassifikation von Archivknoten gefolgt. Dabei wurden allerdings auch Knoten klassifiziert, bei denen wir jetzt festgestellt haben, dass diese *keine* Dateien enthalten, die wir migrieren können. Aus diesem Grund kontaktieren wir hierzu noch einmal individuell die entsprechenden Knotenansprechpersonen darüber, dass wir ihre leere Knoten mit dem Status „No Migration“ versehen werden und keine Migration stattfindet. Wo keine Daten vorhanden sind, können auch keine Daten migriert werden. Natürlich haben die Betroffenen noch einmal die Möglichkeit diesen Zustand zu überprüfen. Genaueres wird in der entsprechenden E-Mail an die Betroffenen kommuniziert.
• Abschlussbenachrichtigung über migrierte Knoten:
  Aufgrund eines falsch eingestellten Skripts wurden im Juni Knotenansprechpersonen über eine vermeintlich erfolgte Migration ihrer Daten informiert. Der Link in der E-Mail führte in das Zielsystem Coscine, jedoch aber nur auf die oberste Ebene des persönlichen Bereichs, ohne dass erkennbar war, welche Daten migriert worden seien. Wir konnten den Fehler schnell erkennen und beheben, sodass wir auf verschiedenen Wegen die entsprechenden Personen kontaktieren konnten. Wir bitten nochmals das E-Mail-Aufkommen sowie die Irritationen zu entschuldigen. Damit schneller ersichtlich wird, welche Daten des Archivknotens erfolgreich migriert wurden, werden wir den Projektnamen in die Benachrichtigungsmail integrieren.
• Zugriffsfehler auf Archivknoten (Fehlercode 500):
  Die migrierten Forschungsdaten werden in den sog. RDS-NRW-Share migriert, der dank einer Georedundanz über verschiedene Standorte in NRW eine sehr hohe Absicherung hat. Bei einem Update der Firewall-Firmware dieses RDS-NRW-Shares Ende August kam es zu einer fehlerhaften Konfiguration. Dies führte dazu, dass in Coscine der Fehlercode 500 angezeigt wurde. Mittlerweile ist das System korrekt konfiguriert und auf migrierte Forschungsdaten kann wieder zugegriffen werden.
• Sehr große Archivknoten:
  Dass in einem Forschungskontext sehr viele und große Daten zusammenkommen, zeigen Archivknoten, die mit über 90 TB bis 190 TB unsere „Großkandidaten“ darstellen. Diese Knoten können wir nicht im Zuge des anvisierten automatisierten Workflows migrieren, sondern wir müssen die Schritte des Herunterladens aus dem TSM und des Hochladens ins Zielsystem händisch vornehmen. Dies beinhaltet, dass auch der Migrationsfortschritt konsequent betreut werden muss. Da wir es bei dem Bestandssystem TSM mit einem Bandspeichersystem zu tun haben, handelt es sich beim Auslesen der Bänder um einen mechanischen Vorgang, der bei derart großen Knoten entsprechend viel Zeit in Anspruch nimmt. [Wer wissen möchte, wie ein solches Bandspeichersystem funktioniert, schaut sich das Video dazu an.]
• Archivknoten mit sehr vielen Objekten:
  Neben riesigen Archivknoten bereiten uns auch Archivknoten mit sehr vielen einzelnen Objekten Probleme. Fast 100 Knoten haben mehr als 10 Mio. Objekte, was nicht nur zeitintensiv ist (Daten aus dem TSM lesen und wieder hochladen), sondern auch technisch herausfordernd ist.

Diese Probleme sind an sich in der Einzelerscheinung zu handlen, jedoch haben sie uns in der technischen Migration entsprechend gebremst.

Durch die wunderbare Unterstützung und dem vielfältigen Know-How unserer Kolleg*innen haben wir Mittel und Wege gefunden, um die Archivmigration weiter voranzutreiben. Neben laufenden Anpassungen an Skripten und Workarounds, Staffelung der Migrationsphasen und dem Einsatz von mehr Personal, sind wir nun auf einem sehr guten Weg und zuversichtlich, dass wir laufend mehr und mehr Abschlussbenachrichtigungen an die Knotenansprechpersonen versenden können.

Einsehbares Reporting verfügbar

Zusätzlich arbeiten wir stetig an der Bearbeitung von Anfragen zur Archivmigration sowie daran, unser Reporting zur Archivmigration auszubauen. Wir bitten alle Nutzenden um ein wenig Nachsicht und Geduld bei der Bearbeitung. Das Archiv steht weiterhin lesend zur Verfügung (Read Only). Im Bedarfsfall können Daten aus dem Archiv heruntergeladen werden. Lediglich der Upload ist nur noch über das DigitalArchiv und Coscine möglich.

Natürlich ist das Interesse hoch, wie weit die jeweiligen Archivknoten in der Migration sind. Aus diesem Grund haben wir für alle Interessierten ein Reporting entwickelt. Die Reporting-Seite wird stündlich aktualisiert und zeigt die Fortschritte der letzten Stunde sowie gegenüber dem vorherigen Tag an. Um möglichst effizient zu arbeiten, haben wir ein System der Klassifikation und des Status eingeführt, das anhand von Abkürzungen wie bspw. „migcResearch“ (erfolgreiche Migration nach Coscine, noch keine Abschlussbenachrichtigung verschickt) funktioniert. Auf der Seite führen wir aus, was sich dahinter verbirgt und, wie man das Reporting lesen muss.

Ansicht der Reporting-Seite
Quelle: Eigene Darstellung

In der Übersicht „Individual Node Report“ könnt ihr anhand der ID, die aus der URL des Metadatenformulars abgelesen werden kann, den Status eures Archivknotens einsehen.

Ansicht „Individual Node Report“
Quelle: Eigene Darstellung

Wir bitten alle, die sich in der Zwischenzeit um ihre Archivknoten gesorgt haben, um Entschuldigung für die Verzögerung. Dieses Mal hat es leider etwas länger gedauert, aber es sieht gut aus und wir tun unser Möglichstes, um alle Daten sicher und zuverlässig in die designierten Zielsysteme zu überführen.

Verantwortlich für die Inhalte dieses Beitrags sind Lukas C. Bossert und Nicole Filla.

(*) Der Absatz wurde am 09.02.2023 aktualisiert.

Kategorie: Services & Support
Schlagworte: Archiv, Archivknoten, Archivmigration, Coscine, simpleArchive
Kommentare und Trackbacks sind geschlossen