Übertragung größerer Datenmengen¶

Für die Übertragung größerer Datenmengen ist die Einreichungsoption 'Transfer a large dataset' auszuwählen. Hier kann über den TU Dresden Dienst Datashare (Nextcloud) ein passwortgeschützter Share erstellt werden, über den größere Datenmengen einfacher übertragen werden können als über die OPARA Webseite. Für Angehörige der TU Dresden besteht zusätzlich die Option, Daten direkt auf das interne Gruppenlaufwerk zu übertragen. Bitte beachten Sie in jedem Fall die Hinweise in diesem Abschnitt zu Anzahl und Größe der Dateien.

Übertragung via TUD Datashare (Nextcloud)¶

Über die Formularkomponente 'Data Transfer via TUD Datashare' kann ein persönlicher passwortgeschützter Share erstellt und freigegeben werden (Button 'Generate Storage Access'). Nach Abschluss der Datenübertragung muss der Share geschlossen werden ('Close Storage Access').

Es ist zu beachten, dass für den Uplod im Datashare die maximale Dateigröße 5 GB beträgt. Größere Dateien müssen entsprechend aufgesplittet werden (z.B. via zip -s, split -b oder 7Zip (Windows)). Vor dem Import können wir eventuell gesplittete Dateien wieder zusammenführen. Hierzu bitte im Kommentarfeld 'Import Information' die genutzte Methode angeben und wie die Dateien wieder zusammengeführt werden können.

Weitere Informationen: Datashare im ZIH Service Katalog, Datashare FAQ

Übertragung via TUD Gruppenlaufwerk¶

Diese Option ist ausschließlich für Angehörige der TU Dresden verfügbar: Innerhalb des Netzes der TU Dresden können Daten auch direkt auf das freigegebene Gruppenlaufwerk von OPARA übertragen werden.

Gehen Sie bitte wie folgt vor:

Erstellen Sie lokal ein Verzeichnis, z.B. <Datum>_<Name>
Paketieren Sie Ihre Daten als zip- oder tar-Archiv/e in dieses Verzeichnis
Kopieren Sie dieses Verzeichnis komplett über das Datengateway in das freigegebene Verzeichnis auf dem OPARA Gruppenlaufwerk: dgw.zih.tu-dresden.de:/glw/opara/import/
Tragen Sie anschließend den Namen des erstellten Verzeichnisses in das Formularfeld 'Name of the transferred directory' ein.

1. Transfer aus dem TUD Campusnetz¶

Für eine Linux-Shell können die Befehle für rsync oder scp etwa so aussehen:

> rsync -avzh --progress <lokales-Verzeichnis> <ZIH-Login>@dgw.zih.tu-dresden.de:/glw/opara/import/
> scp -r <lokales-Verzeichnis> <ZIH-Login>@dgw.zih.tu-dresden.de:/glw/opara/import/

Für den Transfer von Windows aus sind zusätzliche Tools notwendig, wie z.B. PuTTY/pscp. Auf der Windows Shell würde der Befehl etwa so aussehen:

> pscp -sftp -r <lokales-Verzeichnis> <ZIH-Login>@dgw.zih.tu-dresden.de:/glw/opara/import/

Alternativ zum Transfer auf der Shell können auch grafische Tools wie FileZilla (Windows und Linux), WinSCP (Windows) oder andere genutzt werden. Für den Zugang sind dann folgende Informationen notwendig:

Server: sftp://dgw.zih.tu-dresden.de/glw/opara/import/
Benutzername: <zihlogin>
Passwort: **********
Port: -frei- oder 22

2. Transfer von den ZIH Hochleistungsrechnern¶

Datenübertragungen direkt von den HPC-Systemen sind mit den dt-Tools über die Datamover-Knoten möglich. Für den asynchronen Datentransfer muss dazu ein separater SSH-Key ohne Passwort erstellt werden. Der gesamte Vorgang ist dann wie folgt:

Erstellen des SSH-Keys auf dem HPC Cluster:

barnard$ ssh-keygen -t ed25519 -f ~/.ssh/opara -C "data transfer key for $(whoami)@$(hostname)" -P "" # Passphrase muss leer sein

Der neue Key wird über das gemeinsame Homeverzeichnis auf Loginknoten und Datengatewayknoten kopiert:

barnard$ ssh-copy-id -i ~/.ssh/opara <zihlogin>@login1.zih.tu-dresden.de

Der Hostkey des Datengateway muss lokal bekannt gemacht werden:

barnard$ ssh-keyscan -t rsa dgw.zih.tu-dresden.de >> ~/.ssh/known_hosts

Bei dem Kommando dtrsync muss nun zusätzlich die Information über den neuen SSH-Key mitgegeben werden:

barnard$ dtrsync -av -e \"ssh -i \$HOME/.ssh/opara\" /data/walrus/<your_project> dgw.zih.tu-dresden.de:/glw/opara/import/

Die Backslashes und Anführungszeichen im Parameter -e müssen hierbei exakt gesetzt werden.

Alternativ dazu kann auch eine dedizierte SSH-Config für den Datengateway-Knoten angelegt werden, z.B. bei häufiger Nutzung. Das Vorgehen wäre dann:

barnard$ cat ~/.ssh/config
  Host dgw.zih.tu-dresden.de
      User <zihlogin>
      IdentityFile ~/.ssh/opara

Mit dieser Konfiguration kann das dtrsync-Kommando ohne zusätzliche Parameter zum SSH-Key abgesetzt werden:

barnard$ dtrsync -av /data/walrus/<your_project> dgw.zih.tu-dresden.de:/glw/opara/import/

(siehe auch HPC Compendium: Transfer data with Datamover)

Abschluss des Datenimports¶

Im Dropdown in 'Import Information' ist auszuwählen, ob die übertragenen Daten lediglich archiviert oder veröffentlicht werden sollen. Im Kommentarfeld können eventuelle Hinweise zur weiteren Behandlung der Daten gegeben werden.

Nach Absenden des Formulars via 'Deposit' werden die Daten nach OPARA importiert. Dabei wird eine neue Einreichung erzeugt, die anschließend im Webinterface wie eine normale Einreichung bearbeitet und fertiggestellt werden kann. Sie erhalten eine Email, sobald der Import erfolgt ist und die neue Einreichung zur weiteren Bearbeitung zur Verfügung steht.