DaRUS beruht auf der OpenSource Software DataVerse und bietet Gruppen der Universität (Instituten, Arbeitsgruppen, SFBs, EXCn, Projekten) und deren Partnern die Möglichkeit, eigene Daten-Universen mit eigenen Suchkriterien und Beschreibungsmöglichkeiten zu pflegen. Die Datensätze werden so beschrieben, dass sie leicht auffindbar und unkompliziert zu teilen sind. Eine API bietet die Möglichkeit, den Upload und den Zugriff auf die Daten zu automatisieren. Die Datensätze müssen nicht veröffentlicht werden, können aber leicht zitierbar und mit DOI versehen der Öffentlichkeit zur Verfügung gestellt werden. Damit können nicht nur die Anforderungen von Fördermittelgebern oder Zeitschriften erfüllt werden, sondern gleichzeitig wichtige Forschungsergebnisse innerhalb einer Forschungsgruppe sichtbar und langfristig nutzbar gemacht werden. Neben dem Produktivsystem bietet DemoDaRUS eine Testumgebung, in der die Funktionalitäten von DaRUS ausprobiert werden können.
Wenn Sie DaRUS für Ihre Arbeitsgruppe oder ihr Projekt nutzen wollen, wenden Sie sich an das FoKUS-Team.
Aktuelles
Wartungsfenster Do 20 - 22 Uhr:
Während dieses Zeitraumes kann es zu kurzen Unterbrechungen des Services kommen.
Häufig gestellte Fragen
Die Weboberfläche von DaRUS ist unter https://darus.uni-stuttgart.de zu finden. Als nicht angemeldeter Benutzer sehen Sie dort alle veröffentlichten Datensätze und Databereiche (Dataverses).
Das Testsystem DemoDaRUS finden Sie unter https://demodarus.izus.uni-stuttgart.de/. Das Testsystem ist nur innerhalb der Universität Stuttgart erreichbar.
DaRUS ist der Ort für alle Mitglieder und Partner der Universität Stuttgart, um abgeschlossene Forschungsergebnisse in Form von Daten und/oder Software zu teilen, zu veröffentlichen oder zu archivieren. Als technische Universität haben wir einen Fokus auf ingenieur- und naturwissenschaftliche Forschung.
DaRUS ist nicht gedacht zur (Zweit-)Veröffentlichung von Texten und Postern. Nutzen Sie dafür bitte OPUS, das Open-Access-Repositorium der Universität Stuttgart. Auch zur Veröffentlichung von Unterrichtsmaterialien (Open Educational Resources) ist DaRUS nicht der richtige Ort. Nutzen Sie dafür bitte ZOERR, das Repositorium der baden-württembergischen Hochschulen für Open Educational Ressources.
Es gibt keine strenge Beschränkung, aber wir empfehlen dringend (und überprüfen dies im Rahmen des Veröffentlichungsprozesses), Daten in einem offenen Format hochzuladen, das offen dokumentiert ist und von mehreren verschiedenen Tools unterstützt wird. Wenn Sie Daten in einem proprietären Format hochladen müssen, dann dokumentieren Sie bitte in den Prozess-Metadaten die Software (und die Version), die zum Lesen der Daten verwendet werden kann.
Wir empfehlen (und bieten Vorschaufunktionalitäten für) die folgenden Datenformate :
- CSV, TAB für tabellarische Daten
- HDF5, NetCDF für strukturierte Daten
- TIFF, JPG für Bilder
- Klartext-, Markdown- oder PDF-Dateien für README-Dateien und zusätzliche Dokumentation
Testen Sie zunächst, ob ihr Institut bereits über einen eigenen Bereich (sog. Dataverse) auf DaRUS verfügt. Sie können das herausfinden, indem Sie in der Volltextsuche von DaRUS nach dem Namen oder dem Kürzel ihres Instituts suchen. Auf der Seite ihres Instituts-Dataverses erreichen Sie das lokale Administratory dann über den Contact-Button. Diese Person kann Ihnen dann alle notwendigen Rechte zum Upload von Daten geben.
Falls ihr Institut noch kein eigenes Dataverse hat, können wir einen solchen Bereich für Sie anlegen. Voraussetzung dafür ist lediglich, dass ein lokales Administratory die Verantwortung für das Dataverse übernimmt (indem es die Rolle "DaRUS-Administrator" im Uni-Admin-Portal übernimmt) und ein Einführungsgespräch mit uns führt. Inhalte des Beratungsgesprächs sind: Funktionen und Konfigurationsmöglichkeiten von DaRUS, Rechte und Pflichten als DaRUS-Admin, Anwendungsziele, Datentypen, -formate und -volumina, Beschreibungskategorien, Automatisierung.
Sie können auf der Seite Antrag DaRUS-Dataverse die Einrichtung eines neuen Dataverses veranlassen. Wir werden sie im Anschluss zeitnah kontaktieren um einen Termin für das Einführungsgespräch zu vereinbaren.
Die Anmeldung geschieht auf der Startseite von DaRUS über Shibboleth. Klicken Sie rechts oben auf LogIn und wählen Sie Ihre Institution (als Mitglied der Uni Stuttgart "Universität Stuttgart") aus. Anschließend werden Sie auf eine Anmeldeseite weitergeleitet, auf der Sie sich mit Ihrem institutionellen Account anmelden können. Sie sehen nun - zusätzlich zu den veröffentlichten Datensätzen und Dataverses - auch alle privaten Datensätze und Dataverses auf die Sie Rechte haben.
In der DaRUS Knowledge Base auf DaRUS finden Sie Anleitungen für die ersten Schritte auf DaRUS.
DaRUS bietet alle Möglichkeiten, um Ihre Forschungsdaten auffindbar (=findable), zugänglich (=accessible), interoperabel (=interoperable) und nachnutzbar (=reusable) und damit entsprechend den FAIR-Prinzipien aufzubereiten.
Alle auf DaRUS hochgeladenen Daten erhalten eine DOI als dauerhaften Identifikator, eine Lizenz (standardmäßig CC-BY) und können mit einem umfangreichen Satz von Metadaten beschrieben werden, die in Metadatenblöcken organisiert sind. Die Metadatenblöcke auf DaRUS ermöglichen die Beschreibung von Daten mit Informationen zur Zitierung und allgemeinen Beschreibung, zum Kontext (Projekt, Finanzierung, Beziehungen zu anderen Datensätzen und Informationen), und zum Forschungsprozess mit den verwendeten Methoden und Werkzeugen, zum Untersuchungsgegenstand mit den erfassten Variablen und Parametern sowie technische Informationen über die Verwendung und Dokumentation von Software und Code. Ein minimaler Satz von Metadaten (Titel, Beschreibung, Autor, Kontakt, Thema) wird vom System technisch erzwungen. Weitere Metadaten können von lokalen Administratoren anhand der fachspezifischen Bedürfnisse konfiguriert werden. Die Metadatenblöcke basieren auf Metadatenstandards wie DDI, DataCite, EngMeta und CodeMeta. Alle Metadaten werden indiziert und können zum Auffinden und Filtern von Datensätzen über Suchfacetten, Volltextsuche und erweiterte Suchfunktionalitäten genutzt werden.
Alle auf DaRUS veröffentlichten Daten sind über B2FIND, OpenAIRE und die Google Dataset Search auffindbar.
Die Qualität der veröffentlichten Datensätze wird durch einen Publikations-Workflow sichergestellt. Jeder Datensatz durchläuft vor der Veröffentlichung einen inhaltlichen und einen formalen Qualitätscheck, bei dem er auf Vollständigkeit, Verständlichkeit und Reproduzierbarkeit geprüft wird. Die Autoren werden ermuntert, offene Datenformate zu verwenden.
Die Daten werden in einem Object-Storage System (NetApp StorageGRID) gespeichert und dabei gleichzeitig auf zwei räumlich getrennte Standorte gespiegelt. Die Festplatten sind als so genannte Dynamic Disk Pools (DDP) konfiguriert. Ein wesentliches Merkmal ist, dass alle Daten über alle beteiligten Platten gestriped sind. Das bedeutet, dass der gleichzeitige Ausfall von bis zu 3 Festplatten ohne Datenverlust verkraftet werden kann.
Alle Uploads und Downloads werden automatisch mit TLS1.2 oder besser verschlüsselt. Gespeicherte Daten werden vom System standardmäßig mit AES-256 verschlüsselt und bei Zugriff einer autorisierten Applikation automatisch wieder entschlüsselt.
Falls Sie regelmäßg große Datenmengen auf DaRUS hochladen möchten, sprechen Sie bitte Ihren lokalen Administrator, bzw. als Administrator das DaRUS-Team an. Wir können dann für Ihr Dataverse den direkten Upload auf das Datenbackend aktivieren.
Mehr Informationen zu den verschiedenen Möglichkeiten zum Upload von Dateien finden Sie unter BigData.
In Ihrem Dataverse können Sie selber entscheiden, welche Nutzer welche Rechte an den Datensätzen haben. Dazu können Sie Benutzergruppen anlegen und einzelnen Benutzern oder Benutzergruppen Rollen zuweisen. Um einem Benutzer Rechte geben zu können oder einen Benutzer einer Gruppe hinzuzufügen, muss sich dieser Benutzer zunächst einmal per Shibboleth bei DaRUS anmelden.
Zudem können Sie konfigurieren, welche Such- und Beschreibungskategorien (Metadaten) für ihre Forschungsdaten verfügbar sein sollen und welche davon optional oder verpflichtend ausgefüllt werden müssen. Sie können auch Templates anlegen, die häufig genutzte Metadaten vorausfüllen, und das Dataverse mit Logo und Informationen ihres Instituts oder Projektes branden.
Jedes Dataverse hat seine eigene Rechteverwaltung. Rechte werden nicht von einem übergeordneten Dataverse an darunter liegendes Dataverse vererbt. Sie brauchen ManagePermission-Rechte an einem Dataverse, um anderen Benutzern oder Nutzergruppen Rechte geben zu können. Rechte können auf der Ebene von Dataverses oder Datensätzen vergeben werden.
Zunächst brauchen Sie ein Dataverse für ihr Projekt. Falls ihr Institut bereits über ein Dataverse verfügt, kann das lokale Administratory (mit der Rolle DaRUS-Administrator im Uni-Admin-Portal) ein Unter-Dataverse für Sie anlegen und Ihnen Admin-Rechte auf dieses Dataverse geben.
Anschließend müssen sich alle Projektpartner einmal per Shibboleth bei DaRUS anmelden, damit sie als Benutzer im System auftauchen. Dann können Sie den Partnern die gewünschten Rechte am Projektdataverse geben.
Damit sich externe Partner bei DaRUS authentifizieren können, muss die jeweilige Institution im EduGAIN-Verbund Mitglied sein und dem Dienst DaRUS (EntityID https://darus.uni-stuttgart.de/shibboleth) vier Attribute übergeben (eppn, givenName, sn, mail), damit DaRUS einen Benutzeraccount anlegen kann. Sollte es dabei Probleme geben, melden Sie sich beim FoKUS-Team.
Jeder Datensatz bekommt schon bei der Erstellung eine DOI (Digital Object Identifier) als ID zugewiesen. Damit der Datensatz tatsächlich unter dieser DOI permanent für die Öffentlichkeit erreichbar ist, müssen Sie den Datensatz veröffentlichen. Dabei durchläuft der Datensatz einen Publikationsworkflow, in dem der Datensatz zunächst in fachlicher Sicht und anschließend in formaler Sicht geprüft wird. Nach der Freigabe wird die DOI registriert und der Datensatz der Öffentlichkeit freigegeben.
Planen Sie für den Veröffentlichungsprozess mindestens eine Woche ein. Nach der internen inhaltlichen Kontrolle dauert es in der Regel bis zu 3 Werktage, bis sie Rückmeldung vom DaRUS-Team bekommen. Bis zur eigentlichen Freischaltung und Veröffentlichung des Datensatzes kann dann noch eine Überarbeitung notwendig sein.
DaRUS bietet verschiedene Grade von Öffentlichkeit:
- Veröffentlicht mit DOI ohne Einschränkung: Sowohl die Beschreibung (Metadaten) wie auch die Daten selber sind uneingeschränkt für die Öffentlichkeit zugänglich. Die Zugriffe auf den Datensatz werden gezählt, aber keine Informationen über die Nutzer gesammelt. (Anwendungsbeispiel: OpenData)
- Veröffentlicht mit DOI mit Gästebuch: Die Metadaten sind uneingeschränkt zugänglich, vor dem Herunterladen der eigentlichen Dateien müssen Nutzer einen Fragebogen ausfüllen. Die Daten werden unabhängig von den Antworten auf den Fragebogen zugänglich gemacht (Anwendungsbeispiel: Informationsbedürfnis über Nachnutzer von Daten)
- Veröffentlicht mit DOI mit Datei-Schutz: Die Metadaten sind uneingeschränkt zugänglich, die Dateien können nur angefordert werden und müssen explizit durch einen Administrator freigegeben werden. (Anwendungsbeispiel: Einschränkung auf wissenschaftliche Nutzung von datenschutzrelevanten Daten)
- Veröffentlicht mit Embargo auf Datei-Ebene: Die Metadaten sind uneingeschränkt zugänglich, die Dateien können erst nach Ablauf einer Embargo-Frist heruntergeladen werden.
- Unveröffentlicht mit privater URL: Für einen unveröffentlichten Datensatz kann eine sog. private URL erzeugt werden. Jeder im Besitz dieser URL kann auf den Datensatz zugreifen. (Anwendungsbeispiel: Zugriff auf Daten für Gutachter)
- Unveröffentlicht: Auf unveröffentlichte Datensätze haben nur die Nutzer Zugriff, denen explizit Rechte an dem enthaltenden Dataverse eingeräumt wurden. (Anwendungsbeispiel: Teilen von Daten im Projektkontext)
Wenden Sie sich an ihren lokalen Administrator und verweisen ihn auf diese FAQs.
Beim Herunterladen von Dateien leitet Dataverse auf den Object-Storage weiter, in dem die Dateien gespeichert wird. Curl folgt dieser Weiterleitung nicht automatisch. Daher funktioniert das im API-Guide beschriebene Vorgehen hier nicht ohne Probleme.
Wenn Sie per Data-Access-API eine Datei eines unveröffentlichten Datensatzes herunterladen, verwenden Sie am besten den folgenden Befehl:
wget "https://darus.uni-stuttgart.de/api/access/datafile/<fileId>" --header "X-Dataverse-key: <IhrApiKey>" --content-disposition
Ersetzen Sie <fileId> und <IhrApiKey> durch die entsprechenden Werte bei Ihnen.
Beim Zuweisen von Rechten an einem Dataverse werden diese zeitversetzt mit dem Index synchronisiert. Um die Synchronisation manuell anzustoßen, verändern Sie die Metadatenkonfiguration des betreffenden Dataverse.
DaRUS basiert auf der Open-Source-Software Dataverse, deren Funktionalitäten im User-Guide und deren REST-Schnittstellen im API-Guide beschrieben werden. Ein Foliensatz veröffentlicht in der DaRUS-Knowledge-Base beschreibt die ersten Schritte mit DaRUS als User und auch als Administrator.
Ein IPython-Notebook zeigt zusätzlich beispielhaft typische API-Calls.
Häufige Fragen rund um Datensätze
Sie können für jede Datei beim Hochladen einen Dateipfad angeben. Neben der Tabellenansicht bietet DaRUS dann alternativ eine Baumansicht (Table), in der die Dateien in den Dateipfaden organisiert angezeigt werden.
Alternativ können Sie mehrere Dateien in einer zip-Datei hochladen. Diese Datei wird von DaRUS automatisch ausgepackt, wobei die Ordnerstruktur innerhalb der zip-Datei erhalten bleibt.
Mehr Informationen dazu finden Sie im User-Guide von Dataverse.
Wir empfehlen eine standardisierte Lizenz, die zum Inhalt ihres Datensatzes (Daten und/oder Software) passt und die die Nutzung ihres Datensatzes in Ihrem Sinne regelt. Für Daten können Sie aus den Creative Commons Lizenzen auswählen, für Datenbanken Lizenzen wie die ODBL und für Software spezielle Software-Lizenzen. Beinhaltet ihr Datensatz sowohl Daten wie auch Software, können Sie auch verschiedene Lizenzen für einzelne Teile des Datensatzes vergeben (siehe zum Beispiel darus-2134, darus-1851 oder darus-3303).
Im Sinne von OpenScience empfehlen wir, ihre Forschungsergebnisse mit einer möglichst freien Lizenz zu versehen (wie z.B. CC-0 oder CC-BY für Daten oder MIT, Apache 2.0 oder BSD für Software). Alternative CC-Lizenzen ermöglichen es Ihnen, eine kommerzielle Nutzung auszuschließen oder sicherzustellen, dass auch abgeleitete Werke aus ihren Daten unter der gleichen offenen Lizenz veröffentlicht werden.
Falls Sie mit ihrer Software auf bestehende Software(-bibliotheken) aufbauen, müssen Sie zusätzlich beachten, unter welcher Lizenz diese Abhängigkeiten stehen. Sollten Sie auf Code aufbauen, der unter einer sog. Copy-Left-Lizenz steht (wie z.B. die GPL), können Sie beispielsweise keine permissive Lizenz (wie z.B. MIT, Apache 2.0 oder BSD) mehr verwenden.
Der License Chooser kann Ihnen helfen, die richtige CC-Lizenz für ihre Daten auszuwählen, der License Checker die richtige Lizenz für ihre Software.
Standardmäßig werden alle Datensätze mit einer CC-BY - Lizenz versehen.
Alle Metadatenfelder, bei denen eine mehrzeilige Textbox als Input-Element zur Eingabe der Inhalte vorgegeben sind, können mit Hilfe von HTML-Tags gestaltet werden.
So können Sie zum Beispiel Textabsätze mit Hilfe eines <p>-Tags kennzeichnen, Links mit einem <a>-Tag direkt anklickbar machen oder Aufzählungen mit <ul> und <li>-Elementen gestalten.
Ein Beispiel:
<p>Erster Textabsatz.</p>
<p>Zweiter Textabsatz mit einem <a href="http://link.ziel">Link</a>.</p>
<ul>
<li>Aufzählungselement 1</li>
<li>Aufzählungselement2</li>
</ul>
DaRUS, bzw. Dataverse versucht, tabellarische Daten (z.B. CSV, TSV, STATA, SAV, R) automatisch einzulesen und in ein internes Archivformat zu überführen. Nach dem erfolgreichen Einlesen der Daten gibt es auf der jeweiligen Datei-Seite eine Preview-Funktion, die den Inhalt anzeigt.
Damit das bei CSV-Dateien funktioniert, müssen diese in einem bestimmten Format sein:
- Die Spalten müssen mit Kommas (keine Semikolons, keine Tabulatoren, keine Leerzeichen) getrennt sein
- Die Datei beginnt mit einer Header-Zeile mit eindeutigen Spaltenüberschriften
- Alle Zeilen haben die gleiche Anzahl Spalten
- Inhalte von Tabellenzellen, die Kommas beinhalten, sind mit Anführungezeichen umgeben
Bereiten Sie ihre Excel-Tabellen so vor, dass sie jeweils genau eine Überschriftenzeile als erste Zeile (idealerweise pro Überschriftenspalte eine eindeutige Bezeichnung und Einheit der jeweiligen Daten, z.B. Pressure [bar]) beinhalten.
Anschließend können Sie das folgende Makro nutzen, um die Daten pro Tab in das gewünschte CSV-Format zu exportieren:
Public Sub ExportWorksheetAndSaveAsCSV()
Dim wbkExport As Workbook
Dim shtToExport As Worksheet
Dim shtName As String
Dim wbName As String
Dim Filename As String
Set shtToExport = ActiveSheet 'Sheet to export as CSV
shtName = Replace(ActiveSheet.Name, " ", "_") 'sheet name without blanks
wbName = Replace(ActiveWorkbook.Name, " ", "_") 'workbook name without blanks
'Filename = ActiveWorkbook.Path + "\" + wbName + "_" + shtName + ".csv"
Filename = ActiveWorkbook.Path + "\" + shtName + ".csv"
'MsgBox ("Filename: " + Filename)
Set wbkExport = Application.Workbooks.Add
shtToExport.Copy Before:=wbkExport.Worksheets(wbkExport.Worksheets.Count) 'open sheet in new workbook
Application.DisplayAlerts = False 'Possibly overwrite without asking
wbkExport.SaveAs Filename:=Filename, FileFormat:=xlCSVUTF8 'comma separated csv format
Application.DisplayAlerts = True
wbkExport.Close SaveChanges:=False 'close sheet
End Sub
Manche Metadatenfelder (aktuell die Felder Keyword und Topic Classification aus dem Citation Metadata Block) ermöglichen es, den gewünschten Begriff (Term) mit einem Link aus einem kontrollierten Vokabular zu hinterlegen. Idealerweise ist der Begriff damit eindeutig semantisch definiert und mit anderen Forschungsoutputs verknüpfbar.
Der gewünschte Begriff kommt dazu in das Unterfeld "Term" (wobei jedes Einzelwort aus Konsistenzgründen groß geschrieben wird), der Name des Vokabulars in Kurzform (z.B. Wikidata, LCSH) in das Feld "Vocabulary" und die Term-URI (die gleichzeitig in der Regel ein Link zur Dokumentation dieses Terms ist) in das Feld "Term URI".
Soll beispielsweise das Keyword "molecular dynamics simulation" mit dem entsprechenden Eintrag bei Wikidata verknüpft werden, steht im Feld Term der Begriff 'Molecular Dynamics Simulation', im Feld Vocabulary "Wikidata" und im Feld Term URI der Link "https://www.wikidata.org/wiki/Q901663". Optional können Sie im Feld Controlled Vocabulary URL einen Link zum Vokabular selber (in diesem Fall "https://www.wikidata.org") angeben.
Als Vokabulare können sowohl kontrollierte Vokabulare (wie zum Beispiel die Loterre Vocabularies), Ontologien (wie z.B. EDAM, Wikidata), Klassifikationen (wie z.B. die Library of Congress Subject Headings, Mathematical Subject Classification oder Physics Subject Headings) oder auch Normdaten aus der GND sein.
Verschiedene Plattformen helfen bei der Suche über mehrere Vokabulare und Ontologien hinweg, wie zum Beispiel:
- Ontobee: Suchplattform über die OBO Ontologien (vor allem aus den Lebenswissenschaften)
- Terminologie-Services der TIB allgemein für technische Fächer, für die Ingenieurswissenschaften (NFDI4Ing) und die Chemie (NFDI4Chem)
- Linked Open Vocabularies
Bei der Suche nach geeigneten (fachspezifischen) Vokabularen und Terminologien können Verzeichnisse wie BARTOC oder FairSharing.org helfen.
DaRUS (bzw. die darunter liegende Software Dataverse) versucht beim Upload einer Datei, den richtigen Dateityp zu erkennen, um entsprechend mit der Datei umgehen zu können. Die Erkennung funktioniert aber nicht immer im gewünschten Sinne. Falls Sie den Dateityp selber festlegen möchten, können Sie das tun, indem Sie die Datei mit Hilfe der API hochladen und dabei den MIME-Type der Datei festlegen. Der folgende curl-Befehl lädt zum Beispiel die Datei mit dem Namen filename.xxx hoch und legt dabei den MIME-Type text/plain (einfache Textdatei) fest.
curl -H "X-Dataverse-key:xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx" -X POST -F 'file=@filename.xxx;type=force-text/plain' -F 'jsonData={"description":"My file description.", "restrict":"false", "tabIngest":"false"}' "https://darus.uni-stuttgart.de/api/datasets/:persistentId/add?persistentId=doi:doi:10.18419/darus-XXXX"
Um das Beispiel für ihre eigene Datei zu nutzen, ersetzen Sie im Beispiel xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx durch ihren API-Key, darus-XXXX durch die Kennung ihres Datensatzes, filename.xxx durch den Pfad zur hochzuladenden Datei und text/plain durch den gewünschten MIME-Type. Das Prefix "force-" vor dem MIME-Type erzwingt diesen Dateityp.
Für mehr Informationen zu weiteren Konfigurationsmöglichkeiten beim Hochladen einer Datei per API siehe API-Guide