Forgot your password?
DataFinder Open Source
Anbindung von Grid-Speichertechnologien an die Datenmanagement-Software DataFinder
EuroPython 2008
Document Actions
DataFinder
Der DataFinder ist eine leichtgewichtige Anwendungssoftware zur Verwaltung technisch-wissenschaftlicher Daten. Er wurde entwickelt, um große Datenmengen zu verwalten und ermöglicht die Speicherung von Daten über eine Reihe verschiedener Speicher-Schnittstellen (z.B. WebDAV, FTP, GridFTP, SRB, OpenAFS oder TSM). Die Struktur der Daten und beschreibende Metadaten werden in XML-Format auf einem zentralen Server gespeichert und können über das standardisierte Protokoll WebDAV bearbeitet werden.
Der DataFinder besitzt folgende
Hauptfunktionalitäten:
- Up- und Download von Daten.
- Versehen der Daten mit standardisierter und benutzerdefinierter Meta-Information.
- Eine Suchfunktion, in der mehrere Suchterme verknüpft werden können.
- Abarbeitung von Skripten zur Automatisierung von Arbeitsabläufen (z.B. automatisches Up- und Download oder Durchführung von Rechnungen).
Die Verwaltung der Datenstrukturen an einer zentralen Stelle und die Beschreibung der Daten mit standardisierter Meta-Information erleichtern das Auffinden von Daten wesentlich und vermeiden damit Doppelarbeit. Auch kann ein Anwender Teilergebnisse oder Eingabedaten anderer Berechnungen, die schon auf Servern vorhanden sind, für seine aktuelle Arbeit nutzen, ohne die gleichen Daten noch einmal erzeugen zu müssen. Das flexible Metadaten-Konzept erlaubt dem Anwender ferner, die auf den Servern vorhandenen Daten mit zusätzlicher Meta-Information zu versehen.
Die Benutzerschnittstelle des DataFinder
besteht aus einem Plattform-unabhängigen Anwender-Client. Mit diesem
kann der Benutzer in den vorhandenen Daten navigieren, nach Daten
suchen, für alle Daten Meta-Informationen anlegen und verwalten und
lokal oder auf dem Server gespeicherte Skripte ausführen. Der
DataFinder-Client ist in Python und der GUI-Bibliothek Qt entwickelt
und ist bietet so auf jeder Plattform das jeweilige plattformtypische
Aussehen und Verhalten.
Eine Datenmanagement-Lösung mit dem DataFinder setzt serverseitig auf offene und flexible Standards wie das WebDAV-Protokoll und bleibt dadurch leicht erweiterbar und flexibel. Aktuell unterstützte WebDAV-Server sind zum einen der Tamino XML Server der Software AG als kommerzielle Lösung und der aus einem Open-Source-Projekt hervorgegangene WebDAV-Server Catacomb. Diese Server erlauben serverseitige Suche sowie die automatische Versionisierung von Dokumenten und Daten.
Der DataFinder wird im Rahmen des D-Grid Integrationsprojekts (Fachgebiet Datenmanagement) weiterentwickelt und als einfach zu benutzendes Tool für wissenschaftliches Datenmanagement in Grids zur Verfügung gestellt.
