Geh barfuß über warmen Sand.
      Spür die Erde unter deinen Füßen ...
Aktuelle Zeit: Fr 20. Okt 2017, 09:04

Alle Zeiten sind UTC + 1 Stunde [ Sommerzeit ]




Ein neues Thema erstellen Auf das Thema antworten  [ 5 Beiträge ] 
Autor Nachricht
 Betreff des Beitrags: Datenmanagement
BeitragVerfasst: Mo 21. Nov 2011, 22:53 
Offline
master of desaster
master of desaster
Benutzeravatar

Registriert:
Mo 19. Dez 2005, 17:32
Beiträge: 596
Wohnort: Frankfurt am Main
Moin,

neues Projekt steht an (Doktorarbeit um genauer zu sein) und damit auch ein Wust an verschiedensten Daten. Messdaten, Notizen, Grafiken, Diagramme, Fotos, Berichte, etc...

Aus leidiger Erfahrung (Studien-, Diplomarbeit, Projekte im Job) weiß ich, worauf das wieder hinauslaufen wird, wenn man sich nicht etwas bemüht (der Einfachhalthaber mal nur auf Messdaten beschränkt): zig Exceldatein mit unzähligen Sheets in x verschiedenen Ordnern und Unterordnern. Da geht dann das große Rumkopieren, Verknüpfen, usw... los...

Das muss sich doch irgendwie sinnvoller organisieren lassen. Ich denke da an eine Datenbank, in der alles Hinterlegt ist. In meinem Fall sind das Bohrungen und die dazugehörigen Messwerte, im Idealfall auch noch Karten und Berichte (.doc, .pdf). Ich hab jetzt an Access gedacht.

Habt ihr sowas schon mal realisiert oder kennt ihr brauchbare Software?


Nach oben
 Profil  
 
 Betreff des Beitrags: Re: Datenmanagement
BeitragVerfasst: Do 1. Dez 2011, 10:35 
Offline
bachelor
bachelor

Registriert:
Mi 8. Aug 2007, 19:15
Beiträge: 80
Guten Morgen,

eine Datenbank wird dir nur weiterhelfen können, wenn du in deinen Daten bereits eine Struktur hast. Die Datenbank wird dir auch nur sagen können wo du was abgelegt hast und zusätzlich kannst du dann noch Kommentare wie Querverweise usw. speichern. Im Prinzip lässt sich das auch mit einer Excel Tabelle organisieren. Außer natürlich du lädst die Daten (Koordinaten, Messdaten, Datensätze für die Diagramme) in die Datenbank. Dann kann man natürlich die Funktionen einer Datenbank nutzen indem du sagen kannst: "Gib mit alle Messdaten, Bohrlochdaten, Diagrammdaten und Notizen für ein Gebiet mit den Korrdinaten Xmin Xmax Ymin Ymax aus."

Die Frage ist ob sich das für dich überhaupt lohnt. Wenn du programmieren kannst empfehle ich dir eine Mysql Datenbank mit PHP Interface auf dem du dann mit [höhere Programmiersprache deiner Wahl (C,C++,Fortran what ever)] die Daten direkt aus der Datenbank prozessieren kannst. Mysql hat den Vorteil, dass es 1. kostenfrei ist, 2. sehr gut dokumentiert ist 3. mit R ( eine Scriptsprache für statistische Analysen) die Daten direkt bearbeitet werden können. Das ganze kann man wunderbar einigen Open Source Programmen wie GNUPlot weiter prozessieren. Das ganze ist schon ein sehr großer Aufwand und wird wie oben schon erwähnt wenig bringen, wenn du in deinen Daten nicht vorstrukturierst.

Ich persönlich würde mir zuerst eine Ordnerstruktur überlegen an die ich mich konsequent halte. Einfach mal mit Zettel und Stift hinsetzen und überlegen:
1. Was ist das Ziel meines Projektes.
2. Was für Daten habe ich um dieses Ziel zu erreichen.
3. Was haben alle meine Daten gemeinsam (Datum ist immer gern gesehen)
4. Wie müssen die Daten miteinander Verknüpft werden, damit ich mit möglichst wenig Aufwand möglichst viel erreiche. ( Man sollte nicht bei jedem Schritt 100 Ordernerverzeichnisse durchklicken müssen.)
5. An was hab ich noch nicht gedacht, welche Daten könnten noch dazukommen welche könnten wegfallen usw.

Jetzt habe ich einen groben Schlachtplan nach dem ich mich vorkämpfen kann.

Code:
 
                            PHD
                             |                                 
        _______________________________________________________  ....................
        |              |             |            |           |                 
      data           work         img         maps         lit


PHD ist mein Projektordner, den ich ab jetzt mindestens 3 Jahre lang wie meinen Augapfel hüten werde und immer brav täglich Backups mache.
Im Unterordner "data" werde ich alle Messdaten, Bohrlochdaten in Rohform in einzelnen Ordnern nach Datum sortiert speichern.
Hier ein kleiner Tipp (ich bin mir nie sicher ob der allgemein bekannt ist oder nicht aber ich hau ihn mal raus): Dateinamen immer mit einem Datumsstempel YYYYMMDD anfangen lassen. z.B. 20111201_drill_gorleben.txt. Damit kann man das gewünschte Datum schnell finden und man kann im Computer nach Dateiname sortieren und schnell das gewünschte finden. Wenn dann noch mehrere Bohrungen dazukommen ist es manchmal sehr nervig zwischen den Dateien "Bohrung1.txt Borung_gorleben2.dat drill.txt r2d2.opt Frühjahrs Bohrung.txt" zu unterscheiden was denn nu was ist. Besonders, wenn man die Daten von anderen bekommt. Will man das ganze dann noch mit Daten von Feldmessungen zusammenbringen kann das extrem nervig werden.
Wo ich gerade dabei bin: Keine Umlaute ÄÖÜ Sonderzeichen ?()(/& oder Leerzeichen in Dateinamen. Am besten englisch alles und alles klein. Der Underscore _ ist erlaubt und ersetzt das Leerzeichen. Es gibt sehr viele Programme die dann wesentlich weniger Probleme damit haben. Wenn man seine Dateinamen ordentlich wählt und auf einen Blick erkennen kann was in der Datei ist hilft häufig auch.
Zurück zum data ordner:
Code:
 
           _______________|___ .........
             |
          data
   _______|_______
  |      |       |
drill   seis   lab


Ich ordne jetztu für mein Projekt die Daten woher ich sie habe Bohrungen, Seismische Messungen, Labor usw.

Im Ordner Work arbeite ich. Ich lege quasi für meine einzelnen kleinen Projekt im großen nochmal Ordner an. Hier darf man auch gerne unordentlich sein und rumsauen wie man will, weil man eben hier arbeitet. Ich würde mir auch immer die Daten aus dem Data ordner in einen unterordner vom Work kopieren, damit falls du mal aus versehen was überschreibst die Rohdaten immernoch vorhanden sind. Es gibt nix schlimmeres als nach einem halben Jahr arbeit zu merken, dass man irgendwo einen z.B. Mittelwert flasch berechnet hat aber die Originaldaten nicht mehr auffindbar sind.

Ordner IMG enthält Bilder oh wunder. Sollte eigentlich jeder von seiner privaten Bildersammlung kennen wie man das sortieren mag.

Maps ist ein ordner in dem ich das Rohmaterial (srtm daten usw) für meine Karten und ggf. schon fertige Karten aufbewahre.
Lit ist für Literatur Paper usw. dich ich für mein Projekt gelesen hab lesen muss lesen werde mit einem Literaturverzeichnis, damit ich weiß und nachschlagen kann Worüber was wo ca. steht, damit ich es schnell finden kann. (Wenn du sowas nutzt die Bibtex datei liegt auch drin damit ich mein Literaturverzeichnis immer aktuell und an einem zentralen Platz habe).

Dann kannst du noch einen ordner für wie pub rein packen für deine eigenen Paper, die du evtl im laufenden Prozess veröffentlichst. Poster für Tagungen usw. können da rein.

Und dann brauchst du natürlich noch einen Ordner thesis (oder wie auch immer) in dem du das alles zusammenfassen kannst und am Ende eine wunderbare Dissertation rauskommt.

Im Prinzip macht eine Datenbank auch nicht mehr als die Daten strukturiert abzulegen.

Ich hoffe ich hab jetzt nicht zu weit ausgeholt und konnte evtl ein bisschen weiterhelfen.

Glück Auf


Nach oben
 Profil  
 
 Betreff des Beitrags: Re: Datenmanagement
BeitragVerfasst: Do 1. Dez 2011, 12:14 
Offline
master of desaster
master of desaster
Benutzeravatar

Registriert:
Mo 19. Dez 2005, 17:32
Beiträge: 596
Wohnort: Frankfurt am Main
Moin,

das Ordner/Datei-Management habe ich schon ähnlich gelöst. Das Ganze geht live als Backup in die Cloud, mit Versionierung, usw.
Was mich aber nervt, ist die Datenverarbeitung. Es ist ja nicht so, dass ich schon alle Daten habe, vielmehr kommen täglich neue Messwerte hinzu. Mit zunehmender Datenmasse wird die Organisation der Messwerte in Excel immer komplizierter.
Beispiel.
Ich habe einen Bohrkern A, der hat eine Tiefenangabe (von - bis).
Aus dem Bohrkern A werden 2 kleine Kerne A1 und A2 gebohrt, der eine vertikal, der andere parallel zur Kernachse. A1 und A2 haben natürliche neue Tiefenangaben. An A1 und A2 werden verschiedenste richtungsabhängige (nicht destruktive) Messungen durchgeführt.
Zusätzlich werden die Überreste von Kern A beprobt, um andere (destruktive) Messungen durchzuführen.
Es gibt also für die ursprüngliche Probe A schon 3 Untergliederungen, die nicht miteinander verbunden sein dürfen.
Das Ganze für 200-300 Proben.
Das lässt sich in Excel nicht wirklich brauchbar organisieren. Oder besser: es lässt sich schon ordentlich organisieren, nur kann man dann nicht mehr wirklich praktisch damit arbeiten (z.B. Diagramme erstellen), da man entweder zwischen zig Sheets herumwirbeln oder sich dauernd die gewünschten Werte herausfiltern muss. Nervt auf Dauer.

Eine Datenbank ist sicher nicht die optimale Lösung, vor allem nicht in Hinsicht auf Visualisierung. Aber man kann sich zumindest schneller und einfacher die gewünschten Daten holen. Und die dann zur Not in Excel verarbeiten...?


Nach oben
 Profil  
 
 Betreff des Beitrags: Re: Datenmanagement
BeitragVerfasst: Do 1. Dez 2011, 16:06 
Offline
bachelor
bachelor

Registriert:
Mi 8. Aug 2007, 19:15
Beiträge: 80
Also ich arbeite mit Datensätzen die 2-4 Minuten Messwerten über 4 Jahre und mehr in Ascii Dateien zusammenfassen.
Ich nutze natürlich kein Excel, sondern schreibe mir die Programme selbst. Das ist soweit ich das beurteilen kann bei solchen Datenmengen die einzig sinvolle Möglichkeit effizient zu bearbeiten. Die Ausgaben schreibe ich wieder in Ascii files und benenne sie ordentlich. Zum Plotten nehme ich je nach Lust und Laune die einschlägige Software. So hat man Problem bezogene Lösungen.

Ich persönlich würde ja für die Dateien einen einheitlichen Schlüssel verwenden, dann hast du keine Probleme zu erkennen was welche Dateien sind und die zu unterscheiden.

Wir haben Kern A mit der Tiefenangabe. Das schreiben wir in jeder Datei schonmal in die erste Zeile von jeder Datei, die damit zu tun hat:
Erst wird gesagt ist ein Kern, danach welcher es ist, danach Anfangsmeter danach Endmeter (soweit ich das Verstanden habe sind das erstmal die einzigen numerischen Daten, die wir von dem Kern haben richtig?):
A.dat
Code:
 Core A 0 150


Die schreiben wir in die ersten zwei Dateien die die Werte von den Profilen beinhalten:
A1_v.dat
Code:
 Core A1 v 0 5
0 1 2 3 4 5 6 7 8  9 10 11 12 13 14 15 16 17 18 19 20
1 2 3 4 5 6 7 8 9 10 11 12 13 14 ...


Man sieht sofort ist ein Unterkern von A. Er wurde vertikal zur Kernachse angelegt und hat auch wieder seine Meterangaben. Darunter alle deine Messwerte die du nicht destruktiv misst. Natürlcih braucht jeder Messwert muss seine feste Stelle haben.
Das gleiche Spiel für A2 ...

A2_p.dat
Code:
 Core A2 p 0 5
0 1 2 3 4 5 6 7 8  9 10 11 12 13 14 15 16 17 18 19 20
1 2 3 4 5 6 7 8 9 10 11 12 13 14 ...


A_chem.dat kann man dann für die üblichen destruktiven Messwerte verwenden.

Dadruch kann man Programme stricken wie:

Öffne alle Dateien von Bohrkern A nutze Bohrkern 1 and 2 oder/und chem Daten und korrelier oder was auch immer mit den Daten und schreibe es die Erbenisse in A12_corrleation.dat.

Und danach sagt man dem Programm mach das nicht nur für Bohrkern A sondern A-Z und wenn man dann auch noch Templates zum plotten hat kann man ganz schnell seine Daten auch neu prozessieren wenn man einmal das Gerüst gestrickt hat. Und wenn man eben einen neuen Datensatz bekommt lässt man es eben dafür durchlaufen.

Ich bin mir nicht sicher ob ein Datenbanksystem Rechenoperationen bietet. Ich nutze Excel nicht, daher kann ich dir nicht sagen wann es die Ohren anlegt.


Nach oben
 Profil  
 
 Betreff des Beitrags: Re: Datenmanagement
BeitragVerfasst: Mi 4. Apr 2012, 16:23 
Offline
hard-rocker
hard-rocker
Benutzeravatar

Registriert:
Do 31. Mär 2011, 03:01
Beiträge: 298
Wohnort: Rancagua, Chile
Horst, super hilfreich dein Beitrag :!:

_________________
Da steh ich nun, ich armer Tor!
Und bin so klug als wie zuvor;


Nach oben
 Profil  
 
Beiträge der letzten Zeit anzeigen:  Sortiere nach  
Ein neues Thema erstellen Auf das Thema antworten  [ 5 Beiträge ] 

Alle Zeiten sind UTC + 1 Stunde [ Sommerzeit ]


Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast


Du darfst keine neuen Themen in diesem Forum erstellen.
Du darfst keine Antworten zu Themen in diesem Forum erstellen.
Du darfst deine Beiträge in diesem Forum nicht ändern.
Du darfst deine Beiträge in diesem Forum nicht löschen.
Du darfst keine Dateianhänge in diesem Forum erstellen.

Suche nach:
Gehe zu:  
cron
forum geoversum © 2002 - 2012 by geoversum - last modified apr-11-2012
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
layout modified by geoversum based on FI Subice by phpBBservice.nl
Deutsche Übersetzung durch phpBB.de