Bilddatenspeicherung

[willo]

AW: Bilddatenspeicherung

Ich selbst habe mir ein NAS gekauft, dass vier Festplatten hat. Zwei davon spiegeln fortlaufend die anderen beiden Platten. Damit ist die Gefahr eines Plattencrash gegen null reduziert. Einzige Angst ist, dass der Blitz das ganze NAS killt...allerdings sollte das schwer werden. Leider kostet der Spass ein paar schöne Euro - ich würde es aber jederzeit wieder machen.

Bei Interesse kann ich auch weitere Infos dazu geben...wollte ohnehin einen Beitrag dazu schreiben.

Ein Raid-System bietet gegen viele Arten von Datenverlusten aber nur Scheinsicherheit. Es schützt eigentlich nur gegen den Totalausfall einiger Platten.
Wichtig beim Backuppen ist vor allem eine gescheite Backupsoftware. Nicht einfach nur Spiegeln!, sondern inkrementell Backuppen, so dass ihr jede Version einer Datei habt und nicht nur die letzte!

[0817]

AW: Bilddatenspeicherung

Ein Raid-System bietet gegen viele Arten von Datenverlusten aber nur Scheinsicherheit. Es schützt eigentlich nur gegen den Totalausfall einiger Platten.
Wichtig beim Backuppen ist vor allem eine gescheite Backupsoftware. Nicht einfach nur Spiegeln!, sondern inkrementell Backuppen, so dass ihr jede Version einer Datei habt und nicht nur die letzte!

Da hast Du natürlich recht. Gegen Wohnungsbrand und Co ist man so nicht sicher. Aber sind wir uns ehrlich: über 95% der Datenverluste resultieren daraus, dass Festplatten den Geist aufgeben, oder? Wenn ich jetzt ein BackUp habe, dann ist das schon ein guter Anfang. Wenn ich aber gar ein RAID habe, dann ist diese Gefahr in der Regel erst recht gebannt. Die Sicherheit kann ich noch erhöhen, wenn das NAS in einem eigenen Schaltkreis hängt, eine gute Überspannungsschutz-Leiste davor hängt und so weiter.

Im Vergleich dazu sehe ich z.B. die Anzahl der Wohnungsbrände die zu Datenverlusten führen als sehr gering an. Ebenso wie Einbrüche und Diebstahl.

Ich bin mir nicht sicher, ob der Thread-Starter inkrementelle BackUps mit der Verfügbarkeit von Datenversionen braucht. Wir reden ja nicht von einem Unternehmensumfeld in dem X Leute auf einem Server auch mal unabsichtlich Dateien überschreiben oder löschen. Es scheint viel mehr darum zu gehen die vielen Gigabyte an Daten die man so ansammelt mit einer fairen Überlebenschance irgendwo wegzuspeichern.

[willo]

AW: Bilddatenspeicherung

Ich meine nicht den Wohnungsbrand, sondern Schäden im Dateisystem. Angenommen irgendwas auf Deinem Rechner (Fehler im Dateisystem, Fehlbedienung, etc.) zerstört ein paar Bilder und Du siehst das nicht sofort. Dann werden diese Fehler mit gespiegelt und Dein nächstes Backup sichert die Fehler mit. Du hast also die intakten mit den kaputten Dateien überschrieben.
Ein nicht Totalausfall der Platte, sondern der unerkannte Verlust diverser Sektoren wird ebenfalls auf die intakte Platte gespiegelt. Raid ist wichtig, genügt als alleiniger Schutz, auch für den Heimgebrauch nicht!

[Prachttaucher]

AW: Bilddatenspeicherung

Ich möchte aus gegebenem Anlaß an dieser Stelle auch darauf hinweisen, daß neben dem "wie" auch das "was" eine wichtige Rolle spielen kann. Scheinbar bequeme Raw-Formate können sich plötzlich als Irrläufer erweisen, wenn die dazugehörige Software (hier Capture NX2) eingestampft wird und der "Ersatz" diese in bearbeiteter Form nicht mehr annimmt.

Meist ist in so einem Fall dann zwar noch der Ausweg in ein anderes Format möglich (solange das Programm auf dem aktuellen Betriebssystem läuft), aber was für ein Aufwand nachträglich alle Bilder der letzten Jahre nochmal anders zu speichern !

Was bleibt als sicheres Format ? Das speicherintensive Tiff für die ganz wichtigen Sachen und für den Rest JPeg ? Macht es Sinn sich in Zukunft auf die Adobe-Formate zu verlassen ?

[Juergen]

AW: Bilddatenspeicherung

Was bleibt als sicheres Format ? Das speicherintensive Tiff für die ganz wichtigen Sachen und für den Rest JPeg ? Macht es Sinn sich in Zukunft auf die Adobe-Formate zu verlassen ?

Ich nehme an, dass DNG eine Alternative zu RAW ist.
Ich fürchte, dass TIFF und JPG wichtige Informationen nicht enthalten.

[AustroDiesel]

AW: Bilddatenspeicherung

Die Geschichte zeigt, dass herstellereigene Dateiformate immer kritisch zu sehen sind. DNG hat zwar durch größere Transparenz Potenzial, auch komplexe RAW-Daten über die Zeit zu transportieren, ob aber die hinzugefügten Bearbeitungsschritte auch in vielen Programmgenerationen noch einwandfrei übernommen werden ist fraglich.

Dazu kommt das etwas auffällige Lizenzvermarktungsgehabe von Adobe (siehe "Creative Cloud"), wo man rasch die Kontrolle über sein "Eigentum" verlieren kann.

"Sicher" im Sinne von Lesbarkeit im Jahr 2040+ bleiben wohl nur möglichst einfache wie robuste und möglichst weitverbreitete Dateiformate wie die erwähnten TIFF-Dateien und mit kleinen qualitativen Abstrichen auch JPEG und andere weniger verbreitete.

Nebenbei bieten Dateiformate ohne Datenkompression auch eine höhere Robustheit bei geringfügigen Datenbeschädigungen: Wo zB bei TIFF nur ein paar Bildzeilen defekt dargestellt werden ist ein JPG schon unlesbar.

[willo]

AW: Bilddatenspeicherung

Ich nehme an, dass DNG eine Alternative zu RAW ist.
Ich fürchte, dass TIFF und JPG wichtige Informationen nicht enthalten.

DNG ist TIFF mit einem festgelegten Set an Metadaten.

[Juergen]

AW: Bilddatenspeicherung

DNG stammt zwar von Adobe, ist aber ein offenes, nicht proprietäres Format.
Ich wüsste nicht, wodurch man da sein Eigentum verlieren kann. Das die
Entwicklung mancher Software eingestellt wird ist ein anderes Problem.

DNG ist TIFF mit einem festgelegten Set an Metadaten.

Steht auch in der Spezifikation. Eigentlich müssten da noch Angaben über die
genaue Geometrie des Sensors enthalten sein, aber ich bin zu faul die ganze
Spezifikation zu lesen. Zumindest "Masked Pixels" und "Defective Pixels" werden
in der Spezifikation berücksichtigt.

[Schmusebaerchen]

AW: Bilddatenspeicherung

Ein Raid-System bietet gegen viele Arten von Datenverlusten aber nur Scheinsicherheit. Es schützt eigentlich nur gegen den Totalausfall einiger Platten.
Wichtig beim Backuppen ist vor allem eine gescheite Backupsoftware. Nicht einfach nur Spiegeln!, sondern inkrementell Backuppen, so dass ihr jede Version einer Datei habt und nicht nur die letzte!

RAID zur Datensicherung(RAID1, 5, ...) sind im Privaten Bereich absolut sinnlos. Plattenspiegelung macht bei Servern Sinn, damit die Daten ohne Ausfallzeit verfügbar bleiben, bzw die Zeit zwischen Schreibvorgang und automatischem Backup überbrückt wird.

Im Privaten KOPIERT! man die Bilder auf den PC und anschließend auf die Externe Festplatte. Sind die Bilder ok, dann werden sie von der Kamera gelöscht. So existieren zu jedem Zeitpunkt die Daten mindestens 2x. Bei wichtigen Arbeiten(Doktorarbeit, ...) ist es auch kein Problem halb-/stündlich eine Kopie auf einen USB-Stick zu speichern.

Ein RAID ist nutzlos bei: versehentlichem Löschen, mutwilligem Löschen von dritten, Virus, fehlerhafter RAID Software, Netzteildefekt mit Spannungsspitzen(nicht selten), einem Defekt des RAID Controllers ohne identischen Ersatz(auch nicht selten), Hardware Diebstahl, .... Daher ist es nicht mal annähernd ein Backup Ersatz.


Leider sind sehr viele der Backupprogramme absoluter Müll. Die Krönung bei meiner Suche, war ein Programm, welches keine Eingabemöglichkeit hatte, wo ich die Kopie überhaupt hin möchte. Ich weiß bis Heute nicht, wo das gelandet ist. Viele Programme sind viel zu dick aufgeblasen und umständlich.
Einfaches Batch Programm mit entsprechenden Befehlen(gibts fertig unter Windows und Linux): einfach zu Erstellen, keine Installation(portabel), volle Kontrolle, sehr Ressourcenschonend, erweiterbar(prüfen des Datenträgers/Computers/Benutzers auf Echtheit, erstellen von Zeitstempeln, ...), ...

Meine Daten werden ausschließlich auf Linux Partitionsformaten abgelegt. Nur bei Bedarf auf eine Windows Partition kopiert und meist nur in eine Richtung(Download unter Linux). Auf mehrere PCs in 2 Wohnungen kopiert. Daher erachte ich meine Datensicherheit(auch gegen Datendiebstahl) als extrem hoch.

[Prachttaucher]

AW: Bilddatenspeicherung

Eine dumme Frage an die Fachleute : Meine neue externe 3,5 Zoll-Platte möchte ich so nutzen, daß ich die Platte permanent am USB-Port angestöpselt lasse, sie aber nur bei Bedarf anschalte (Platte hat einen Schalter). Besteht so die Gefahr, daß ich mir im ausgeschalteten Zustand einen Virus einfange ?

...
"Sicher" im Sinne von Lesbarkeit im Jahr 2040+ bleiben wohl nur möglichst einfache wie robuste und möglichst weitverbreitete Dateiformate wie die erwähnten TIFF-Dateien und mit kleinen qualitativen Abstrichen auch JPEG und andere weniger verbreitete.....

Habe ich jetzt auch so gemacht (dauerte mehrere Wochen) : Rückwirkend alle alten Bildern einmal in JPeg umgewandelt und die Urlaubsbilder zusätzlich in TIFF (ungeschärft). Nachgeschärft ist dann schnell und so sind alle bisher erfolgten Bearbeitungsschritte (zumindest irreversibel) gespeichert. Zusätzlich werden die Raw-Dateien auch aufbewahrt, die werden vermutlich (ohne die Bearbeitungsschritte) auch noch über viele Jahre z.B. von Lightroom lesbar bleiben.

Der Speicherbedarf bleibt bei JPeg (obwohl ich da 100% als Qualitätsstufe eingestellt habe) noch verträglich, eine generelle TIFF-Speicherung wäre mir diesbezüglich zu heftig. Die JPegs für schnellen Zugriff zu haben, ist ja nicht verkehrt.

[Schmusebaerchen]

AW: Bilddatenspeicherung

Eine dumme Frage an die Fachleute : Meine neue externe 3,5 Zoll-Platte möchte ich so nutzen, daß ich die Platte permanent am USB-Port angestöpselt lasse, sie aber nur bei Bedarf anschalte (Platte hat einen Schalter). Besteht so die Gefahr, daß ich mir im ausgeschalteten Zustand einen Virus einfange ?

Allgemein:
Die Gefahr sich einen Virus einzufangen besteht immer, es sei denn der Rechner hat absolut keinen Kontakt zur Außenwelt....also alles selbst programmieren und keine Fotos von jemand anderem ansehen. OT: Und natürlich Schal und Mütze nicht vergessen

Ergo:
Sobald dein PC einen Virus hat(du hast es noch nicht bemerkt) und schließt die externe Festplatte an, dann kann sich der Virus auf die externe Festplatte kopieren.

Vermeidung:
-Antivirensoftware (keine Antivirensoftware ist 100% sicher)
-unbekanntes+sicheres Betriebssystem(das ist definitiv nicht Windows)
-Spiegeln der Daten auf verschiedene System, damit maximal noch Crossplattform Viren eine Chance haben
-zyklische Sicherung auf mehrere Festplatten, damit die Zeit zwischen Virusentdeckung und alle Daten verseucht größer wird(hilft nicht immer)
->Je nach Aktivität des Virus kann es Jahre bis zur Entdeckung dauern. Für Otto Normalverbraucher mit hohem Sicherheitsanspruch, vor der Sicherung Antivirensoftwareupdate+Scan, dann sichern. Ca wöchentlich Sicherungsplatte tauschen mit 2-3Platten. Je mehr Platten, desto sicherer, aber auch teurer.


Technische Antwort:
Wenn die Festplatte aus ist, dann kann auch nichts darauf gespeichert werden(stupide Antwort). Es gibt Wege der Pufferung, so dass die Viren lediglich später weiter kommen. Ein sinnbildlicher Puffer(und der hier entscheidende) ist der PC an sich. Die Viren kommen aus dem Internet, nisten sich auf der HDD des Computers ein und werden bei der nächsten Sicherung direkt mit überspielt. Einziger Vorteil wäre, dass die Ausbreitung gedämmt wird. Wenn die HDD aus ist, kann sich der Virus nicht heimlich vervielfältigen, aber wirklich sicher sind die Daten dadurch nicht.

[Prachttaucher]

AW: Bilddatenspeicherung

Danke für die ausführliche Antwort. So gesehen wird ein Virus wohl irgendwann auch immer auf den externen Platten landen, wenn er bei der Datensicherung generell übertragen wird. Trotzdem hat man eine gewisse Sicherheit, wenn man (zusätzlich) auch Platten benutzt, die nur einmal für die Jahressicherung aus der Schublade geholt werden. So könnte man zumindest die Jahre davor wieder herstellen.

Der PC hat jetzt erstmal gut zu tun mit dem Befüllen der neuen 3 TB-Platte. Die Geschichte mit dem Schalter erleichtert mir das Handling, keine Steckerei mit Kabeln, nur Anschalten.

Virenschutzsoftware ist schon im Einsatz. Gerade beim Netbook, das nur sporadisch verwendet wird, nervt sie manchmal fürchterlich. Bis da dann wieder alle Updates erfolgt sind, läßt sich fast nicht damit arbeiten.

[Stromfahrer]

Bilddatenspeicherung

Im Privatbereich als versionierende, aber auch für weniger versierte Nutzer verständliche Lösung:
Versionierende Synchronisation.

Möglichkeit A: Ein bezahlter Dropbox-Account (Bitte hier keine NSA-Diskussion, muss jeder selbst entscheiden) mit – wichtig – der Packrat-Option (28€ Aufpreis im Jahr). Damit bleiben alle Versionen, Löschungen und Versehen auf einfachste Weise zeitlich und mengenmäßig unbegrenzt korrigierbar. (Zählt nicht auf das gekaufte Kontingent.) Wenn man einen großen Account hat, ist Dropbox auch großzügig mit kostenlosen Zusatzspeicher, Supportanfrage genügt dann. Ich nutze z. B. zwei TB.

Wer lieber ohne Cloud arbeitet, nutzt die freie verfügbare Software BitTorrent Sync (nicht mit BitTorrent verwechseln). Diese synchronisiert ebenfalls sehr zuverlässig und versioniert einstellbar geänderte Dateien in einer Art Mülleimerordner.

BitTorrent Sync läuft sehr gut auf der Synology als Community App.

Beide Möglichkeiten synchronisieren nur Änderungen und nicht die volle Datei über viele Geräte und Plattformen hinweg zuverlässig. Auch extended Attributes, Datenbanken etc. funktionieren tadellos.

BitTorrent Sync kann völlig Cloudfrei eingesetzt werden (z. B. nur im LAN), wenn man die entsprechenden externen Optionen einfach abschaltet. Keine Abokosten o. Ä.

Ich setze BitTorrent Sync zur Spiegelung von 1,3 TB Daten ein und es funzt sehr gut.

[nimrodxx]

AW: Bilddatenspeicherung

RAID zur Datensicherung(RAID1, 5, ...) sind im Privaten Bereich absolut sinnlos. Plattenspiegelung macht bei Servern Sinn, damit die Daten ohne Ausfallzeit verfügbar bleiben, bzw die Zeit zwischen Schreibvorgang und automatischem Backup überbrückt wird.

Im Privaten KOPIERT! man die Bilder auf den PC und anschließend auf die Externe Festplatte. Sind die Bilder ok, dann werden sie von der Kamera gelöscht. So existieren zu jedem Zeitpunkt die Daten mindestens 2x. Bei wichtigen Arbeiten(Doktorarbeit, ...) ist es auch kein Problem halb-/stündlich eine Kopie auf einen USB-Stick zu speichern.

Ein RAID ist nutzlos bei: versehentlichem Löschen, mutwilligem Löschen von dritten, Virus, fehlerhafter RAID Software, Netzteildefekt mit Spannungsspitzen(nicht selten), einem Defekt des RAID Controllers ohne identischen Ersatz(auch nicht selten), Hardware Diebstahl, .... Daher ist es nicht mal annähernd ein Backup Ersatz.

Da ist wenig hinzuzufügen, lediglich, das man bei der Auswahl der Backupsoftware eine nehmen sollte, die nicht nur stumpf "rüberkopiert", sondern Änderungen inkrementell abspeichert. Damit hat man noch die Chance, versehentlich zerstörte Dateien, die man nicht sofort erkannt hat, aus einem älteren Sicherungslauf wiederherzustellen.

[Stromfahrer]

AW: Bilddatenspeicherung

WICHTIGER HINWEIS FÜR ALLE FOTOFREUNDE: Nicht alle SyncDienste synchronisieren wirklich alles. Bei Fotos kommt es je nach eingesetzten Foto-Tools auch auf die erweiterten Attribute der Datei im Dateisystem an.

Ich habe 19 Online- und Offline-Dienste systematisch getested, ob wirklich keine Infos auf der Strecke bleiben; was im Konfliktfall passiert, wie schnell und auf welche Weise synchronisiert wird (und viele Aspekte mehr).

Ganz schlimm ist hinsichtlich Fotos/Videos z.B. der Cloud Station-Dienst der Synology NASe: Der trifft Sync-Entscheidungen nach Dateidatum und Name statt nach Checksumme per Block. Wenn du da z.B. Picasa benutzt, um Fotos mit Informationen anzureichern, dann schießt du dir beim Sync ins Knie. Wenn du das Dateidatum eines Fotos nach der Bearbeitung auf das Aufnahmedatum zurücksetzt (manche Programme machen das ebenfalls), dann gehen beim Sync ebenfalls alle Änderungen verloren. Außerdem reichert der zugehörige Foto- und Mediendienst alle Ordner mit Unterordnern "@eadir" voller Thumbnails an. Lästig, sobald man die Daten woanders hin kopieren will. Wer eine Syno hat und Fotos synchen, sollte auf m. E. BitTorrent Sync ausweichen.

Viele Sync-Dienste/Tools (auch der vorgenannte) verfahren wie folgt: Wenn eine Datei geändert wird, dann löschen sie die vorherige Version auf dem Synchronisationsziel („Server“) und kopieren dann die vollständige geänderte Datei erneut. Das ist nicht einfach nur ein lästiger Bandbreitenkiller, wenn man über eine Internetverbindung synchronisiert. Es ist auch ein Risiko, wenn mehrere Personen mit den Daten im Team arbeiten, weil der andere u. U. den vermeindlichen Verlust der großen Datei beklagt und Gegenmaßnahmen einleitet, obwohl Abwarten angesagt wäre.

Wer wenig Geld, aber mehrere Rechner hat, von denen einer durchläuft (kann auch ein eigener Server beim Provider sein), der kann sich mit BitTorrent Sync einen Pseudo-Server bei den Eltern oder Kindern außer Haus hinstellen und hat dann Dropbox für wenig Geld und unlimitierten Außer-Haus-Speicher. Man kann problemlos mit vielen Rechnern synchen, auch Teile davon. Nur auf eines muss man gut achten: Alle Maschinen sollte Ihre Uhr nach einem Zeitserver richten (ist eh auf gängigen Betriebssystem der Default), damit keine Fehlinterpretationen aufkommen.

Ich könnte hier 60 Seiten aus meinen Testprotokollen füllen über technische Detailschwierigkeiten einzelner Dienste. In Bezug auf die Sicherung und Versionierung von Fotos und Videos kann ich lediglich die kostenpflichtige Dropbox mit Packrat oder die kostenlose Software BitTorrent Sync auf eigenem Server empfehlen.

[Prachttaucher]

AW: Bilddatenspeicherung

Für mich klingt das alles sehr kompliziert, aber bei mir ist das auch nur ein Hobby.

Ich habe vielleicht alle 2 Wochen einen Ordner mit neuen Fotos von meiner aktuellen Tour. Wenn der bearbeitet ist, wird der per Explorer auf beide Platten gesichert. Zusätzlich gibt´s dann noch die jährliche Sicherung. Wofür brauche ich da noch zusätzliche Programme, Cloud...

[iwp]

AW: Bilddatenspeicherung

@Prachttaucher

Du solltest darauf achten, Deine externe Platte, die Du nur zum Sichern nimmst, bei Nichtgebrauch vom Rechner und vom Stromnetz zu trennen. Dieses Vorgehen sichert Deine Daten auch vor Überspannungsschäden(Gewitter). Somit hast Du nur noch Probleme bei Diebstahl oder Wohnungsbrand...

Gruß IWP

[Prachttaucher]

AW: Bilddatenspeicherung

@iwp : Seit ein Blitzschlag mal das elterliche Modem zerstört hat, habe ich da eine Steckerleiste mit Schalter.

Man kann sich jetzt natürlich noch den Kopf zerbrechen, wo man die externen Platten mit der jährlichen Sicherung lagert. Kommode im Nebenzimmer ist da sicher noch suboptimal. Eine andere Wohnung (Eltern, Freund/Freundin, Arbeit), Bankschließfach.... Je nachdem, bekommt man dann aber ggf. auch einen Schwung Festplatten zum Lagern.

[iwp]

Bilddatenspeicherung

Steckerleiste mit Schalter reicht nicht, da springt der Funke im Schalter über...

[Prachttaucher]

AW: Bilddatenspeicherung

Danke, wieder was gelernt. Vielleicht dann so etwas vor die Steckerleiste ?