[vz-users] Image mit dd erstellen / Datenbackup

[Michael Hartmann]

Hallo Christian,

In vergleichbarer Art und Weise habe ich das Image mittels dd erstellt. Bei einer 32GB SD-Karte dauert das schon mal zwei Stunden... Daher ist zu überlegen, ob ein monatliches Image oder gar auf Bedarf reicht. Die Daten würde ich täglich mit dbcopy sichern.

Zudem habe ich das Image noch mit pishrink reduziert und als gzip gepackt. Andernfalls hat man Images von der Kapazität der SD-Karte auf dem NAS liegen.

Es wurden hier jedoch Bedenken bzgl. Integrität der Daten geäussert. Daher mein initialer Post!

Grüße Micha

Am 13. November 2020 21:03:07 MEZ schrieb Christian Wimmer <christian at nega.at>:
>Hallo Michael!
>
>Funktioniert so ein Backup im laufendem Betrieb?
>
>Ist die Vorgehensweise so wie hier beschrieben?
>https://hobbyblogging.de/raspberry-pi-vollautomatisch-sichern
>
>So wie im Link hätte ich vor es umzusetzen.
>
>
>
>Von: volkszaehler-users
><volkszaehler-users-bounces at demo.volkszaehler.org> Im Auftrag von
>Michael Hartmann
>Gesendet: Freitag, 13. November 2020 20:48
>An: 'volkszaehler-users' <volkszaehler-users at demo.volkszaehler.org>
>Betreff: [vz-users] Image mit dd erstellen / Datenbackup
>
>Hallo,
>
>da kürzlich Bedenken bzgl. Integrität eines zur Laufzeit mit dd
>erstellten Images aufkamen habe ich folgendes getestet:
>
>
>  1.  Erstellen eines Image zur Laufzeit mit dd direkt auf mein NAS
>2.  Reduzieren und abschießendes Packen des Images in GZIP-Format mit
>pishrink
>  3.  Resultat 32GB > 5,2GB > 1,6GB
>  4.  Enpacken mit 7ZIP unter Win10
>  5.  Brennen des Image mit Win32DiskImager auf eine 32GB- SD-Karte
>  6.  Inbetriebnahme der SD-Karte auf einem zweiten Raspi 3B+
>
>Resultat: Das Image läuft. D.h. ich kann via Frontend auf alle Daten
>bis zum Zeitpunkt an dem das Image erstellt wurde zugreifen und
>beliebig darin navigieren. Da keine HW angeschlossen ist kann ich nicht
>sagen ob vzlogger ordnungsgemäß laufen würde.
>
>Da ich ein tägliches, inkrementelles Backup in eine DB auf meinem NAS
>mache, habe ich nun versucht die Daten vom Zeitpunkt der
>Imageerstellung bis zum Zeitpunkt des letzten Backups zu ergänzen und
>bin dabei wie im Wiki beschrieben vorgegangen.
>
>D.h. ich habe in /etc/dbcopy.yaml die die Angaben für Ziel und Quelle
>vertauscht.
>
>Der mySQ-Standarduser "vz"  wurde abgewiesen. Mit dem umfassenden
>Nutzer "vz-admin" bekomme ich folgendes Ergebnis:
>
>pi at SmartMeter2:~ $ /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c
>/etc/dbcopy_alt_user.yam                                   l
>Dropping FK FK_87C331C781257D5D on properties
>Dropping FK FK_2BD88468727ACA70 on entities_in_aggregator
>Dropping FK FK_2BD88468DD62C21B on entities_in_aggregator
>Dropping FK FK_ADF3F36372F5A1AA on data
>Dropping FK FK_B77949FF72F5A1AA on aggregate
>entities: copying 7 rows (overwrite)
>[============================] 100%  < 1 sec/< 1 sec  7 rows
>
>properties: copying 63 rows (overwrite)
>[============================] 100%  < 1 sec/< 1 sec  63 rows
>
>entities_in_aggregator: copying 0 rows (overwrite)
>    0 [->--------------------------] < 1 sec 6.0 MiB
>
>data: copying 5864950 rows (partial copy)
>[>---------------------------]   0%  < 1 sec/< 1 sec        0 rows
>In AbstractMySQLDriver.php line 74:
>
>An exception occurred while executing 'INSERT INTO `data`
>(`id`,`channel_id`,`timestamp`,`
>value`) VALUES (?,?,?,?)' with params ["1672482", "2", "1592585825000",
>"1010037"]:
>
>SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry
>'1672482' for key 'P
>  RIMARY'
>
>
>In Exception.php line 18:
>
>SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry
>'1672482' for key 'P
>  RIMARY'
>
>
>In PDOStatement.php line 115:
>
>SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry
>'1672482' for key 'P
>  RIMARY'
>
>
>copy [-c|--config CONFIG] [-b|--batch BATCH] [-k|--keep-constraints]
>[--] [<tables>...]
>
>Evtl. korrupte DB auf dem Image? Oder eine andere Ursache? Wie wäre der
>Fehler zu beheben?
>
>Grüße
>
>Micha

-- 
Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.
-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20201113/d52b95eb/attachment.html>