[vz-dev] Schemaänderung?

[Andreas Goetz]

Hallo Zusammen,

der erste (ungefährliche) PR ist eingecheckt. Den zweiten mit weitreichenderer Änderung des Datenbankschemas habe ich eben lokal mit den Daten aus Demo ausprobiert:

Mit Umsetzung der Änderungen aus dem letzten PR schrumpft die Datenbank (on disk) um  ca. 30%:

❯ ls -lh /opt/homebrew/var/mysql/vz
total 118254160
-rw-rw----  1 andig  staff   1.5K  7 Apr 13:05 aggregate.frm
-rw-rw----  1 andig  staff   144K  7 Apr 13:08 aggregate.ibd
-rw-rw----  1 andig  staff   1.4K  7 Apr 13:52 data.frm
-rw-rw----  1 andig  staff    56G  7 Apr 14:46 data.ibd
-rw-rw----  1 andig  staff    67B  3 Apr 13:09 db.opt
-rw-rw----  1 andig  staff   2.0K  3 Apr 17:49 entities.frm
-rw-rw----  1 andig  staff   3.0M  3 Apr 18:04 entities.ibd
-rw-rw----  1 andig  staff   1.9K  4 Apr 11:08 entities_in_aggregator.frm
-rw-rw----  1 andig  staff   128K  4 Apr 11:08 entities_in_aggregator.ibd
-rw-rw----  1 andig  staff   1.7K  7 Apr 11:25 properties.frm
-rw-rw----  1 andig  staff   9.0M  7 Apr 12:13 properties.ibd

Das schlägt sich zwar nicht in der Backupgröße nieder, sollte sich aber ebenfalls positiv bei der Performance bemerkbar machen. Vielleicht findet sich ja noch jemand, der sich das lokal (und mit Backup) bei kleinerer Datenbank trauen würde um zu verstehen ob noch irgendwo Fallstricke lauern?

Viele Grüße, 
Andreas

> On 5. Apr 2021, at 12:21, Andreas Goetz <cpuidle at gmail.com> wrote:
> 
> Hallo Zusammen,
> 
> Frohe Ostern!
> 
> Ich unterstütze Justin gerade dabei, Demo wieder in einen benutzbaren Zustand zu bekommen. Dabei zeigt sich, dass die DB mit fast 1 Mrd. Datensätze ganz schön proper ist. Neben Korrektur der Inkonsistenzen wären einige Aufräumarbeiten notwendig:
> 
> https://dba.stackexchange.com/questions/289234/delete-from-group-by-with-multiple-group-columns <https://dba.stackexchange.com/questions/289234/delete-from-group-by-with-multiple-group-columns>
> 
> und in Folge v.a. auch
> 
> https://github.com/volkszaehler/volkszaehler.org/pull/853 <https://github.com/volkszaehler/volkszaehler.org/pull/853>
> https://github.com/volkszaehler/volkszaehler.org/pull/854 <https://github.com/volkszaehler/volkszaehler.org/pull/854>
> 
> Das würde im Ergebnis etwas bessere Performance und kleine DB bei mehr Sicherheit bringen, v.a. die PK-Änderung bei größeren DBs aber auch eine Weile dauern.
> 
> Würde sich hier mal ein Mutiger finden, der die beiden PRs einspielt und das Schema aktualisiert und von seinen Erfahrungen berichten kann?
> 
> @Justin: im Ergebnis müssten wir dann entscheiden, ob wir das auch auf Demo durchziehen wollen…
> 
> Viele Grüße, 
> Andreas
> 

-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-dev/attachments/20210407/94896f9e/attachment.html>