[vz-dev] vzlogger.log läuft voll

[Frank Richter]

Genau, ohne duplicates hättest du vermutlich Werte im 30s-Raster
(Timeout). Lass es mal bitte eine Zeit lang ohne laufen, damit wir das
unverfälschte Verhalten beobachten können.

Woher kommen eigentlich deine 4 Millionen Werte in der DB, von diesem
Zähler ja offenbar nicht. Könnte Ärger mit der Performance geben, wenn
du das so weiter laufen lässt...

Am 15. Februar 2017 um 22:42 schrieb Christian Wulff <christianwulff at gmx.de>:
> Here it is:
>
>
>
>     {
>
>       "enabled": true,
>
>       "allowskip": false,
>
>       "interval": -1,
>
>       "aggtime": 60,
>
>       "aggfixedinterval": false,
>
>       "channels": [
>
>        {
>
>           "uuid": "89c0c960-8e59-11e6-81d7-efe19b94c4aa",
>
>           "identifier": "1.8.0",
>
>           "api": "volkszaehler",
>
>           "middleware": "http://localhost/middleware.php",
>
>           "aggmode": "none",
>
>           "duplicates": 3600
>
>         }
>
>       ],
>
>       "protocol": "d0",
>
>       "device": "/dev/ttyUSB1",
>
>       "pullseq": "2F3F210D0A",
>
>       "baudrate": 300,
>
>       "parity": "7e1",
>
>       "read_timeout": 30,
>
>     },
>
>
>
> ….AHA, duplicates steht auf 3600. Ich nehme mal an, das sind Sekunden, also
> sind 3600 Sekunden = 1 Stunde
>
> Nun kommen wir der Sache langsam auf die Spur
>
>
>
> Von: Frank Richter [mailto:frank.richter83 at gmail.com]
> Gesendet: Mittwoch, 15. Februar 2017 22:26
>
>
> An: volkszaehler.org
> Betreff: Re: [vz-dev] vzlogger.log läuft voll
>
>
>
> duplicates in vzlogger.conf gesetzt?
> Poste am besten die ganze den Zähler betreffende Config, damit wir den
> aktuellen Stand kennen.
>
> Am 15.02.2017 22:18 schrieb "Christian Wulff" <christianwulff at gmx.de>:
>
> Okay, nu hats geklappt:
>
>
>
> Zählerstand 10190,1 kWh passt….
>
>
>
> Allerdings versteh ich den timestamp mal gar nicht.
>
> Sieht für mich so aus, als ob ein Wert pro Stunde gespeichert wird.
>
> Außer wenn sich der Wert um 0,1 ändert, dann wird öfter ein Wert
> gespeichert.
>
>
>
> Was für ein Unfug. Der müsste doch nur einen Wert speichern, wenn er sich
> ändert?!
>
>
>
> 2017-02-13 23:41:04;10190.1;1
>
> 2017-02-14 00:41:25;10190.1;1
>
> 2017-02-14 01:41:34;10190.1;1
>
> 2017-02-14 02:03:57;10190.1;1
>
> 2017-02-14 03:04:12;10190.1;1
>
> 2017-02-14 04:04:26;10190.1;1
>
> 2017-02-14 05:04:42;10190.1;1
>
> 2017-02-14 06:04:57;10190.1;1
>
> 2017-02-14 07:05:12;10190.1;1
>
> 2017-02-14 07:17:02;10190.2;1
>
> 2017-02-14 07:20:09;10190.3;1
>
> 2017-02-14 07:23:17;10190.4;1
>
> 2017-02-14 07:26:27;10190.5;1
>
> 2017-02-14 07:29:36;10190.6;1
>
> 2017-02-14 07:32:43;10190.7;1
>
> 2017-02-14 07:35:48;10190.8;1
>
> 2017-02-14 07:39:03;10190.9;1
>
> 2017-02-14 07:41:34;10191;1
>
> 2017-02-14 07:44:44;10191.1;1
>
> 2017-02-14 07:47:53;10191.2;1
>
> 2017-02-14 07:51:00;10191.3;1
>
> 2017-02-14 07:53:30;10191.4;1
>
> 2017-02-14 07:56:37;10191.5;1
>
> 2017-02-14 08:11:11;10191.6;1
>
> 2017-02-14 08:14:57;10191.7;1
>
> 2017-02-14 08:18:03;10191.8;1
>
> 2017-02-14 08:21:48;10191.9;1
>
> 2017-02-14 08:24:57;10192;1
>
> 2017-02-14 08:28:44;10192.1;1
>
> 2017-02-14 08:31:51;10192.2;1
>
> 2017-02-14 08:35:02;10192.3;1
>
> 2017-02-14 08:38:48;10192.4;1
>
> 2017-02-14 08:41:57;10192.5;1
>
> 2017-02-14 08:45:41;10192.6;1
>
> 2017-02-14 08:48:47;10192.7;1
>
> 2017-02-14 08:52:29;10192.8;1
>
> 2017-02-14 08:55:35;10192.9;1
>
> 2017-02-14 08:59:18;10193;1
>
> 2017-02-14 09:02:23;10193.1;1
>
> 2017-02-14 09:06:07;10193.2;1
>
> 2017-02-14 09:09:13;10193.3;1
>
> 2017-02-14 09:12:58;10193.4;1
>
> 2017-02-14 09:16:08;10193.5;1
>
> 2017-02-14 09:19:53;10193.6;1
>
> 2017-02-14 09:23:01;10193.7;1
>
> 2017-02-14 09:26:45;10193.8;1
>
> 2017-02-14 09:30:28;10193.9;1
>
> 2017-02-14 09:33:41;10194;1
>
> 2017-02-14 09:36:52;10194.1;1
>
> 2017-02-14 09:40:40;10194.2;1
>
> 2017-02-14 09:43:50;10194.3;1
>
> 2017-02-14 09:46:58;10194.4;1
>
> 2017-02-14 09:50:15;10194.5;1
>
> 2017-02-14 09:54:03;10194.6;1
>
> 2017-02-14 09:57:14;10194.7;1
>
> 2017-02-14 10:57:55;10194.7;1
>
> 2017-02-14 10:58:36;10194.8;1
>
> 2017-02-14 11:28:20;10194.9;1
>
> 2017-02-14 11:32:06;10195;1
>
> 2017-02-14 11:35:17;10195.1;1
>
> 2017-02-14 11:38:24;10195.2;1
>
> 2017-02-14 11:42:10;10195.3;1
>
> 2017-02-14 11:45:18;10195.4;1
>
> 2017-02-14 11:48:26;10195.5;1
>
> 2017-02-14 11:51:42;10195.6;1
>
> 2017-02-14 11:54:50;10195.7;1
>
> 2017-02-14 11:58:35;10195.8;1
>
> 2017-02-14 12:01:43;10195.9;1
>
> 2017-02-14 12:04:51;10196;1
>
> 2017-02-14 12:07:57;10196.1;1
>
> 2017-02-14 12:11:04;10196.2;1
>
> 2017-02-14 12:14:12;10196.3;1
>
> 2017-02-14 12:17:30;10196.4;1
>
> 2017-02-14 12:20:00;10196.5;1
>
> 2017-02-14 12:23:09;10196.6;1
>
> 2017-02-14 12:25:40;10196.7;1
>
> 2017-02-14 12:28:47;10196.8;1
>
> 2017-02-14 12:39:51;10196.9;1
>
> 2017-02-14 13:40:14;10196.9;1
>
> 2017-02-14 14:16:08;10197;1
>
> 2017-02-14 14:59:40;10197.1;1
>
> 2017-02-14 15:02:47;10197.2;1
>
> 2017-02-14 15:06:29;10197.3;1
>
> 2017-02-14 15:09:34;10197.4;1
>
> 2017-02-14 15:12:42;10197.5;1
>
> 2017-02-14 15:15:47;10197.6;1
>
> 2017-02-14 15:18:57;10197.7;1
>
> 2017-02-14 15:22:41;10197.8;1
>
> 2017-02-14 15:25:54;10197.9;1
>
> 2017-02-14 15:29:02;10198;1
>
> 2017-02-14 16:01:55;10198.1;1
>
> 2017-02-14 17:02:07;10198.1;1
>
> 2017-02-14 17:39:26;10198.2;1
>
> 2017-02-14 18:06:55;10198.3;1
>
> 2017-02-14 18:10:42;10198.4;1
>
> 2017-02-14 18:13:50;10198.5;1
>
> 2017-02-14 18:16:57;10198.6;1
>
> 2017-02-14 18:20:04;10198.7;1
>
> 2017-02-14 18:23:48;10198.8;1
>
> 2017-02-14 18:26:56;10198.9;1
>
> 2017-02-14 18:30:03;10199;1
>
> 2017-02-14 18:33:15;10199.1;1
>
> 2017-02-14 18:36:59;10199.2;1
>
> 2017-02-14 18:40:05;10199.3;1
>
> 2017-02-14 18:43:11;10199.4;1
>
> 2017-02-14 18:46:18;10199.5;1
>
> 2017-02-14 18:50:02;10199.6;1
>
> 2017-02-14 18:53:09;10199.7;1
>
> 2017-02-14 18:56:14;10199.8;1
>
> 2017-02-14 18:59:21;10199.9;1
>
> 2017-02-14 19:01:53;10200;1
>
> 2017-02-14 19:05:02;10200.1;1
>
> 2017-02-14 19:08:09;10200.2;1
>
> 2017-02-14 19:11:15;10200.3;1
>
> 2017-02-14 19:13:44;10200.4;1
>
> 2017-02-14 19:16:53;10200.5;1
>
> 2017-02-14 19:19:25;10200.6;1
>
> 2017-02-14 19:22:35;10200.7;1
>
> 2017-02-14 19:25:07;10200.8;1
>
> 2017-02-14 19:28:16;10200.9;1
>
> 2017-02-14 19:30:53;10201;1
>
> 2017-02-14 19:34:02;10201.1;1
>
> 2017-02-14 19:37:11;10201.2;1
>
> 2017-02-14 19:50:17;10201.3;1
>
> 2017-02-14 20:13:37;10201.4;1
>
> 2017-02-14 20:16:43;10201.5;1
>
> 2017-02-14 20:19:52;10201.6;1
>
> 2017-02-14 20:23:37;10201.7;1
>
> 2017-02-14 20:26:43;10201.8;1
>
> 2017-02-14 20:29:50;10201.9;1
>
> 2017-02-14 20:32:58;10202;1
>
> 2017-02-14 20:36:44;10202.1;1
>
> 2017-02-14 20:40:00;10202.2;1
>
> 2017-02-14 20:43:15;10202.3;1
>
> 2017-02-14 20:46:25;10202.4;1
>
> 2017-02-14 20:50:15;10202.5;1
>
> 2017-02-14 20:53:24;10202.6;1
>
> 2017-02-14 20:56:29;10202.7;1
>
> 2017-02-14 21:56:48;10202.7;1
>
> 2017-02-14 22:56:57;10202.7;1
>
> 2017-02-14 23:57:16;10202.7;1
>
> 2017-02-15 00:57:25;10202.7;1
>
>
>
>
>
> Von: Frank Richter [mailto:frank.richter83 at gmail.com]
> Gesendet: Mittwoch, 15. Februar 2017 22:05
> An: volkszaehler.org
> Betreff: Re: [vz-dev] vzlogger.log läuft voll
>
>
>
> Ups, versehentlich einen Slash gelöscht.
> http://IP/middleware.php/data/UUID.csv?options=raw&from=14-02-2017&to=15-02-2017
>
> Am 15.02.2017 21:58 schrieb "Frank Richter" <frank.richter83 at gmail.com>:
>
> Hi Christian,
>
> mach besser einen Screenshot von einer Stunde statt über Tage, dann erkennt
> man auch die Zeitauflösung.
> Wenn du Rohdaten aus der DB holen willst, versuch mal das hier:
> http:/IP/middleware.php/data/UUID.csv?options=raw&from=14-02-2017&to=15-02-2017
>
> Nur noch deine IP, UUID und gewünschten Zeitraum einsetzen.
>
> Grüße
> Frank
>
>
>
>
>
> Am 15.02.2017 21:45 schrieb "Christian Wulff" <christianwulff at gmx.de>:
>
> So, mal gucken, ob ich die letzten drei Antworten wieder zu einer email
> zusammengeflockt bekomme und wieder an der richtigen Stelle weitermachen
> kann.
>
> Also  Intervall steht auf "interval": -1, ist das wohlmöglich falsch?
> Nun hab ich mir die Daten im Frontend angesehen bevor und nachdem ich von
> "read_timeout": 30, auf "read_timeout": 300, gewechselt habe.
> Siehe da, es gibt einen Unterschied. Beim timeout300_1.jpg steht der Cursor
> in der Mitte. Links davon ist timeout=30, rechts davon ist timeout=300.
> Beim timeout300_2.jpg steht der Cursor in der Mitte. Links davon ist
> timeout=300, rechts davon ist timeout=30.
> Mit größerem Timeout nimmt die Auflösung der Messgenauigkeit ab?!
>
> "ich meine den Zeitabstand zwischen 2 Datensätzen bei einem der D0-Kanäle.
> Die Frage ist: liefert der Zähler nach der Pullsequenz nur 1x Daten und
> läuft dann in den Timeout, oder liefert er zunächst regelmäßig Daten und der
> Timeout passiert später?"
>
> Ich weiss leider nicht wie ich das rauskriegen kann. (Da bräuchte ich ne
> Anleitung für VZ-, Linux- und SQL-Anfänger)
> Ich habs mit dem Export aus dem Frontend probiert. Leider ist da kein Format
> dabei mit dem ich was anfangen könnte.
> Hab versucht das .csv in Excel zu importieren. Da kommen nur Zahlen bei raus
> die mit dem Zählerstand nichts zu tun haben.
>
> ...hab grad mal wieder in die Datenbank gesehen, ich glaube da sind schon
> über 4 Mio. Einträge...
>
> Ich würde ja gerne die S0 Daten zählen, dann allerdings wäre meine
> bevorzugte Strategie 1x am Tag per D0 den richtigen Zählerstand auszulesen,
> und danach mit den S0 Impulsen diesen Zählerstand aufaddieren. Dann könnte
> man echte Zählerstände in der Datenbank speichern und nicht nur "1"sen, die
> ohne einen Startwert keinen Sinn ergeben. Wer weiss denn schon ob sich der
> S0 Zähler nicht verzählt hat. Mit der zuvor genannten Strategie wäre man
> sich sicher, dass er sich maximal nur am Tag verzählen kann, sich die Fehler
> aber niemals über einen Tag hinaus aufaddieren können, weil jeden Tag mit
> der D0 Abfrage der Startwert perfekt akkurat aktualisiert wird.
>
> Lieben Gruß,
> Chris
>
>
>
> -----Ursprüngliche Nachricht-----
> Von: Daniel Lauckner [mailto:vz at jahp.de]
> Gesendet: Montag, 6. Februar 2017 04:36
> An: volkszaehler.org
> Betreff: Re: [vz-dev] vzlogger.log läuft voll
>
> Hallo Christian,
>
>
> am Sonntag, 5. Februar 2017 um 23:05 hast du geschrieben:
>> Welches Zeitintervall meinst du nun genau?
>
> Ich denke der Parameter "interval".
>
> Der Paramter ist nicht zwingend, aber sinnvoll in Zusammenhang mit d0-Zähler
> die zum Senden aufgefordert werden müssen. Insbesondere wenn die Auflösung
> so schlecht ist. Da ist es ziemlich Zweckfrei nach einer Antwortet des
> Zählers sofort wieder den nächsten Datensatz anzufordern.
> Steht ja doch wieder der selbe Zählerstand drin...
>
>
>> Ja, bin mir sicher, dass ich die richtige vzlogger.conf editiere.
>> Stelle ich das timeout auf 30, so kommt das Fehlerlog alle 30s
>
> Klingt fast so als hätten wir da nen Fehler im vzlogger. Sehe im Code aber
> keine Indizien dafür.
>
>
>> Hat denn noch jemand anderes einen Itron ACE 3000 Typ 260 am vzlogger
>> laufen?
>
> Allerdings bist du der einzige der sich beschwert das sein Log so
> vollgemüllt wird. Von daher stellt sich schon die Frage was du anders machst
> als alle anderen. Allein schon um die Ursache einzugrenzen.
>
>
> mfg Daniel