Grafana – tworzymy Dashboardy

Jakiś czas temu (jak sprawdziłem to ponad rok…) opisywałem sposób instalacji InfluxDB i Grafana – http://blog.asobczak.pl/2017/08/14/influx-grafana/. Dopiero ostatnio się zorientowałem, że nie dopisałem kontynuacji tego artykułu – o tworzeniu wykresów. Niniejszym nadrabiam!
Najpierw musimy się dostać do samego serwisu. Jeżeli instalowaliście standardowo, to Grafana jest na porcie 3000, użytkownik to admin, hasło admin. Czyli na przykład http://192.168.1.200:3000.
Po zalogowaniu pierwszym miejscem do którego musicie się udać jest sekcja Configuration -> Data sources -> Add data source. Źródeł jest wiele, między innymi MySQL, Microsoft SQL oraz interesujący nas tutaj InfluxDB. 

Śmiało wybieramy (do odważnych świat należy) i konfigurujemy jak poniżej. Oczywiście, jeżeli zainstalowaliście InfluxDB na innym serwerze, odpowiednio wypełniacie pole URL. Nie zapomnijcie o polu Database, User oraz Password. Jeżeli robiliście to tak jak poprzednio opisałem, jest to domoticz/domoticz/domoticz. Szczyt bezpieczeństwa, którego oczywiście powinniście unikać 😉

Dobra, dążymy do czegoś, co jest przestawione poniżej. Wykresy, wskaźniki, itp. Grafana jest bardzo przyjemnym w pracy narzędziem. Obsługuje Drag and Drop, skalowanie wykresów, układanie ich w sekcje, ustalanie wartości progowych, alarmowanie. Kwestia poświęconego czasu i zaangażowania.
Nadmieniam, że jestem samoukiem w tym temacie, mogę się mylić, pewne rzeczy robić w sposób bardziej skomplikowany niż nakazuje sztuka, ale… Działa 😀
Jedziemy.
Po pierwsze – Create -> Dashboard -> Graph.
I tutaj się na początku zatrzymałem na dłuższą chwilę, bo jakoś nie mogłem zaskoczyć co i jak mam zrobić.
Klikamy Panel Title -> Edit.
I powoli temat zaczyna się rozjaśniać, Grafana automatycznie przenosi nas na zakładkę Metrics, gdzie będziemy budować proste (lub bardziej zaawansowane) kwerendy (czyli zapytania) do bazy danych. Mój konik, więc mogę się trochę rozpędzić i używać niezrozumiałych słów 😉
Aby sobie zbyt życia nie komplikować na początku, wybieramy 'select measurement'. Zawartość tego pola jest oczywiście zależna od miar (czyli na przykład Ciśnienia, Temperatury, Wilgotności) jakie przesyłacie do InfluxDB z Domoticz.
Następnie (po 'where') wybieracie jakiego identyfikatora chcecie użyć. Idx lub nazwa. Ja osobiście wybieram nazwę, ponieważ czujniki 433MHz mają tendencję do zmiany idx po wymianie baterii, co zmusiłoby mnie do zmiany zapytań za każdym razem. W tym przypadku wystarczy podmienić czujnik w Domoticz i sprawa załatwiona. No i oczywiście kiepsko będzie się wybierało, jeżeli 10 czujników nazwiecie Temperatura, ale to raczej mało logiczne.
Po podjęciu decyzji wybieramy wartości czujnika jaki nas interesuje. Powiedzmy, że u mnie jest to Temperatura-Salon. 
Jest możliwe, że jakieś dane już zobaczycie, ale bardziej prawdopodobne jest to, że będziecie musieli wybrać zakładkę Display. Wybieracie typ wykresu (Bars, Lines, Points) i teraz kolejny temat, który sprawiał mi na początku problemy. W salonie mam czujnik Xiaomi Mi Flora, który jest ustawiony tak, aby raportował dane co godzinę. Czyli nie ciągle. Na początku pojawiały mi się kropki i nie wiedziałem co z tym zrobić. A wystarczy wybrać opcję Null value -> Connected. Jeżeli macie na przykład termometry 433MHz, czy inne, raportujące dane ciągle – powinniście zobaczyć wykres od razu.
Jeżeli chcecie widzieć wartości średnie, minimalne oraz maksymalne w którymś z miejsc obok wykresu – operujcie check-boxami w sekcji Options oraz Values, jak poniżej. Nazwę zmienimy na zakładce General.
Fajnie. Pierwszy wykres gotowy, wracamy na Dashboard ikoną w prawym górnym rogu.
Jak zdefiniować wykres, na którym będzie więcej niż jedna wartość? Na przykład tak jak poniżej – wilgotność i temperatura.
Trzeba na zakładce Metrics dodać kolejną kwerendę – w kolejności A, B, itd. W ten sposób możecie dać porównania temperatury w kilku pomieszczeniach w domu, aby wiedzieć, gdzie w jakimś momencie drastycznie się różni.
Kolejna funkcjonalność dodana. Teraz zegary, z angielskiego Gauges. W tym przypadku musimy ponownie założyć kolejny Panel, tym razem Singlestat.

Powiedzmy, że chcę zobaczyć aktualną temperaturę w salonie i ustawić sobie przedziały, gdy jest zimno, komfortowo i ciepło. Również błyskawiczne do wyklikania, chociaż finalnie z mnóstwem opcji.

Zaczynamy oczywiście od kwerendy na zakładce Metrics. Wybrałem wartości jednego z czujników temperatury.

Skoro się pojawiła, to teraz możemy zacząć ubarwiać. Wybór należy do Was, ja zmieniłem:
1. Value
– Stat na Current, czyli aktualną. Można wybrać minimum, maksimum, średnią w danym przedziale czasowym
– Unit – stopnie Celsjusza
2. Coloring – wybór, że tak powiem, sposobu kolorowania na podstawie wartości, czyli:
– Background – jeżeli tło ma się zmieniać wraz z wartościami
– Value – kolor wartości zmienia się wraz z nią
– Thresholds – brzegowe wartości
– Colors – kolory, jakie mają reprezentować nasze przedziały
3. Gauge
– Show – czy pokazywać w ogóle zegar?
– Min – wartość minimalna
– Max – wartość maksymalna
– Thresholds labels – czy pokazywać brzegowe wartości?
– Thresholds markers – czy pokazywać znaczniki wartości brzegowych?

W moim przypadku, w pokoju zegar pokazuje wartości od 10 do 40 stopni Celsjusza, pierwszy zakres zaczyna się od 10 stopni, kończy na 18 (niebieski), kolejny od 18 do 23 (zielony), ostatni od 23 do 40 (czerwony).

Ciekawa jest zakładka Value Mappings, gdzie możecie zamiast wartości pokazać tekst – przykładowo od 10 do 17 – 'Jest chłodno', itd.

Kolejna funkcjonalność – w prawym górnym rogu widzicie ikonę zegara. To tam można zmienić zakres pokazywanych danych. A wybór jest duży, bo oprócz własnego zakresu, są między innymi:
– Wczoraj
– Ten dzień w zeszłym tygodniu
– Poprzedni tydzień
– Poprzedni miesiąc
– Poprzedni rok
– Ten tydzień (wartości z dni przyszłych puste)
– Ten tydzień do dnia dzisiejszego
– Ten miesiąc
– Ten rok
– Ostatnie 15 minut
– Ostatnie pół godziny
– Ostatnie 24 godziny
– itp., itd.

Jest co analizować 😀

Wykresy miesięczne wyglądają na przykład tak:
Zwróćcie uwagę na pewną rzecz – zdefiniowałem wiersze, w które możecie przesunąć Wasze wykresy i zwijać je w razie potrzeby:
– Energia
– Powietrze
– Systemowe
Można to zrobić poprzez dodanie Rows, dostępnego z Add New Panel.

Systemowe u mnie wyglądają tak:

Porada: Dla ułatwienia sobie życia, nie musimy każdego wykresu tworzyć od nowa, wystarczy wybrać Panel title -> More -> Duplicate i zmień jedynie zawartość zapytania w nowo powstałym wykresie.

W sumie na ten moment to tyle, wiele teraz zależy od Waszych potrzeb, zaangażowania, pomysłowości i zmysłu estetycznego. U mnie ten zmysł często przysłania pragmatyzm, także wybaczcie, jeżeli któryś z elementów wydaje się brzydki.

Kopia bezpieczeństwa InfluxDB

Ostatnio, po przeniesieniu systemu na dysk SSD, dorzuciłem tam też instalację InfluxDB i Grafana. Niestety musiałem się pożegnać z historią, z powodu problemów z wykonaniem kopii bazy InfluxDB. Chciałbym tego uniknąć w przyszłości, dlatego do swoich backup’ów dorzuciłem InfluxDB. Jak wyglądał poprzedni plik opisywałem tutaj: https://cezarowy.blogspot.com/2017/11/kopia-bezpieczenstwa-bazy-folderu.html

Tym razem musiałem zrobić trochę inaczej, gdyż Influx zapisuje backup w kilku plikach. Chciałem mieć jeden, ładni ułożony w folderach, tak jak poprzednie – Domoticz, HABridge.

Założyłem więc dodatkowy folder, gdzie wykonuje się backup bazy, później kompresuję ją do innego folderu. Dodałem na końcu skryptu wykonującego kopię następujące linijki:

#Backup InfluxDB
sudo rm /media/Dysk/Influx/*.*
sudo influxd backup -portable -database domoticz /media/Dysk/Influx/
tar -zcvf /media/Dysk/Influx_backup/Influx_$TIMESTAMP.tar.gz /media/Dysk/Influx/
/usr/bin/find /media/Dysk/Influx_backup/ -name '*.tar.gz' -mtime +31 -delete

Aaaaaa. Rozsypała mi się baza Domoticz! Co robić, co robić?

A 'rozsypać' się może z różnych powodów. Błąd zapisu na kartę, zanik napięcia, przejście w Domoticz z wersji stable na beta i z powrotem na stable.

Jaki jest objaw? W logach Domoticz widzimy informację

’…Database is malformed…'.

U mnie konkretnie był problem z LightingLog – odpowiada on za przetrzymywanie danych archiwalnych o czujnikach – błąd był przy nocnym czyszczeniu tej tabeli. A to skutkowało zwiększoną wielkością bazy danych. U Was może być różnie. Jest to w końcu baza plikowa, bez serwisu który dba o integralność danych, itp.

Najpierw
sudo apt-get install sqlite3

Trzeba też zatrzymać serwis Domoticz

sudo service domoticz stop

Następnie

cd domoticz
sqlite3 domoticz.db
pragma integrity_check;

Nie jest dobrze! Błędy, jak widać, są i to dość dużo. Spróbujemy poradzić sobie z nimi na razie najprostszą metodą – zrzucenie struktury bazy i danych do pliku ponowne załadowanie. W 99% przypadków powinno pomóc.

Skoro jest źle – trzeba działać!

Startujemy:

sqlite3 domoticz.db

.mode insert

.output dump.sql
.dump
.exit

Co zrobiliśmy? Poleciliśmy SQLite, aby wyeksportował całą naszą bazę (wraz ze strukturą) do pliku dump.sql

Teraz załadujemy ten plik już do nowej bazy. Jak to może nam pomóc? Ano wyeksportowana została poprawna struktura tabel oraz danych z bazy, także teraz tą dobrą wrzucimy do nowej. Wszystkie dane powinny zostać poprawne. W moim konkretnym przypadku tak było – mam nadzieję, że i u Was nie będzie to nic poważniejszego.

sqlite3 domoticz1.db < dump.sql

Załadowaliśmy nasze dane do bazy domoticz1.db.

Sprawdźmy, dla pewności, czy faktycznie nam to pomogło.

Wygląda dobrze, wystarczy zastąpić domoticz.db plikiem domoticz1.db i uruchomić domoticz.


sudo service domoticz start
Gotowe!

Influx, Grafana

Tym razem mała aktualizacja konfiguracji InfluxDB i Grafana w stosunku do pisanych na blogach http://malinowepi.pl/ oraz https://blog.jokielowie.com/

Słowem wstępu: na początku standardowe raportowanie w Domoticz wydaje się wystarczać, ale z czasem przekonujemy się, że ich sposób przechowywania nie jest zbyt szczęśliwy do dokładniejszych analiz: dane po dniu są uśredniane i pozostają na przykład z temperatury trzy informacje: średnia, minimum w danym dniu i maksimum. Aby mieć dostęp do ciekawszych analiz trzeba albo tworzyć osobne skrypty które będą kopiowały dane do osobnych tabel, albo posiłkować się właśnie InfluxDB i wbudowanymi w Domoticz mechanizmami.

Próbując odzwierciedlić opis na wspomnianych blogach 1:1 napotkałem u siebie problemy oraz różnice, dlatego pozwoliłem sobie stworzyć wpis aktualny na sierpień 2017 🙂

Zaczynamy od instalacji InfluxDB. Ostatnia wersja do sprawdzenia zawsze na https://portal.influxdata.com/downloads

wget https://dl.influxdata.com/influxdb/releases/influxdb_1.3.2_armhf.deb
sudo dpkg -i influxdb_1.3.2_armhf.deb

sudo service influxdb start

I już działa.

Teraz wystarczy wpisać

influx

i później mamy albo opcję bardziej czasochłonną (instalacja Chronograf do obsługi baz), albo łatwiejszą, w zupełności wystarczającą. Poprzedni portal dostępny na porcie 8083 nie jest już wspierany.

CREATE DATABASE domoticz
CREATE USER domoticz WITH PASSWORD 'domoticz'

Następnie warto skonfigurować dla sprawdzenia chociaż jeden parametr do przesłania w Domoticz. Szczęśliwie, od oficjalnej wersji 3.8153, InfluxDB jest już wspierany wprost z menu, nie przez wysyłanie po http.

Aby upewnić się, że baza odbiera dane:

use domoticz
SHOW MEASUREMENTS

I tutaj już powinny się pokazać nasze miary: temperatura, status czy wilgotność.

Wychodzimy przez quit

Następnie Grafana. Niestety, na Raspberry Pi nie jest oficjalnie wspierana, dlatego trzeba się posiłkować https://github.com/fg2it/grafana-on-raspberry

Edit: Miałem problemy z pobraniem poprawnej wersji, dlatego dopisuję komentarz.

Pobrać możemy dwie wersje: dla Pi1 i Pi2,3.

Dla Pi1 znajdują się pod linkiem:
https://dl.bintray.com/fg2it/deb-rpi-1b/main/g/

Dla Pi2,3 tutaj:
https://dl.bintray.com/fg2it/deb/main/g/

Musicie pobrać link, który tam jest dostępny wraz z ostatnią wersją i odpowiednio wkleić poniżej:

wget https://dl.bintray.com/fg2it/deb-rpi-1b/main/g/grafana_4.6.2_armhf.deb

sudo apt-get install -y adduser libfontconfig

sudo dpkg -i grafana_4.6.2_armhf.deb

Zgodnie z sugestią instalatora dopisujemy:

sudo /bin/systemctl daemon-reload
sudo /bin/systemctl enable grafana-server

sudo /bin/systemctl start grafana-server

Na koniec podajemy parametry w Grafana, użytkownik admin, admin i możemy korzystać z Dashboardów. Grafana domyślnie instaluje się na porcie 3000!