Grafana Instalacja i konfiguracja narzędzia Grafana

[MichalGiza]

Istotnym elementem zapewnienia ciągłości działania naszej infrastruktury jest monitoring. Możemy do tematu podejść na wiele sposobów, bo nic nie stoi na przeszkodzie, aby codziennie sprawdzać parametry pracy naszego serwera za pomocą dostępnych w systemie narzędzi diagnostycznych (top, df, fdisk, itp.) oraz przeglądać zapisane logi. Nie jest to jednak idealne rozwiązanie, bo czasami ilość informacji może być zbyt duża. Dlatego warto używać oprogramowania, które zrobi to za nas, a w dodatku wszystko będzie czytelnie przedstawione na wykresach.

Narzędzi do monitoringu pracy jest sporo. Niektóre, jak Nagios czy Zabbix są sprawdzone i używane przez wielu, natomiast ich wdrożenie dla osób z małym doświadczeniem pracy z systemem Linux czy sieciami komputerowymi może wydawać się kłopotliwe. Istnieją wygodne w użyciu rozwiązania, jak CloudRadar, ale są płatne. Dlatego dobrą alternatywą wydaje się być połączenie Grafany i Promotheus, bezpłatnych narzędzi (płatne jest jedynie hostowanie rozwiązania na serwerach producenta) stosunkowo prostych w konfiguracji.

Ten artykuł bierze udział w naszym konkursie! 🔥
Na zwycięzców czekają karty podarunkowe Allegro, m.in.: 2000 zł, 1000 zł i 500 zł.

Potrafisz napisać podobny poradnik? Opublikuj go na forum i zgłoś się do konkursu!
Czekamy na ciekawe teksty związane z elektroniką i programowaniem. Sprawdź szczegóły »

Grafana oferuje wsparcie dla Windows, macOS i Linux (architektury 64-bit i ARM64). Większość naszych projektów hostujemy najczęściej na systemach z rodziny Linux, więc instalację zaprezentuję na systemie Ubuntu 20.04. Domena nie jest konieczna, jednak wtedy panel Grafany będzie dostępny pod adresem [adres_IP]:3000. W domowych warunkach lokalnej sieci komputerowej możemy także ustawić odpowiednie wartości w pliku hosts, dzięki czemu uzyskamy działającą lokalnie domenę, co dokładniej opisałem w dalszej części.

W wymaganiach jest napisane, że nasz serwer musi być wyposażony w minimum 255 MB pamięci operacyjnej, czyli bardzo niewiele. Grafanę zainstaluję na lokalnym serwerze z Ubuntu 20.04, na którym obecnie działa tylko Domoticz (domyślny port 8080), a do połączenia będę używał SSH.

SSH

Większość osób korzysta z SSH, ale jeśli na naszym lokalnym serwerze nie mamy zainstalowanej tej usługi, to dokonamy tego w prosty sposób:

sudo apt update
sudo apt install openssh-server

Adres IP niezbędny do połączenia uzyskamy natomiast wydając polecenie

ip a

lub

ifconfig

. OpenSSH jest już w Windows 10, więc w zależności od systemu otwieramy Terminal lub Wiersz polecenia i wydajemy polecenie

ssh [nazwa_użytkownika]@[adres_IP]

Mój lokalny serwer ma przypisany adres IP 192.168.1.129, a użytkownik nazywa się michal, więc połączę się poprzez 

ssh michal@192.168.1.129

Do zainstalowania Grafany możemy użyć Dockera. To rozwiązanie, gdzie w odseparowanych od systemu kontenerach mamy możliwość uruchomienia wiele aplikacji. Uruchomienia Grafany wymaga jednego polecenia:

docker run -d --name=grafana -p 3000:3000 grafana/grafana:7.4.0-ubuntu

Osobiście uważam, że Docker służący do uruchomienia wyłącznie Grafany jest kiepskim pomysłem. Zajmuje stosunkowo dużo zasobów, które można przeznaczyć na rozwój naszych projektów. Jeśli jednak jesteśmy do Dockera przekonani, to jak najbardziej można z niego skorzystać. Powyższe polecenie uruchomi kontener z Grafaną „w tle” (opcja -d) na porcie 3000 (opcja -p), który jest domyślny.

Grafana — instalacja

Narzędzie pobierzemy z oficjalnej strony wydawcy, gdzie znajdują się również instrukcje instalacji dla pozostałych systemów operacyjnych. Jak widać, Grafana może być zainstalowana na kilka sposobów. Chcemy ją zainstalować na Ubuntu, więc najszybsza metoda to skorzystanie z pliku DEB, czyli wykonamy polecenia z pierwszego szarego tła.

Na początek poleca się zainstalować pakiet adduser oraz bibliotekę libfontconfig1. adduser służy do dodawania do systemu nowego użytkownika i powinien już być zainstalowany. Z kolei libfontconfig1 stosuje się do konfiguracji czcionek. Wykonajmy zatem pierwsze polecenie.

Nieco je zmodyfikowałem, ponieważ apt-get jest równoznaczny z apt, a parametr -y powoduje, że libfontconfig1 zostanie zainstalowany bez pytania użytkownika (Do you want to continue?). Teraz za pomocą wget pobierzemy paczkę DEB z Grafaną. Wydajemy drugie polecenie.

Rozmiar pliku wynosi 49 MB. Standardowo instalujemy komendą sudo dpkg -i.

Istotną informację zaznaczyłem w czerwonej ramce. Należy wydać dwa dodatkowe polecenia, aby usługa wystartowała. Wykonujemy więc

sudo systemctl daemon-reload

oraz

sudo systemctl enable grafana-server

Po wydaniu tych poleceń Grafana jest uruchomiona. Wynik

sudo systemctl status grafana-server

stanowi potwierdzenie. Zobaczmy za pomocą netstat-a, jakie porty są w tej chwili zajęte.

Grafana — panel użytkownika

Z powodzeniem zainstalowaliśmy i uruchomiliśmy Grafanę na porcie 3000. Teraz jest dobry moment, aby zapoznać się z panelem. Uruchamiamy przeglądarkę i w pasku adresu wpisujemy [adres_IP]:3000, w moim przypadku 192.168.1.129:3000 (w dalszej części ustawimy proxy, aby wystarczyło wpisać tylko domenę).

Login i hasło to admin. Nie jest to najlepsze podejście z punktu widzenia bezpieczeństwa, ale już w drugim kroku możemy ustawić nowe hasło.

Następnie jesteśmy przenoszeni do głównego panelu.

Prometheus i Node Exporter — instalacja oraz konfiguracja

Grafana nie jest oprogramowaniem do monitoringu systemu, pełni jedynie funkcję wyświetlania i agregowania zgromadzonych statystyk. Do zbierania metryk wykorzystamy narzędzie Prometheus z Node Exporter, które jest często stosowane razem z Grafaną, dzięki czemu połączenie jest bardzo proste.

Najpierw dodamy dwóch użytkowników do systemu.

sudo useradd --no-create-home --shell /usr/sbin/nologin prometheus
sudo useradd --no-create-home --shell /bin/false node_exporter

Ich nazwy to prometheus oraz node_exporter, nie utworzyliśmy im katalogu domowego, prometheus będzie miał blokowane próby logowania, a node_exporter nie ma żadnego dostępu do powłoki. Teraz utwórzmy katalogi na pliki konfiguracyjne i zebrane dane.

sudo mkdir /etc/prometheus
sudo mkdir /var/lib/prometheus

Zmieniamy właściciela tych katalogów na nowego użytkownika prometheus.

sudo chown prometheus:prometheus /etc/prometheus
sudo chown prometheus:prometheus /var/lib/prometheus

Przechodzimy do strony https://github.com/prometheus/node_exporter/releases i pobieramy na lokalny dysk najnowszą wersję Node Explorer odpowiednią do naszej platformy. Na dzień 04.04.2021 jest to node_exporter-1.0.1.linux-amd64.tar.gz. Wysyłamy pobrany plik poprzez WinSCP na serwer, a następnie rozpakowujemy archiwum. Z nowego katalogu przenosimy plik node_exporter do katalogu /usr/local/bin i zmieniamy właściciela na użytkownika node_exporter.

Bardzo dobrym pomysłem jest ustawienie, aby Node Exporter uruchamiał się automatycznie po restarcie serwera. W tym celu w /etc/systemd/system tworzymy plik node_exporter.service:

sudo nano /etc/systemd/system/node_exporter.service

Dodajemy do niego poniższą treść:

[Unit]
Description=Node Exporter
Wants=network-online.target
After=network-online.target

[Service]
User=node_exporter
Group=node_exporter
Type=simple
ExecStart=/usr/local/bin/node_exporter

[Install]
WantedBy=multi-user.target

Tak jak zwykle, po tej operacji wykonujemy trzy polecenia.

sudo systemctl daemon-reload
sudo systemctl start node_exporter
sudo systemctl enable node_exporter

Czas na instalację Prometheusa. Pobieramy najnowszą wersję zgodną z naszym środowiskiem (na dzień 04.02.2021 jest to prometheus-2.24.1.linux-amd64.tar.gz). Przesyłamy plik poprzez WinSCP na nasz serwer i wypakowujemy dane z archiwum.

Z utworzonego w wyniku działania tar katalogu przenosimy pliki prometheus i promtool do /usr/local/bin oraz katalogi consoles i console_libraries do /etc/prometheus. Ponownie ustawiamy odpowiedniego właściciela.

Ostatnią czynnością przed uruchomieniem jest dodanie odpowiednich wpisów do pliku /etc/prometheus/prometheus.yml. To plik YAML, więc wcięcia mają znaczenie. Najlepiej skopiować i wkleić poniższą zawartość:

global:
  scrape_interval:     15s
  evaluation_interval: 15s

rule_files:
  # - "first.rules"
  # - "second.rules"

scrape_configs:
  - job_name: 'prometheus'
    scrape_interval: 5s
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node_exporter'
    scrape_interval: 5s
    static_configs:
      - targets: ['localhost:9100']

Na koniec ustawiamy jeszcze właściciela pliku.

sudo chown prometheus:prometheus /etc/prometheus/prometheus.yml

Usługę uruchamiamy wykonując polecenie

sudo -u prometheus /usr/local/bin/prometheus --config.file /etc/prometheus/prometheus.yml --storage.tsdb.path /var/lib/prometheus/ --web.console.templates=/etc/prometheus/consoles --web.console.libraries=/etc/prometheus/console_libraries

Powinniśmy otrzymać komunikat jak na poniższym zrzucie ekranu.

W przeglądarce wchodzimy pod [adres_IP]:9090, a w kliencie SSH wykonujemy Ctrl+C.

W tym panelu nic nie musimy ustawiać. Utwórzmy jeszcze usługę systemową, aby Prometheus uruchamiał się automatycznie.

sudo nano /etc/systemd/system/prometheus.service

Do pliku wklejamy:

[Unit]
  Description=Prometheus Monitoring
  Wants=network-online.target
  After=network-online.target

[Service]
  User=prometheus
  Group=prometheus
  Type=simple
  ExecStart=/usr/local/bin/prometheus \
  --config.file /etc/prometheus/prometheus.yml \
  --storage.tsdb.path /var/lib/prometheus/ \
  --web.console.templates=/etc/prometheus/consoles \
  --web.console.libraries=/etc/prometheus/console_libraries
  ExecReload=/bin/kill -HUP $MAINPID

[Install]
  WantedBy=multi-user.target

Tradycyjne polecenia:

sudo systemctl daemon-reload
sudo systemctl enable prometheus
sudo systemctl start prometheus

Połączenie Prometheusa z Grafaną

W Grafanie najeżdżamy kursorem na ikonę koła zębatego, po czym wybieramy Data Sources, a następnie Add data source. Pierwsza opcja (Prometheus) jest odpowiednia.

Uzupełniamy jedynie pole URL, wpisując http://localhost:9090. Po naciśnięciu Save & Test powinniśmy zobaczyć poniższy komunikat.

Najeżdżamy kursorem na ikonę plusa i wybieramy Import. W pierwszym polu wpisujemy 1860 i wybieramy Source (dostępny jedynie Prometheus). Nazwę możemy ustawić dowolną, Node Exporter Full jest domyślna.

Po zaakceptowaniu od razu zobaczymy czytelne wykresy. Wybieramy logo Grafany z menu po lewej stronie. Pojawi się komunikat o niezapisanych zmianach. Oczywiście zapisujemy nasz dashboard.

Domena

Ustawmy reverse proxy, aby uniknąć w przyszłości wpisywania adresu IP i portu w pasku adresu. Jeśli dysponujemy publicznym serwerem, wystarczy podpiąć do niego naszą domenę. W przypadku lokalnych serwerów najprościej jest ustawić w lokalnym pliku hosts rozwiązywanie adresu IP serwera na dowolnie wybraną domenę. W systemach z rodziny Linux plik hosts znajduje się w katalogu /etc, a w systemie Windows w folderze C:\Windows\Systems32\etc\drivers. Do jego edycji konieczne są uprawnienia administratora. W Menu Start wyszukujemy Notatnik, naciskamy na jego ikonie prawym przyciskiem myszy i wybieramy Uruchom jako administrator.

Otwieramy plik hosts z wyżej wymienionej lokalizacji. W dowolnej linii dopisujemy:

[adres_IP]	[domena]

np.

192.168.1.129		grafana.local

Reverse proxy

Od teraz wystarczy wpisać domenę i port, aby uzyskać dostęp do panelu Grafany. Chcielibyśmy jednak uniknąć podawania portu. Do tego musimy użyć reverse proxy. Najprościej zainstalować serwer WWW NGINX, który często służy właśnie jako proxy.

sudo apt install nginx

NGINX działa ze swoją domyślną konfiguracją, dlatego musimy ją wyłączyć.

sudo unlink /etc/nginx/sites-enabled/default

Tworzymy w /etc/nginx/sites-enabled dowolny plik, aczkolwiek najlepiej, aby w nazwie była nasza domena. Rozszerzenie conf jest obowiązkowe. Moja konfiguracja nazywa się grafana.local.conf. Dodajemy następującą zawartość (pod [adres_IP] wstawiamy adres serwera):

server {
listen 80;
location / {
proxy_pass http://[adres_IP]:3000
}
}

I restartujemy NGINX poleceniem

sudo systemctl restart nginx

Od tej pory mamy dostęp do Grafany wpisując jedynie nazwę domeny.

Dowiedzieliśmy się, w jaki sposób monitorować nasz serwer w wygodny i łatwy do wdrożenia sposób. Grafana ma wiele opcji i nie sposób przedstawić ich w jednym artykule. Zachęcam do samodzielnego odkrywania możliwości tego narzędzia.

 

 

[Treker (Damian Szymański)]

@MichalGiza cześć Michał, witam na forum i dziękuję za ciekawy wpis! Zachęcam do stałej aktywności na forum 🚀

PS Tym samym mamy już pierwszy artykuł, który bierze udział w naszym konkursie.

[H1M4W4R1]

Bardzo dobry artykuł, chociaż jestem zwolennikiem logów konsolowych... 

A tutaj gratis dotyczący konfiguracji nginx - da się to zrobić prościej. Korzystam z tego narzędzia (link) od roku i sprawuje się całkiem nieźle.

[MichalGiza]

@H1M4W4R1 Dziękuję za opinię 🙂

Narzędzia nie znałem, ale faktycznie wydaje się być pomocne. Grafana natomiast przydaje się, kiedy musimy zestawić ze sobą kilka danych, aby np. wykryć moment awarii, a analiza logów w takiej sytuacji mogłaby zająć sporo czasu.

[Polecacz 101]

Produkcja i montaż PCB - wybierz sprawdzone PCBWay!
   • Darmowe płytki dla studentów i projektów non-profit
   • Tylko 5$ za 10 prototypów PCB w 24 godziny
   • Usługa projektowania PCB na zlecenie
   • Montaż PCB od 30$ + bezpłatna dostawa i szablony
   • Darmowe narzędzie do podglądu plików Gerber
Zobacz również » Film z fabryki PCBWay

[ArekSiczek]

Grafana jest świetna. Używam od lat wraz z Zabbixem.

Warto jeszcze wspomnieć o Grafana Loki. Tym również warto się zainteresować. Jest to potężne rozwiązanie do agregacji logów.
Jeżeli macie chwilę to warto wejść na stronę Grafany i przejrzeć demo. Zainstalować i potestować. Na 100% będzie głośno w przyszłości o Loki.

[sosnus]

Też polecam Grafanę, zazwyczaj jako źródło danych do Grafany używam InfluxDB, jest banalne w użyciu i bardzo łatwe do połączenia nawet z prostymi mikrokontrolerami o ile mają jakiś interfejs sieciowy. Takie ESP8266 bez problemu może robić zapytania HTTP do InfluxDb i jest to banalne, dzięki temu bez problemu możemy sobie oczujnikować np. dom.

Świetne są też integracje Grafany z innymi aplikacjami, ja sobie skonfigurowałem tak że w przypadku braku odczytów z czujników (wyczerpana bateria lub brak internetu) dostaję powiadomienie na Discordzie.

   

PS. Jeżeli interesują nas czyste dane bez obróbki to tym bardziej polecam InfluxDB, akurat mam pod ręką przykład to wklejam przykładowe instrukcje zapisu pojedynczego rekordu i odczytu tabeli dla InfluxDB

ADDR_INFLUX=sekretny-adres-strony.pl
PORT_INFLUX=8086
  
# write data
curl --location --request POST http://$ADDR_INFLUX:$PORT_INFLUX/write?db=greenhouse_jaroszki \
--header 'Content-Type: text/plain' \
--data-raw 'temperature,device=greenhouse01 value=0.2'

# read data
curl --location --request POST http://$ADDR_INFLUX:$PORT_INFLUX/query?db=greenhouse_jaroszki \
--header 'Content-Type: application/x-www-form-urlencoded' \
--data-urlencode 'q=SELECT * FROM temperature'

 

PS2. Widzę że ostatni post 8 lutego ale ja trafiłem tutaj przeglądając laureatów konkursu, tak więc @MichalGiza gratuluję wyróżnienia ;)

[MichalGiza]

@sosnus Dziękuję za miłe słowa i podziwiam Twoje zastosowanie. Też próbowałem z InfluxDB + Telegraf i jak najbardziej potwierdzam łatwość integracji z innymi aplikacjami 🙂

Do niedawna w firmie używaliśmy Grafany z Prometheusem do monitoringu ~10 serwerów, ale przeszliśmy na alternatywne rozwiązanie, bo dostawaliśmy powiadomienia albo o nieistniejących problemach albo z opóźnieniem, a nie o to chodzi w monitoringu. Choć mamy dość specyficzny use case

[Wuz3t]

Cześć,

Leciałem zgodnie z poradnikiem, ale niestety zatrzymuje się na momencie:

 

Dnia 5.02.2021 o 10:52, MichalGiza napisał:

Usługę uruchamiamy wykonując polecenie

sudo -u prometheus /usr/local/bin/prometheus --config.file /etc/prometheus/prometheus.yml --storage.tsdb.path /var/lib/prometheus/ --web.console.templates=/etc/prometheus/consoles --web.console.libraries=/etc/prometheus/console_libraries

 

Konsola wyświetla coś takiego:

Sprawdziłem jeszcze kilka razy ustawienia właściciela, ale błąd pozostaje bez zmian.

[MichalGiza]

@Wuz3t Czy w /usr/local/bin masz plik prometheus? Jeśli tak, to pokaż proszę, jakie uprawnienia są ustawione (ls -la).

[Wuz3t]

[MichalGiza]

@Wuz3t Spróbuj w takim razie wykonać:

sudo /usr/local/bin/prometheus --config.file /etc/prometheus/prometheus.yml --storage.tsdb.path /var/lib/prometheus/ --web.console.templates=/etc/prometheus/consoles --web.console.libraries=/etc/prometheus/console_libraries

 

[Wuz3t]

 

dla pewności dorzucam jeszcze zawartość prometheus.yml

 

[Wuz3t]

@MichalGiza Takie pytanie, chyba sam się naciąłem idąc według poradnika, czy amd64 przypadkiem nie jest nieodpowiednie dla RPi4? Nie powinienem wybrać armv7? 

[MichalGiza]

@Wuz3t Tak, właśnie o tym myślałem. Jest też szybsza opcja z użyciem snap: https://snapcraft.io/install/prometheus/raspbian

Potem tylko te kroki i powinno działać: https://grafana.com/tutorials/install-grafana-on-raspberry-pi/#install-grafana

[Wuz3t]

Dziękuję ślicznie za pomoc. Jutro będę próbował dalej!