ElasticSearch & Kibana - Installation d'un outil de gestion des log (et autres)

ElasticSearch est un logiciel d'indexation et de recherche. Il traite toutes les données dans son champ d'action et les organise afin de pouvoir les restituer de manière compréhensible pour un être humain. Kibana est l'interface graphique permettant de d'interroger ElasticSearch et de lire les résultats renvoyés.

• Référence : Elastic

Via un système de plugin, ElasticSearch & Kibana peuvent traiter un grand panel de données (log, audit, données de performances, …). Nous verrons ici l'installation du serveur ElasticSearch & Kibana, les plugins seront eux traités dans les bulletins concernant les données qu'ils traitent.

<note>Cette procédure a été réalisé sur une VM Debian 9.</note>

<note warning>Cette procédure nécessite des droits root. Faîtes donc attention à ce que vous faîtes.</note>

Le serveur va recevoir un grand nombre de données à traiter. Il agira en tant que puits de log. Veillez donc à prévoir assez d'espace disque.

Concernant les paquets prérequis, on reste dans les classiques :

apt-get update
apt-get install -y apt-transport-https curl wget

On commence par installer le service de recherche et indexation :

• On commence par ajouter la clé des dépôts Elastic à la base de données APT :

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

• On rajoute le chemin des sources aux dépôts APT :

echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-7.x.list

• On rafraîchit le cache :

apt-get update

• On installe ElasticSearch :

apt-get install -y elasticsearch

/bin/systemctl daemon-reload
/bin/systemctl enable elasticsearch.service

• Status :

systemctl status elasticsearch.service

• Démarrage

systemctl start elasticsearch.service

• Arrêt :

systemctl stop elasticsearch.service

• Après avoir démarré le service, on peut le tester en local :

curl -X GET "localhost:9200/?pretty"

• On reçoit alors une réponse de ce genre :

{
  "name" : "Test",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "lLdLEfGPSzavmWxL7nBMRw",
  "version" : {
    "number" : "7.6.0",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "7f634e9f44834fbc12724506cc1da681b0c3b1e3",
    "build_date" : "2020-02-06T00:09:00.449973Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

• On commence par arrêter le service :

systemctl stop elasticsearch.service

• On édite le fichier de configuration de ElasticSearch :

nano /etc/elasticsearch/elasticsearch.yml

• On décommente le champ network.host et on modifie sa valeur par 0.0.0.0.
• On décommente le champ discovery.seed_hosts et on modifie sa valeur par 0.0.0.0.
• On enregistre CTRL+O et on quitte CTRL+X.
• On redémarre le service :

systemctl start elasticsearch.service

<note important>Penser à paramétrer votre pare-feu (selon votre solution de sécurité) afin de n'accepter les flux qu'en provenance de votre réseau local. Les données traitées par ElasticSearch et affichées dans Kibana sont généralement sensibles.</note>

• Après avoir paramétré le pare-feu, on peut tester la réponse de ElasticSearch :

curl -X GET "10.30.1.79:9200/?pretty"

<note tip>Remplacer 10.30.1.79 par l'adresse IP de votre serveur.</note>

• La réponse doit alors ressembler à ça :

{
  "name" : "Test",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "lLdLEfGPSzavmWxL7nBMRw",
  "version" : {
    "number" : "7.6.0",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "7f634e9f44834fbc12724506cc1da681b0c3b1e3",
    "build_date" : "2020-02-06T00:09:00.449973Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}