Aller au contenu | Aller au menu | Aller à la recherche

Installer Kibana par Puppet (1/5)

kibana-logoJe parle assez peu de mon travail... Quand on me demande "ça va le boulot ?", j'ai du mal à être précis sur mon activité réelle (ma hierarchie à deja du mal a comprendre, alors, pensez, des non-techos...)
Ma tâche actuelle au travail consiste à monter un serveur centralisé de logs, projet qui me tient a cœur et ce pour plusieurs raisons :

  • Les responsables projet ayant reçu l'autorisation de se connecter directement en root, il est de bon ton de surveiller tout ce qu'ils s'amusent à faire avec le serveur
  • C'est motivant !

En effet, au-delà de l'aspect simple de monter un serveur centralisé de logs, c'est toute l'architecture qui est à penser. Comme précédemment évoqué, mon environnement de travail se compose d'un serveur Puppet qui provisionne la configuration prévue au travers d'un serveur Foreman. Bien entendu, alors qu'il serait simple de décompresser l'archive Kibana et de la copier la ou ça va bien, c'est l'intégration à l'environnement existant qui nécessite le plus de temps.
Cela faisant à présent presque 2 semaines que je travaille la-dessus, je me dis que ça serait dommage de perdre l'expérience que j'ai acquise. Alors, sous couvert de la mise en place de la même archi dans mon petit chez moi (ah là là, ces geeks ! Combien de célibataires à un serveur Foreman chez soi??), je compte partager mon expérience sous forme de HOWTO.

Infrastructure :


C'est la ou le bat blesse (ça y est, on n'a pas encore commencé que je présente les faiblesses du produit... Par chance, je suis pas commercial, hein ;-) ). Même si j'ai une pelletée d'ordi a domicile, la grande majorité sont des portables et donc sont très mal adaptés à la configuration en tant que serveurs. C'est pourquoi, j'ai pas mal lutter pour définir quels serveurs les serveurs utilisés. Au final, voici les machines que j'utiliserai :

  • A ma gauche, mon tout nouveau nouvel ordi basé sur un Core i5 et tout son stockage en SATA3. Spécialement acheté pour joué à SWTOR, il a été récémment réinstallé avec une CentOS 6.3, depuis que je ne joue plus ; Vainqueur incontesté du benchmark de Panneau de conf Windows 7, veuillez accueillir : sophie !!
  • A ma droite, caché tout au fond de mon placard dans un vieux disque dur USB2, une image virtuelle CentOS 6.1 (mis à jour pour l'occasion) s'executant au travers de VirtualBox, merci d'applaudir : charlotte !
  • Sans oublier, ce bon vieux bulow dont le role sera de jeter un oeil sur le bon fonctionnement de Kibana et qui sera le point d'entrée des sources que j'ai déjà développé.


Architecture :


Au vu du peu de serveurs dont je dispose, les machines seront serveurs les unes des autres. Ainsi, alors que sophie sera serveur Puppet/Foreman pour charlotte, celle-ci sera le serveur Kibana pour les logs provenant de sophie.
kibana-archi1.png
La configuration (déjà créé, je la joindrais aux posts concernés, histoire de ne pas réinventer la roue :-D ) sera envoyé sur sophie à partir de bulow Cette configuration sera appliqué au serveur Foremand qui "demandera" à Puppet de la déployer sur charlotte. Cette configuration créera un nouveau repository local (à partir du MRepo de sophie) à partir duquel sera téléchargé les packages de Kibana et ses petits copains.
kibana-archi2.png
Une fois la configuration prévue sera déployé (client sur sophie et serveur sur charlotte), Logstash récupérera les logs de syslog de sophie et l'enverra à Redis sur charlotte. Ces logs seront envoyés par ce même Logstash vers Elasticsearch auquel se connecte Kibana pour afficher les logs récupérés sur son interface Web.

QR code
Jean-Baptiste Langlois

Auteur: Jean-Baptiste Langlois

Restez au courant de l'actualité et abonnez-vous au Flux RSS de cette catégorie

Commentaires (0)

Soyez le premier à réagir sur cet article

Ajouter un commentaire Fil des commentaires de ce billet

:-) ;-) :-/ :mdr: :-D :-( :-C 8-) :-O :-s :siffle: :-P :love: :oops: :money: :caca:

no attachment



À voir également

Icinga avec LDAPS

Connexion en LDAPS avec Icinga

Authentification sur Icinga via un serveur LDAP nécessitant un certificat

Lire la suite

icinga-api-2.PNG

Remonter les checks Icinga grâce à Ruby

Classe Ruby permettant de remonter des informations grâce à l'interface REST de Icinga-Web

Lire la suite