ETL

Modes d’exécution

La base de données de reporgint ou « Data Warehouse » est mis à jour tous les jours avec les données agrégées calculées par l’ETL. En fonction de la taille du périmètre supervisé, cela peut représenter de quelques milliers de ligne à plusieurs millions de lignes par jour. De ce fait, la base de données de reporting et l’ETL sont deux composants critiques de Centreon BI que vous devez comprendre. Deux modes de fonctionnement sont disponibles pour l’ETL:

  • Daily mode ou mode journalier : C’est le fonctionnement normal de l’ETL lorsque la plateforme de reporting est en place. Les données de Centreon sont importées tous les jours, de manière différentielle. Plus précisemment:
  • les données de la table “data_bin” de la veille sont importées et les calculs ne se font que sur ces données
  • toutes les données des tables servicestatevents et hoststateevents sont importée mais les calculs se font de manière différentiels

Elles sont ensuite agrégées puis insérer dans le datawarehouse. Cela peut prendre de quelques secondes à quelques minutes en fonction du périmètre de monitoring.

Le mode journalier est configuré comme un cron que vous pouvez consulter dans /etc/cron.d/centreon-bi-engine:

#30 4 * * * root /usr/share/centreon-bi//etl/centreonBIETL --daily >> /var/log/centreon-bi/centreonBIETL.log 2>&1
  • Rebuild mode ou mode de reconstruction: C’est le mode souvent utilisé après l’installation de la plateforme de reporting, en cas de corruption des données ou si vous souhaitez appliquer de nouvelles dimensions de reporting sur le passé. Ce mode permet de recalculer toutes les statistiques sur une période données ou en utilisant les paramètres de rétention.

Example:

/usr/share/centreon-bi/bin/centreonBIETL.pl -r

Afin d’obtenir des temps d’exécution raisonnables, la configuration matérielle, l’espace de stockage disponible et les optimisations MySQL doivent avoir été bien positionnés lors de l’installation.

Toutes les recommandations matérielle, logicielles et d’optimisations peuvent être trouvées sur le site de documentation

Note

Il est fortement recommandé de mettre en place la supervision de l’ETL expliqué dans le chapitre “Configuration avancée”. Dans le cas ou l’ETL n’aurait pas fonctionné pendant plusieurs jours ou que les données brutes importées de Centreon n’étaient pas à jour ou erronées, un processus de reconstruction partielle des données doit être exécuté. N’hésitez pas à contacter le Support afin d’être accompagné dans ce processus. L’ETL ne récupère pas automatiquement les jours qui n’ont pas été calculés.

Options d’exécution

Différentes options peuvent être passées en paramètre de l’ETL afin de lancer des actions spécifiques d’import ou de reconstruction:

-c  Create the reporting database model
-d  Daily execution to calculate statistics on yesterday
-r  Rebuild mode to calculate statitics on a historical period. Can be used with:
    Extra arguments for options -d and -r (if none of the following is specified, these one are selected by default: -IDEP):
-I  Extract data from the monitoring server
    Extra arguments for option -I:
    -C  Extract only Centreon configuration database only. Works with option -I.
    -i  Ignore perfdata extraction from monitoring server
    -o  Extract only perfdata from monitoring server

-D  Calculate dimensions
-E  Calculate event and availability statistics
-P  Calculate perfdata statistics
    Common options for -rIDEP:
    -s  Start date in format YYYY-MM-DD.
        By default, the program uses the data retention period from Centreon BI configuration
    -e  End date in format YYYY-MM-DD.
        By default, the program uses the data retention period from Centreon BI configuration
    -p  Do not empty statistic tables, delete only entries for the processed period.
        Does not work on raw data tables, only on Centreon BI statistics tables.

Centreon BAM

Si vous avez récemment mis à jour Centreon BAM en version 3.0 ou que vous venez de reconstruire les statistiques de BAM, vous devez ré-importer les données de BAM sur les serveur de reporting. Pour cela, exécutez la commande suivante :

/usr/share/centreon-bi/etl/importData.pl -r --bam-only

Cela aura pour effet de n’importer que les tables de reporting du module BAM.

Centile

Pour être en mesure d’utiliser le rapport “Monthly Network Percentile” vous devez activer le calcul et le stockage des centiles.

Pour cela, rendez vous sur la page Reporting > Business Intelligence > General Options | ETL Tab et configurez la section “Centile Parameters” comme décrit ci-dessous. Le combinaison centile/timeperiod est données à titre d’exemple, n’hésitez pas à créer votre/vos propres combinaisons. Si vous n’êtes pas intéressé par ce rapport, laissez les valeurs par défaut.

Parameter Value
Effectuer les calculs sur le centile par Mois (au moins)
Sélectionner les catégories de services sur lesquelles aggréger les données Sélectionner au moins une de vos catégories de trafic
Premier jour de la semaine Lundi (défaut)
Créer les combinaisons centile-plage horaire qui couvrent vos besoins (Format du centile : 00.0000 Créer au moins une combinaison. Ex: 99.0000 - 24x7

Exemple :

../_images/centileParameters.png

Seules les categories de services sélectionnées dans la partie “Reporting perimeter selection” apparaîtrons dans les catégories de services disponibles pour les statistiques de centile.

Vous pouvez créer autant de combinaison que vous souhaitez mais il faut savoir que l’impact sur les temps de traitements est fort. A titre d’exemple, l’agrégation au mois de ces statistiques peut prendre de quelques secondes à plusieurs dizaines de minutes.

Commencez par configurer les centiles sur un petit perimètre puis étendez le au fur et à mesure si les temps de calculs ne deviennent pas problématiques. (peut prendre de quelques secondes à plusieurs dizaine de minutes).

Note

Si vous souhaitez générer le rapport de trafic contenant des statistiques de centile sur les données du passé, exécutez les étapes suivantes. Si vous souhaitez uniquement être en mesure de générer des rapports sur le centile dans le future, à partir d’aujourd’hui (car les données seront calculées à partir d’aujourd’hui), rendez vous au chapitre suivant.

Sur le serveur de reporting, executez la commande suivante pour importer les données de configuration:

/usr/share/centreon-bi/bin/centreonBIETL -rIC

Ensuite, exécutez la commande suivante pour intégrer la configuration des centiles dans le datawarehouse:

/usr/share/centreon-bi/etl/dimensionsBuilder.pl -d

Enfin, exécutez la commande suivante afin de calculer les statistiques (cela peut prendre de quelques secondes à plusieurs dizaines de minutes selon votre configuration)

/usr/share/centreon-bi/etl/perfdataStatisticsBuilder.pl -r --centile-only