ETL ==== Modes d'exécution ------------------ La base de données de reporgint ou « Data Warehouse » est mis à jour tous les jours avec les données agrégées calculées par l’ETL. En fonction de la taille du périmètre supervisé, cela peut représenter de quelques milliers de ligne à plusieurs millions de lignes par jour. De ce fait, la base de données de reporting et l’ETL sont deux composants critiques de Centreon BI que vous devez comprendre. **Deux modes** de fonctionnement sont disponibles pour l’ETL: * **Daily mode** ou mode journalier : C’est le fonctionnement normal de l’ETL lorsque la plateforme de reporting est en place. Les données de Centreon sont importées tous les jours, de manière différentielle. Plus précisemment: * les données de la table "data_bin" de la veille sont importées et les calculs ne se font que sur ces données * toutes les données des tables *servicestatevents* et *hoststateevents* sont importée mais les calculs se font de manière différentiels Elles sont ensuite agrégées puis insérer dans le datawarehouse. Cela peut prendre de quelques secondes à quelques minutes en fonction du périmètre de monitoring. Le mode journalier est configuré comme un cron que vous pouvez consulter dans /etc/cron.d/centreon-bi-engine:: #30 4 * * * root /usr/share/centreon-bi//etl/centreonBIETL --daily >> /var/log/centreon-bi/centreonBIETL.log 2>&1 * **Rebuild mode** ou mode de reconstruction: C’est le mode souvent utilisé après l’installation de la plateforme de reporting, en cas de corruption des données ou si vous souhaitez appliquer de nouvelles dimensions de reporting sur le passé. Ce mode permet de recalculer toutes les statistiques sur une période données ou en utilisant les paramètres de rétention. Example:: /usr/share/centreon-bi/bin/centreonBIETL.pl -r Afin d’obtenir des temps d’exécution raisonnables, la configuration matérielle, l’espace de stockage disponible et les optimisations MySQL doivent avoir été bien positionnés lors de l’installation. Toutes les recommandations matérielle, logicielles et d'optimisations peuvent être trouvées sur le site de documentation http://documentation.centreon.com/docs/centreon-bi-2/en/2.0.x/ .. Note:: Il est fortement recommandé de mettre en place la supervision de l'ETL expliqué dans le chapitre "Configuration avancée". Dans le cas ou l'ETL n'aurait pas fonctionné pendant plusieurs jours ou que les données brutes importées de Centreon n'étaient pas à jour ou erronées, un processus de reconstruction partielle des données doit être exécuté. N'hésitez pas à contacter le Support afin d'être accompagné dans ce processus. L'ETL **ne récupère pas automatiquement** les jours qui n'ont pas été calculés. Options d'exécution -------------------- Différentes options peuvent être passées en paramètre de l'ETL afin de lancer des actions spécifiques d'import ou de reconstruction:: -c Create the reporting database model -d Daily execution to calculate statistics on yesterday -r Rebuild mode to calculate statitics on a historical period. Can be used with: Extra arguments for options -d and -r (if none of the following is specified, these one are selected by default: -IDEP): -I Extract data from the monitoring server Extra arguments for option -I: -C Extract only Centreon configuration database only. Works with option -I. -i Ignore perfdata extraction from monitoring server -o Extract only perfdata from monitoring server -D Calculate dimensions -E Calculate event and availability statistics -P Calculate perfdata statistics Common options for -rIDEP: -s Start date in format YYYY-MM-DD. By default, the program uses the data retention period from Centreon BI configuration -e End date in format YYYY-MM-DD. By default, the program uses the data retention period from Centreon BI configuration -p Do not empty statistic tables, delete only entries for the processed period. Does not work on raw data tables, only on Centreon BI statistics tables. Spécificités pour Centreon BAM ------------------------------- Si vous avez récemment mis à jour Centreon BAM en version 3.0 ou que vous venez de reconstruire les statistiques de BAM, vous devez ré-importer les données de BAM sur les serveur de reporting. Pour cela, exécutez la commande suivante : :: /usr/share/centreon-bi/etl/importData.pl -r --bam-only Cela aura pour effet de n'importer que les tables de reporting du module BAM.