Validation de la qualité des données avec la librairie Great Expectations.

Great Expectations est une librairie Python pour définir est valider les états acceptables des données.

1. Initialiser la base de données PostgreSQL:

   docker compose up

   Voir Compose Yaml file pour la configuration de la base de données PostgreSQL.

2. Insérer les données dans la base de données:

   python dbinit.py

3. Initialiser le contexte Great Expectations avec une configuration initiale:

   python main.py

4. Modifier le contexte créé précédement pour ajouter la base de données comme source de données:

   python db_data_source_config.py

5. Lancer les tests:

   python run_tests.py <nom_du_checkpoint>

   Exemple de tests à lancer pour le contexte créé précédement:

   • Pour la source de données fichiers (.csv)

     python run_tests.py TICKET_REGISTRATION_VIEW_V2

   • Pour la source de données SQL (Base de données PostgreSQL)

     python run_tests.py TICKET_REGISTRATION_VIEW_V2_SQL

   Les resultats des tests sont enregistrés dans:

   • HTML
   • JSON