Hubble Lakehouse — Architecture Big Data & Météo Spatiale
Pipeline Big Data Médaillon, batch et streaming : les observations du télescope Hubble croisées avec la météo spatiale NOAA, servies en 4 datamarts métier.
- Client
- Projet académique EFREI
- Année
- 2026
- Expertise
- Data & IA
- Prestations
- Data Engineering, Architecture Lakehouse, Streaming, DevOps
- Outils
- Apache Spark
- Airflow
- HDFS
- Kubernetes
- Power BI
Contexte
Concevoir une architecture Lakehouse « End-to-End » pour ingérer, nettoyer et exposer des données hétérogènes : un historique massif de plus de 30 ans d'observations et un flux continu de météo spatiale.
Notre approche
Un pipeline Big Data (architecture Médaillon) traite en batch et en streaming les métadonnées d'observations du télescope Hubble croisées avec la météo spatiale (NOAA), pour alimenter quatre datamarts métier.
Datamart Physicien
Cartographie du ciel pour identifier les régions sur-observées et les angles morts de la recherche.
Datamart Chimiste
Analyse spectrographique des filtres à bande étroite (hydrogène, oxygène, soufre).
Datamart Biologiste
Détection des observations corrompues par des éruptions solaires (météo spatiale NOAA).
Datamart Ingénieur
Suivi de la maintenance et évolution temporelle des temps de calibration des instruments.
Livrables
Un pipeline Big Data de bout en bout totalement fonctionnel : code source versionné sur GitHub, API sécurisée par JWT, démonstration vidéo des flux de données et rapport décisionnel Power BI scindé en quatre pages métier.