Objectifs du Projet
Les principaux objectifs de la mise en place de cette stack de logging étaient :
- Centraliser les logs provenant de divers services, applications et infrastructures pour une meilleure visibilité.
- Analyser les logs en temps réel pour identifier les incidents ou anomalies avant qu'ils n'impactent la production.
- Automatiser la gestion des logs tout en optimisant les ressources de stockage et en garantissant la scalabilité du système.
- Fournir aux équipes techniques des dashboards intuitifs et des capacités de recherche avancée pour faciliter la résolution d'incidents.
Technologies utilisées
- Fluentbit : Utilisé pour collecter les logs des différents serveurs et services, en tant qu'agent léger et performant.
- OpenSearch : Pour l’indexation, la recherche et l'analyse des logs, avec une interface facile à utiliser et des fonctionnalités avancées de visualisation et de requêtage.
- OpenSearch Dashboards : Pour créer des dashboards dynamiques permettant aux équipes de visualiser les logs et de suivre les tendances en temps réel.
- Azure Blob Storage : Pour le stockage à long terme des logs, garantissant une gestion des données de manière sécurisée et conforme aux exigences de rétention.
Conclusion
La mise en place et la maintenance d’une stack de logging basée sur OpenSearch et Fluentbit ont permis d’améliorer de manière significative la visibilité des systèmes et la réactivité face aux incidents. Grâce à une gestion efficace des logs, les équipes ont pu identifier les problèmes plus rapidement et optimiser les performances des services. Cette expérience m'a permis de renforcer mes compétences en monitoring avancé, en optimisation des performances de systèmes distribués et en gestion des logs à grande échelle.