Contexte


Renault Digital dispose d’un datalake on premise et souhaite déborder en hybride sur le Cloud. Pour ce faire, Renault Digital a sollicité D2SI pour mettre en place une solution Big Data as a service faisant appel aux services AWS.

Objectifs


Fournir aux équipes de data scientists de Renault Digital une infrastructure donnant accès à chaque équipe à un datalake séparé , avec des outils et données sur AWS.
Répliquer sur le cloud AWS du set de données on premise hébergé sur Hortonworks


Big Data & DevOps : Renault Digital mise sur le cloud AWS

6 Novembre, 2017 Expérience client

L’initiative Renault Digital, qui s’appuie sur la culture agile, le DevOps, le Cloud et l’Open Source, se concrétise à travers la construction d’une plateforme DevOps et Big Data faisant appel au Cloud AWS. D2SI a accompagné Renault Digital dans le design et l’automatisation de l’infrastructure, et nous vous proposons ici un retour d’expérience de ce projet.

DÉROULÉ DU PROJET



Architecture stateless


Fourniture d’un cluster AWS Elastic Map Reduce clé en mains, avec des versions vanilla de Spark, hive, Zeppelin et Hue :

  • Stockage des donnés métiers sur S3
  • Stockage meta externe sur Hive et Hue sur RDS
  • Stockage notebook externe sur S3

Bénéfices clients


  • Un déploiement de la couche datalake standard et automatisé
  • Utilisation de l’authentification LDAP de Renault Digital pour l’accès aux outils comme Zeppelin et Hue
  • Optimisation des coûts par l’application des bonnes pratiques AWS (instances spot, sur demande et réservées)
  • Chiffrement des données répliquées
  • Interconnexion au Gitlab Renault Digital

Automatisation


  • Infrastructure : provisionnement automatisé de l’infrastructure avec Terraform
  • Application : pipeline d’intégration continue avec Gitlab pour construire les artefacts Web, les envoyer vers S3 puis déclencher Elastic BeanStalk via AWS CLI.

Poke


Nous restons à votre écoute pour toute question ou demande supplémentaire.