Comment améliorer le pilotage de son activité industrielle grâce à l’exploitation des données dans le cloud ?
L’évolution et la démocratisation des services d’analyses et d’accès à la donnée permettent d’atteindre de nombreux secteurs d’activité qui ne sont plus cantonnés aux traditionnels domaines du tertiaire comme la finance, le commerce ou le marketing.
En effet, dans l’industrie, l’analyse d’indicateurs clés permet de concourir à l’efficacité et la qualité des processus de production. Dans ce secteur, la nouveauté se situe dans la disponibilité et l’explosion du volume de données sources et dans l’utilisation plus courante d’outils orientés big data et reporting aux fonctionnalités toujours plus riches et faciles à mettre en œuvre car disponibles dans le cloud.
Ainsi, nous allons décrire au travers d’un exemple concret les aspects clés d’une architecture permettant de répondre parfaitement au suivi des lignes de production. Cette architecture de données permet d’alimenter une solution de pilotage d’usine 4.0 pour un groupe d’envergure mondiale, leader sur son marché.
Les enjeux :
1/ Maîtriser et fiabiliser les gisements de données
Il faut le plus souvent faire face à une des problématiques de disparité et de volumétrie de données sources en termes de localisation (stockage) et d’hétérogénéité de formats de compression (bz2, snappy…). La réponse réside dans l’utilisation d’un datalake. Exemple : les offres multi cloud Amazon (S3) et Azure (Datalake gen 2).
Avantages d’un datalake :
- Le stockage est multi cloud (imposé par les sources), scalable, économique et repose sur un système de fichiers à haute performance compatible HDFS
- La communication inter cloud (transmission de données de Amazon vers Azure par exemple) est aisée grâce à l’emploi d’Azure data factory favorisant le déplacement de données sans code ou avec peu de code (70 connecteurs) et la gestion complète des flux
A noter ici qu’Azure data factory est plus largement l’orchestrateur global de la solution en permettant la gestion des workflows d’intégration des données, quel que soit l’endroit où les données résident (datalake, database, cube, …).
2/ Traiter efficacement la volumétrie et la multiplicité des formats de données
L’architecture doit pouvoir faire face aux contraintes de volumétrie des données, aux différents types des données sources (formats csv, Apache Parquet, …) et aux calculs complexes. Pour cela, nous utilisons la solution Azure Databricks, un service d’analytique performant, simple et collaboratif basé sur Apache Spark.
Les avantages de cette solution : Performance et scalabilité (cluster spark). Lecture en standard de formats de données variés grâce à Spark (scala). Azure databricks peut également couvrir des besoins de calculs. Il est utilisable par les scientifiques de données, les ingénieurs de données et les analystes d’entreprise qui peuvent collaborer sur des projets partagés dans un espace de travail interactif avec la prise en charge de leurs langages préférés tels que Python, Scala, R et SQL.
3/ Préparation des données en vue de leur exploitation et interprétation métier
L’enjeu est de créer, à des fins de reporting, des données cohérentes de qualité. Ces données doivent être centralisées (« une seule vérité »), interrogeables par les métiers et sécurisées. La réponse proposée : Azure SQL database / datawarehouse pour permettre une modélisation de la vision métier, associée à Azure Analysis Services, des cubes métiers permettant la création de formules (indicateurs métiers en DAX).
Les points forts de cette combinaison : formules dynamiques avec des temps de réponse très performants, l’accès différentiel à la ligne de données par utilisateur y est possible.
4/ Restitution adaptée des données
Il faut assurer un management visuel de la donnée, c’est à dire permettre la transmission visible d’informations critiques (indicateurs clés de performances, suivi des numéros de batch et des étapes de production) par la mise en place d’un outil de reporting accessible à tous et interactif.
On utilise pour cela la solution Power BI qui permet l’analyse visuelle des données, assure la collaboration et le partage sécurisé des tableaux de bord personnalisés et des rapports interactifs.
On notera comme point fort de cette solution : l’interactivité sur les rapports, la facilité d’utilisation, la visualisation native sur mobiles et tablettes, les possibilités de customisation des visuels.
5/ Sécurité et performance
Dans cet exemple, les éléments de l’architecture sont tous en mode PaaS (Platform as a Service) et hautement scalables. Des briques transverses sont utilisées pour assurer des accès transparents (single sign on) et sécurisés des utilisateurs (Azure Active Directory et Azure Active Directory Federation Services) avec une protection complète des identités et un recours à un coffre-fort (Azure Key Vault) pour le stockage des informations (credentials) confidentielles. L’emploi des jetons (token) en lieu et place des mots de passe est systématique et les flux de transmission des données sont cryptés de bout en bout. L’accès à la donnée est restreint (accès control list) quelle que soit la brique utilisée (datalake, databricks, SQL, Analysis services).
En conclusion, il est tout à fait possible aujourd’hui, grâce aux offres cloud comme Microsoft Azure, de créer des architectures performantes, spécifiques et variées qui répondent à des besoins aussi précis et exigeants que le suivi des processus production en milieu industriel. Ces nouvelles possibilités sont les accélérateurs de la transformation des métiers industriels plus globalement dénommée « Smart Factory » ou usine 4.0.
La réponse à ces enjeux techniques constitue une condition nécessaire pour garantir un bon retour sur investissement. Des conditions fonctionnelles liées à l’usage métier, l’ergonomie et aux problématiques de changement que soulèvent ces nouvelles possibilités et outils doivent également être considérées.
Par ailleurs, avec l’avènement des solutions d’Intelligence Artificielle, la maîtrise de l’exploitation des données produites par l’entreprise devient plus que jamais un investissement stratégique.
Ecrit par Pascal Rouze et Amaël Le Lan.