OneLake : une source unique de vérité pour toutes les données de votre entreprise
L'un des plus grands défis de la gestion des données en entreprise réside dans leur dispersion entre différents systèmes et dans l'effort constant nécessaire pour en préserver la cohérence. OneLake — le cœur de Microsoft Fabric — regroupe l'ensemble des données de l'organisation dans un référentiel unique et centralisé, offrant une véritable source unique de vérité. Dans cet article, vous découvrirez l'architecture de OneLake, l'évolution du concept de lac de données et la façon dont Momentum One accompagne les organisations dans la conception de plateformes de données évolutives et pérennes.
- OneLake her Fabric lisansında varsayılan gelir
- Shortcut'lar veriyi kopyalamaz, yalnızca işaret eder
- Direct Lake modu yalnızca OneLake üzerinden çalışır
Brève histoire du stockage des données : pourquoi OneLake ?
Les méthodes traditionnelles de stockage
Les organisations ont stocké leurs données de bien des façons au fil du temps. Au début, la donnée résidait sur des serveurs locaux ou des systèmes de fichiers. Vint ensuite l'ère de l'entrepôt de données, qui a facilité l'analyse de données structurées grâce à des schémas prédéfinis et à des moteurs de requêtes optimisés. Les entrepôts n'étaient toutefois pas conçus pour des données non structurées comme des images, des vidéos ou des fichiers texte bruts.
Au début des années 2010 est apparu le concept de lac de données. Un lac de données pouvait conserver tout type d'information — structurée, semi-structurée ou non structurée — sous sa forme brute. Mais les lacs de données ont apporté leurs propres difficultés : la qualité était difficile à faire respecter, la gouvernance presque impossible à tenir, et beaucoup d'organisations ont fini avec ce que les praticiens appelaient un « marécage de données ».
L'essor de OneLake
OneLake associe la souplesse d'un lac de données à la rigueur d'un entrepôt et représente une nouvelle génération de stockage. Ce que OneDrive fait pour vos fichiers personnels, OneLake le fait pour les données de l'entreprise : il conserve tout dans un dépôt centralisé et organisé, immédiatement accessible dès que nécessaire.
Qu'est-ce que OneLake ?
Définition et principe
OneLake est la couche de stockage centrale de Microsoft Fabric. Toutes les données de l'organisation y résident, et chaque charge de travail Fabric — ingénierie des données, science des données, analytique en temps réel et Power BI — lit et écrit dans ce même dépôt.
La philosophie de OneLake est simple : la donnée est stockée une fois et utilisée de multiples fois. Une fois qu'un ingénieur data a chargé la donnée dans OneLake, les analystes peuvent l'interroger, les data scientists y entraîner des modèles d'apprentissage automatique et les utilisateurs métier bâtir des rapports. Tout le monde travaille sur la même donnée, ce qui garantit la cohérence dans toute l'organisation.
L'architecture de OneLake
OneLake repose sur l'infrastructure cloud de Microsoft Azure. Il conserve les données sur Azure Data Lake Storage (ADLS) et s'appuie sur le format ouvert Delta Lake. Delta Lake apporte des atouts déterminants en matière de fiabilité, de transactions ACID et de voyage dans le temps.
L'architecture de OneLake comporte trois couches principales :
Couche de données : la couche physique où résident les données brutes. C'est là que se trouvent réellement fichiers et tables.
Couche de métadonnées : la couche qui conserve les informations sur la donnée — types, tailles, dates de création, définitions de schéma, etc. Elle permet de découvrir et d'organiser rapidement vos ressources.
Couche d'accès : la couche par laquelle utilisateurs et applications interagissent avec la donnée. Contrôles de sécurité, autorisations et authentification s'y appliquent.
Les fonctionnalités essentielles de OneLake
Un dépôt de données centralisé
OneLake sert de dépôt centralisé unique à toutes les données de l'organisation. Les données du marketing, de la finance, des opérations et des autres services y sont organisées, ce qui supprime les silos qui ralentissent la décision.
L'évolutivité
OneLake absorbe sans heurt des volumes de l'ordre du pétaoctet. À mesure que l'organisation grandit et que les volumes augmentent, OneLake s'adapte automatiquement. Aucune limite de stockage à surveiller.
Sécurité et gouvernance des données
OneLake respecte les standards de sécurité d'entreprise. L'accès aux données est piloté par des contrôles d'accès fondés sur les rôles (RBAC) et des étiquettes de sensibilité. L'intégration à Microsoft Purview assure par ailleurs une gouvernance complète et la conformité réglementaire.
Rapidité et performance
Le mode Direct Lake de OneLake permet aux rapports Power BI d'accéder directement aux données, sans import ni mise en cache. Les temps de chargement s'en trouvent nettement améliorés et une véritable analyse en temps réel devient possible.
L'évolution du concept de lac de données
De l'entrepôt au lac de données
Un entrepôt de données convient parfaitement à des données structurées, dotées de schémas prédéfinis. Mais les organisations modernes travaillent avec tous les types de données : flux de réseaux sociaux, relevés de capteurs connectés, fichiers vidéo, enregistrements audio, etc. Un entrepôt traditionnel n'est tout simplement pas conçu pour cette diversité.
Le lac de données a été créé pour résoudre ce problème. Il peut conserver tout type de données sans exiger de schéma au préalable. Comme évoqué, les lacs de données ont toutefois souvent dégénéré en marécages, où la qualité et la découvrabilité laissaient à désirer.
Le lakehouse : le meilleur des deux mondes
L'architecture lakehouse — bâtie sur OneLake — associe la souplesse d'un lac de données à la structure et à la fiabilité d'un entrepôt. Un lakehouse peut conserver tout type de données (comme un lac) tout en imposant qualité, gestion de schéma et transactions ACID (comme un entrepôt). OneLake est le socle sur lequel repose cette architecture.
L'organisation des données dans OneLake
Les espaces de travail
Dans OneLake, les données sont organisées au sein d'espaces de travail. Chaque espace peut représenter un service, un projet ou une unité métier. Un espace « Analytique marketing » peut par exemple rassembler toutes les ressources de données du service marketing.
Pour créer un espace de travail, rendez-vous dans le portail Fabric et sélectionnez « Espaces de travail » dans le menu de gauche. Cliquez sur « + Nouvel espace de travail », saisissez un nom et configurez les autorisations nécessaires.
Dossiers et domaines
Au sein d'un espace de travail, la donnée peut être répartie en dossiers et en domaines. Dans l'espace « Analytique marketing », vous pouvez par exemple créer des dossiers distincts pour « Données clients », « Données de campagne » et « Données de vente ».
Pour créer un dossier, cliquez sur « + Nouveau dossier » dans l'espace de travail, saisissez un nom et ajoutez une description. Les dossiers permettent d'organiser simplement vos ressources selon une hiérarchie logique.
L'approche data mesh
Momentum One recommande une approche data mesh de l'organisation des données. Le data mesh répartit la propriété de la donnée entre les services, chaque équipe devenant responsable de la qualité et de la gouvernance de ses propres données. OneLake est la plateforme idéale pour mettre en œuvre cette approche.
Dans un modèle data mesh, chaque service :
•organise ses propres données dans OneLake
•assume la responsabilité de leur qualité
•les partage avec les autres services via des interfaces gouvernées
•respecte les principes de gouvernance définis à l'échelle de l'entreprise
La virtualisation des données dans OneLake : les raccourcis
Que sont les raccourcis ?
Dans OneLake, vous pouvez accéder à des données situées ailleurs sans les copier physiquement. Le mécanisme qui rend cela possible s'appelle les raccourcis.
Les raccourcis fonctionnent comme des liens symboliques. Les données clients du service marketing résident par exemple dans son propre espace de travail. Lorsque la finance a besoin d'y accéder, elle peut créer un raccourci plutôt qu'une copie physique. La finance accède alors directement aux données clients, qui demeurent en un seul endroit.
Les avantages des raccourcis
Fin de la duplication : une même donnée n'est jamais conservée à plusieurs endroits. Cela réduit les coûts de stockage et garantit la cohérence dans toute l'organisation.
Une propriété clarifiée : la donnée est administrée par l'équipe qui la possède. Les autres équipes y accèdent par raccourci, ce qui préserve des frontières de responsabilité nettes.
De la souplesse : lorsque la structure de la donnée évolue, nul besoin de mettre à jour plusieurs copies. Le raccourci reflète automatiquement la dernière version.
Créer un raccourci, pas à pas
Suivez les étapes ci-dessous pour créer un raccourci dans OneLake :
Étape 1 : ouvrez votre lakehouse
Rendez-vous dans votre espace de travail depuis le portail Fabric et ouvrez le lakehouse où vous souhaitez créer le raccourci.
Étape 2 : ouvrez le menu contextuel d'un clic droit
Dans le volet Explorateur, faites un clic droit sur le dossier où créer le raccourci — par exemple sous le dossier « Files » ou « Tables ».
Étape 3 : sélectionnez « Nouveau raccourci »
Dans le menu contextuel, choisissez Nouveau raccourci, Nouveau raccourci de table ou Nouveau raccourci de schéma, selon la configuration de votre lakehouse.
Étape 4 : choisissez une source de données
Dans la boîte de dialogue qui s'ouvre, sélectionnez Microsoft OneLake sous « Sources internes ». Choisissez ensuite la source à laquelle vous connecter (un lakehouse, un entrepôt, etc.) puis cliquez sur Suivant.
Étape 5 : sélectionnez les dossiers
Dépliez les dossiers « Files » ou « Tables » de la source. Les dossiers contenant des tables au format Delta ou Iceberg portent une icône de table ; les autres, une icône de dossier classique.
Sélectionnez un ou plusieurs dossiers à connecter (jusqu'à 50 à la fois) puis cliquez sur Suivant.
Étape 6 : créez le raccourci
Vérifiez les emplacements retenus. Servez-vous de l'action de modification pour changer le nom par défaut du raccourci si besoin, et de l'action de suppression pour retirer une sélection indésirable. Quand tout est prêt, cliquez sur Créer.
Une fois créé, le raccourci apparaît sous le répertoire choisi dans le volet Explorateur et s'utilise comme un dossier ordinaire.
Gérer les raccourcis
Pour modifier ou supprimer un raccourci existant :
1.Faites un clic droit sur le raccourci
2.Choisissez Gérer le raccourci
3.Modifiez le nom, la connexion cible ou l'emplacement cible selon vos besoins
4.Enregistrez vos changements
Pour supprimer un raccourci, faites un clic droit et choisissez Supprimer. La suppression d'un raccourci n'affecte pas les données d'origine à l'emplacement cible.
Sécurité et contrôles d'accès dans OneLake
Les contrôles d'accès fondés sur les rôles (RBAC)
Dans OneLake, l'accès aux données dépend du rôle attribué à l'utilisateur. Un ingénieur data peut ainsi disposer de droits d'écriture, tandis qu'un analyste n'a qu'un accès en lecture.
Les principaux rôles de OneLake sont les suivants :
Administrateur: : peut administrer l'espace de travail et toutes ses ressources de données. Peut configurer les autorisations des utilisateurs.
Membre: : peut créer, modifier et supprimer des données dans l'espace de travail.
Contributeur: : peut créer et modifier des données dans l'espace de travail, mais pas supprimer d'éléments.
Lecteur: : peut uniquement consulter les données de l'espace de travail, sans droit d'écriture.
Pour attribuer un rôle, rendez-vous dans les paramètres de l'espace de travail et cliquez sur « Accès ». Ajoutez les utilisateurs et attribuez le rôle approprié.
Les étiquettes de sensibilité
Dans OneLake, vous pouvez appliquer des étiquettes de sensibilité à vos ressources de données. Les données personnelles de vos clients peuvent par exemple être étiquetées « Hautement confidentiel ». Cette étiquette détermine la façon dont la donnée est traitée et qui peut y accéder.
Pour appliquer une étiquette de sensibilité :
1.Faites un clic droit sur la ressource
2.Choisissez « Sensibilité »
3.Sélectionnez l'étiquette appropriée (Public, Interne, Confidentiel ou Hautement confidentiel)
4.Enregistrez les changements
La gouvernance des données dans OneLake
L'intégration à Microsoft Purview
Microsoft Purview est la plateforme de gouvernance et de conformité qui s'intègre nativement à OneLake. Grâce à Purview, les organisations peuvent cataloguer toutes leurs ressources de données, suivre leur traçabilité, faire respecter des règles de qualité et produire des rapports de conformité.
Avec le hub Purview, vous pouvez :
•bâtir un catalogue complet de toutes les ressources de données de OneLake
•suivre l'origine de la donnée et les transformations qu'elle a subies
•définir et faire respecter des règles de qualité
•produire des rapports de conformité réglementaire
Catalogage et étiquetage des données
Dans OneLake, les ressources de données sont cataloguées et étiquetées automatiquement. Les ressources de données clients reçoivent par exemple l'étiquette « Données clients ». Il devient ainsi facile de les découvrir et de les organiser dans toute l'organisation.
Pour accéder au catalogue, cliquez sur « Data Hub » dans le portail Fabric. Vous y trouverez la liste complète des ressources conservées dans OneLake.
La stratégie OneLake de Momentum
Concevoir des plateformes de données évolutives
Momentum One conçoit des plateformes de données évolutives fondées sur OneLake, adaptées aux besoins propres de chaque organisation. L'architecture est pensée pour grandir avec l'entreprise, afin que la plateforme reste performante et économique à mesure que les volumes augmentent.
Mettre en œuvre le data mesh
Momentum One applique l'approche data mesh pour répartir la propriété des données entre les services. Chaque équipe assume la responsabilité de ses propres données, tandis que des mécanismes de partage gouvernés garantissent une collaboration fluide entre services.
Gouvernance et sécurité des données
Momentum One applique les meilleures pratiques du secteur en matière de sécurité et de gouvernance au sein de OneLake. Étiquettes de sensibilité, contrôles d'accès et intégration à Microsoft Purview protègent les données de l'entreprise et assurent le respect constant des exigences de conformité.
Un exemple concret : OneLake à l'œuvre
Le scénario : une organisation multiservices
Prenons une entreprise de commerce en ligne dotée de services marketing, ventes, opérations et finance. Dans une installation traditionnelle, chaque service exploite son propre système de données :
•Marketing : conserve dans son propre système les données de segmentation client et de campagne
•Ventes : conserve dans un autre système les transactions et les interactions clients
•Opérations : conserve dans un troisième système les données de stock et de logistique
•Finance : conserve dans un système distinct les données comptables et budgétaires
Cette fragmentation crée des silos et ralentit la décision dans toute l'organisation.
La solution OneLake
Avec OneLake, toutes ces données sont organisées dans un dépôt centralisé unique :
1.Espace de travail Marketing : segmentation client et données de campagne
2.Espace de travail Ventes : transactions de vente et interactions clients
3.Espace de travail Opérations : données de stock et de logistique
4.Espace de travail Finance : données comptables et budgétaires
Chaque service administre ses propres données. Les autres y accèdent par raccourci, sans copie redondante. L'équipe finance peut ainsi consulter les données de vente via un raccourci et bâtir des rapports financiers intégrant les chiffres de vente en temps réel.
Comme toutes les données résident dans OneLake, les rapports Power BI peuvent combiner les informations de tous les services pour offrir une vue unifiée de l'organisation.
Conclusion : atteindre une source unique de vérité
OneLake marque un changement de fond dans la façon dont les organisations gèrent leurs données. Un dépôt centralisé supprime les silos et offre une véritable source unique de vérité. Momentum s'appuie sur la puissance de OneLake pour accompagner les organisations vers des plateformes de données évolutives, sûres et bien gouvernées.
Libérer tout le potentiel de vos données commence par les organiser et les rassembler en un seul endroit. OneLake est le premier pas de ce parcours.
Associez-vous à Momentum pour organiser toutes les données de votre entreprise dans OneLake et obtenir une source unique de vérité.