class: mainpage name: accueil # OLTP, OLAP et Big Data ### Business Intelligence --- layout:true .footer[ # OLTP, OLAP et Big Data - Business Intelligence (8/08/2018) ## IMT Atlantique - http://formations.imt-atlantique.fr/bi/ - [Laurent Brisson](http://www.laurent-brisson.fr) et Sylvie Huchet .cc-by-nc-sa[] ] --- .header[ # OLTP, OLAP et Big Data : Définitions ] ## Online Transaction Processing (OLTP) Approche visant à gérer en temps réel des requêtes potentiellement concurrentes à des fins de gestion d'un **système opérationnel**. ## Online Analytical Processing (OLAP) Approche visant à répondre à des requêtes multi-dimensionnelles sur les données à des fins d'**analyse**. ## Big data Ensemble des technologies pouvant gérer des volumes très importants de données (au-delà de la centaine de To). --- .header[ # Comparatif : objectifs, données et conception ] Caractéristiques | OLTP | OLAP | Big Data -- | -- | -- | -- Objectif | Contrôler et exécuter les tâches métier fondamentales | Donner les informations pour la prise de décisions stratégiques | Opérationnel et/ou décisionnel Données | Mises à jour en temps réel, elles reflètent les processus en cours | Historisées, résumées, intégrées et multi-dimensionnelles | Structurées ou non-structurées Conception | Normalisée | Non normalisée avec une modélisation dimensionnelle | Non normalisée avec un modèle par clé-valeur, document ou graphe --- .header[ # Comparatif : interrogations, mise à jour et taille ] Caractéristiques | OLTP | OLAP | Big Data -- | -- | -- | -- Interrogations | Simples et retournant un faible nombre de lignes | Complexes avec de nombreux agrégats | Complexes avec de nombreux agrégats mais le résultat peut ne pas être consistent Mise à jour | Transactions | Batch de rafraichissement | Propagation sur plusieurs noeuds Taille | Faible (du Go au To) | Importante (du To à la centaine de To) | Très importante (au-delà de la centaine de To) ??? Le positionnement de l'OLAP et du Big Data fait débat depuis de nombreuses années. Lors de l'essor du Big Data nombreux pensaient que les technologies OLAP allaient disparaître. De fait ce n'est pas le cas ou pas vraiment ... Les technologies OLAP reposent sur le principe d'une bonne connaissance des besoins utilisateurs et d'une structuration des données permettant à un accès quasiment instanné à des rapports qui ont été pré-calculés. Les technologies Big Data reposent sur le principe de stocker une masse de données et de pouvoir répondre à n'importe quelle question qui n'aurait pas été imaginé auparavant. Ces technologies ont quelques inconvénients : 1) le système distribué sous-jacent ne garanti pas la cohérence des données (les mises à jours récentes peuvent ne pas avoir encore été prise en compte). 2) toutes les technologies "Big Data" ne se valent pas pour calculer efficacement des agrégats numériques et l'OLAP reste un bon choix 3) vouloir tout stocker pour ensuite questionner a un coût à la fois en ressources pour le stockage mais ensuite humain car il ne s'agit que de repousser le moment où il faut faire des choix ... et avec des données faiblement structurée cette étape peut devenir compliqué Finalement on se dirige vers un modèle hybride : la modèlisation dimensionnelle est une bonne façon de structure les données de manière logique mais la couche physique est géré par des technologies big data performantes pour faire des agrégats numériques et couplées avec des systèmes d'indexation performants. On couple ainsi le meilleur des deux mondes. --- .header[ # OLTP, OLAP et Big Data : Terminologie et références ] ## Approfondir les concepts suivants FR | EN | [ADWD] | [SS] -- | -- | -- | -- OLTP | OLTP | 3-6, 12-15 | 4 OLAP | OLAP | - | 4, 53-56 .x-small[ [ADWD] Corr, Laurence, and Jim Stagnitto. Agile Data Warehouse Design: Collaborative Dimensional Modeling, from Whiteboard to Star Schema.
[SS] Adamson, Christopher. Star Schema. Osborne/McGraw-Hill, 2010. ]