Fram till nyligen utnyttjade företag ett enda datalager kopplat till otaliga business intelligence plattformar. Sådana lösningar upprätthölls av en liten grupp specialister och belastades ofta av betydande tekniska skulder. År 2020 är arkitekturen Du Jour en data lake med datatillgänglighet i realtid och ström och strömbehandling, med målet att ta in, berika, omvandla och servera data från en centraliserad dataplattform.
För många organisationer faller denna typ av arkitektur till kort på några sätt:
- En central ETL pipeline ger teamen mindre kontroll över ökande datamängder.
- Då varje företag blir ett dataföretag kräver olika dataanvändningsfall olika transformationer, vilket lägger en stor belastning på den centrala plattformen.
Sådana data lakes leder till frånkopplade dataproducenter, otåliga datakonsumenter och värre av allt, eftersatt datateam som kämpar för att hålla jämna steg med verksamhetens krav. Istället ger domänorienterade dataarkitekturer, som Data Mesh, team det bästa av två världar: en centraliserad databas (eller en distribuerad data lake) med domäner (eller affärsområden) som ansvarar för att hantera sina egna pipelines. Som Zhamak hävdar kan dataarkitekturer enklast skalas genom att brytas ner i mindre, domänorienterade komponenter.
Data Mesh tillhandahåller en lösning på bristerna i data lakes genom att tillåta större autonomi och flexibilitet för dataägare vilket underlättar större dataexperiment och innovation samtidigt som det minskar bördan för datateam att ta fram behoven hos varje datakonsument genom en enda pipeline. Dessutom förser Data Meshs self-service infrastruktur, som en plattform, datateamen med ett universellt, domänagnostiskt och ofta automatiserat tillvägagångssätt för datastanardisering, dataproduktlinje, dataproduktövervakning, varning, loggning och dataprodukt kvalitetsmått (med andra ord datainsamling och delning). Sammantaget ger dessa förmåner en konkurrensfördel jämfört med traditionella dataarkitekturer som ofta hämmas av bristen på datastandardisering mellan både användare och konsumenter.
