Vi har ju jobbat intensivt med Big Data i mer än ett år nu, och det är väl dags att summera lite av våra erfarenheter.
Kunder som har ökande datamängder har blivit tvungna att titta över sin arkitektur på grund av att traditionella databasservrarna inte har kapacitet för den nya lasten eller att kostnaden i den traditionella lösningen har blivit för hög.
Lösningen för dessa kunder har varit att bygga flera parallella system med olika kostnadsstrukturer så att man kan köra queries på den plattform som har rätt kostnadsstruktur. Valen har ofta varit enkla och kunderna har valt olika DW plattformerna som Netezza, Hadoop eller traditionella DB2 datawarehouse då dessa lösningar är väldefinierade och relativt enkla att sätta upp.
Den stora utmaningen har blivit att flytta data mellan de olika plattformerna på ett korrekt sätt eller tillräckligt snabbt. Det är här problematiken som är som störst.
Vilket data som skall flyttas, när skall data flyttas och behöver data göras om är viktiga frågor.
Här tycker vi att det kan vara bra med en portfölj av olika lösningar som täcker olika behov.
MQ – säker meddelandeöverföring, låg kostnad
Sterling – säker filöverföring
Datastage – säker ETL, konvertering av innehåll
Change data capture – blixtsnabb överföring, låga krav på bandbredd
