Zohmg—A Large Scale Data Store for Aggregated Time-series-based Data

Abstract: Analyzing data at a massive scale is one of the biggest challenges that Last.fmis facing. Interpreting patterns in user behaviour becomes a challenge whenmillions of users interact in billions of combinations; the data sets must beanalyzed, summarized and presented visually.This thesis describes a data store for multi-dimensional time-series-baseddata. Measurements are summarized across multiple dimensions. The datastore is optimized for speed of data retrieval: one of the design goals is to servedata at mouse-click rate to promote real-time data exploration.Similar data stores do exist but they generally use relational database systemsas their backing database. The novelty of our approach is to model multidimensionaldata cubes on top of a distributed, column-oriented database toreap the scalability benefits of such databases.------------------------------------------------------------//Sammanfattning//Att analysera data på en massiv skala är en av de största utmaningarna somLast.fm står inför. Att tolka mönster i användarbeteende blir en utmaningnär miljoner användare samspelar i miljarder kombinationer. Datamängdernamåste analyseras, summeras och presenteras visuellt.Detta examensarbete beskriver ett datalager för multidimensionell tidsseriebaserad data. Mått är summerade över multipla dimensioner. Datalagret äroptimerat för dataextraheringshastighet: Ett av designmålen är att servera datai musklickshastighet för att främja utforskning av data i realtid.Liknande datalager existerar men de använder oftast relationella databassystemsom databas för back-end. Nyheten i vårt angripssätt är att modellera multidimensionelladatakuber ovanpå en distribuerad, kolumnorienterad databas föratt utnyttja skalbarhetsfördelarna av sådana databaser.