In Memory Computing

In-memory technológie nakopnú vašu firemnú analytiku

Do­te­raj­ší vý­voj nas­ved­ču­je, že sto­jí­me na pra­hu éry in-me­mo­ry com­pu­tin­gu. Ana­ly­tic­ká fir­ma Gar­tner tvr­dí, že kým v ro­ku 2012 in-me­mo­ry tech­no­ló­gie vy­uží­va­lo 10 % veľ­kých a stred­ných or­ga­ni­zá­cií, bu­dú­ci rok ich bu­de 35 %.

Dô­vo­dom ras­tu je aj pok­les cien har­dvé­ru, pre­dov­šet­kým pri po­lo­vo­di­čo­vých tech­no­ló­giách. Zväč­šo­va­nie ope­rač­ných pa­mä­tí, zrý­chľo­va­nie pro­ce­so­rov, zni­žo­va­nie kom­pres­né­ho po­me­ru dát a roz­mach ap­li­ká­cií - to všet­ko je vie­tor do pla­chiet ma­lej tech­no­lo­gic­kej re­vo­lú­cie, na­zý­va­nej in-me­mo­ry.

Kla­sic­ké BI už nes­ta­čí s dy­chom

Ak ho­vo­rí­me o ana­ly­tic­kých nás­tro­joch, väč­ši­na fi­riem dnes eš­te stá­le pra­cu­je s Exce­lom. Ten však naj­mä pri väč­ších ob­je­moch dát už neob­sto­jí. Prob­lém je nie­len je­ho rých­losť, ale aj ob­me­dze­ná fun­kcio­na­li­ta.

Vý­hrou však nie sú ani tra­dič­né nás­tro­je BI, kto­rým chý­ba flexibi­li­ta, na­vy­še sú dra­hé. Nás­tro­je ako SQL, tech­no­ló­gie OLAP či dá­to­vé skla­dy di­ktu­jú, aby bo­li dá­ta stiah­nu­té z dis­ku vo for­me ta­bu­liek do mul­ti­di­men­zio­nál­nych ko­ciek. Než sa spus­tia ana­lý­zy, tre­ba za­dať na ne po­žia­dav­ku. Zlá sprá­va je, že ten­to pro­ces mô­že tr­vať dni, nie­ke­dy aj týž­dne a vý­sle­dok je aj tak neis­tý. Ne­ho­vo­riac o tom, že ten­to prís­tup pred­pok­la­dá vý­stav­bu zlo­ži­tej IT infra­štruk­tú­ry, dá­to­vých skla­dov či mo­de­lo­va­nie ko­ciek OLAP. To zna­me­ná stá­ti­sí­ce, mož­no až mi­lió­ny eur in­ves­to­va­ných do IT.

Ne­vý­ho­da kla­sic­kých nás­tro­jov je aj v tom, že si do pa­mä­te vie­te na­tiah­nuť vždy len jed­nu „query", je­di­ný do­pyt či vý­rez dát. Nie však ce­lý dá­to­vý mo­del so všet­ký­mi väz­ba­mi. Ten sí­ce do­ká­že byť po­mer­ne rých­ly, len čo však pot­re­bu­je­te ne­ja­ký iný poh­ľad, dá­ta mu­sí­te na­tiah­nuť do pa­mä­te zno­vu. To je prá­ve to, čo ce­lý pro­ces spo­ma­ľu­je.

Tra­dič­né BI si „ne­ty­ká" ani s ope­ra­tív­ny­mi zme­na­mi. Vy­skyt­la sa ne­ja­ká ad hoc po­žia­dav­ka či no­vá otáz­ka, kto­rú pot­re­bu­je­te ana­ly­zo­vať? Nuž, v tra­dič­nom sve­te má­te smo­lu. Jed­no­du­cho mu­sí­te opäť ab­sol­vo­vať zdĺha­vý pro­ces za­dá­va­nia po­žia­dav­ky cez IT od­de­le­nie. To znie ako pri­vy­so­ká ce­na, ak uvá­ži­te, že ces­ta k cie­ľu potr­vá dl­ho a vlas­tne nie je ani is­té, či sa tam dos­ta­ne­te.

Rých­losť vďa­ka in-me­mo­ry

Op­ro­ti to­mu sto­ja ino­va­tív­ne in-me­mo­ry tech­no­ló­gie, kto­ré sta­vi­li na jed­no­du­chú my­šlien­ku. Na­mies­to pris­tu­po­va­nia k dá­tam na dis­koch ale­bo server­och si in-me­mo­ry mo­dul „na­tiah­ne" pot­reb­né dá­ta do ope­rač­nej pa­mä­te. Ana­lý­zy po­tom bež­ia pria­mo v nej. Tie naj­lep­šie ana­ly­tic­ké nás­tro­je spá­ja­jú in-me­mo­ry en­gi­ne s aso­cia­tív­nym vy­hľa­dá­va­ním, vďa­ka čo­mu sa všet­ko de­je rých­los­ťou my­šlien­ky - pres­ne ako v moz­gu. Od­po­ve­de a pot­reb­né poh­ľa­dy tak dos­ta­ne­te prak­tic­ky v reál­nom ča­se, čo pri tra­dič­nom BI nie je mož­né.

Op­ro­ti „tra­dič­né­mu sve­tu" je tá­to al­ter­na­tí­va vý­raz­ne rých­lej­šia, v niek­to­rých prí­pa­doch až nie­koľ­ko sto­ná­sob­ne. In-me­mo­ry tech­no­ló­gie spra­cú­va­jú dá­ta zo zdro­ja len raz na­mies­to pris­tu­po­va­nia za­kaž­dým, keď vznik­ne ne­ja­ká po­žia­dav­ka. To eli­mi­nu­je opa­ko­va­né úko­ny a zni­žu­je za­ťa­že­nie server­a. Vý­hod­né je, že ne­mu­sí­te vy­tvá­rať sa­mos­tat­nú po­žia­dav­ku na kaž­dý poh­ľad, kto­rý chce­te zís­kať. Tá­to ces­ta vý­raz­ne me­nej za­ťa­žu­je IT od­de­le­nia, kto­ré ne­mu­sia trá­viť toľ­ko ča­su vy­ví­ja­ním, mo­de­lo­va­ním dát, ana­lý­zou po­žia­da­viek, bu­do­va­ním ko­ciek OLAP a di­zaj­no­va­ním ta­bu­liek.

Na čo sa pý­tať pri vý­be­re in-me­mo­ry

Dnes je na sve­te zhru­ba 50 do­dá­va­te­ľov, kto­rí pos­ky­tu­jú viac či me­nej účin­né in-me­mo­ry rie­še­nia. Ak nad ne­ja­kým uva­žu­je­te, je dob­ré ve­dieť, že me­dzi ni­mi náj­de­te roz­die­ly. A nie ma­lé. Do­kon­ca mô­že­te stú­piť ved­ľa a reál­ne vý­sled­ky za­os­ta­nú za oča­ká­va­nia­mi. Ak nech­ce­te zby­toč­ne mí­ňať pe­nia­ze na nie­čo, čo ne­bu­de fun­go­vať ale­bo bu­de neú­čin­né, ma­li by ste vý­be­ru rie­še­nia ve­no­vať ná­le­ži­tú po­zor­nosť.

Vší­maj­te si, ako efek­tív­ne do­ká­žu dá­ta stiah­nuť z pa­mä­te, a zá­ro­veň aj to, ako efek­tív­ne sa s ni­mi dá pra­co­vať. Dô­le­ži­té je aj to, koľ­ko dát do pa­mä­te do­ká­žu na­tiah­nuť a aké rých­le sú reak­cie v RAM. Tí naj­lep­ší in-me­mo­ry ven­do­ri vám za­ru­čia bez­prob­lé­mo­vé pre­po­je­nie he­te­ro­gén­nych dá­to­vých zdro­jov. Vý­sled­ky by ma­li pri­chá­dzať čo naj­rý­chlej­šie a v jas­nej a preh­ľad­nej for­me, zob­ra­zo­va­cie nás­tro­je by ma­li byť inter­ak­tív­ne.

Jed­na z kľú­čo­vých ve­cí je, sa­moz­rej­me, pou­ží­va­teľ­ská skú­se­nosť. Pros­tre­die by ma­lo byť jed­no­du­ché a orien­tá­cia in­tui­tív­na. Ma­na­žé­ri či ana­ly­ti­ci by ma­li byť schop­ní za­dá­vať po­žia­dav­ky bez špe­ciál­nych IT zna­los­tí. Za­ují­maj­te sa aj o schop­nosť nás­tro­ja vy­rov­nať sa s ope­ra­tív­ny­mi zme­na­mi v po­žia­dav­kách. Zá­ro­veň je dob­ré si zis­tiť, či tre­ba doin­šta­lo­vať sa­mos­tat­ný mo­dul ale­bo je nás­troj už pos­ta­ve­ný na in-me­mo­ry tech­no­ló­gii. Ten­to fak­tor má ta­kis­to vplyv na rých­losť a pou­ži­teľ­nosť in-me­mo­ry nás­tro­ja.

Ok­rem fun­kcio­na­li­ty, mož­nos­tí nás­tro­ja a ce­ny sa ur­či­te pý­taj­te aj na to, ako dl­ho sa kon­krét­ny ven­dor za­obe­rá ich vý­vo­jom. V tom­to prí­pa­de pla­tí, čím dlh­šie, tým lep­šie. Pre­ja­ví sa to na vy­spe­los­ti tech­no­ló­gie a vý­kon­nos­tnej úrov­ni in-me­mo­ry en­gi­nu. Ne­ho­vo­riac o tom, že dl­ho­do­bý vý­voj do­ká­že „vy­chy­tať mu­chy" a na trh sa dos­ta­ne kva­lit­ný a spo­ľah­li­vý nás­troj.

Kom­pre­sia dát je kľúč

In-me­mo­ry tech­no­ló­gie si za­ča­li svo­je mies­to na sl­nku hľa­dať eš­te v ča­se, keď sme o dneš­nej har­dvé­ro­vej úrov­ni moh­li len sní­vať. Na za­čiat­ku bo­li pre­káž­kou ma­lé RAM-ky, ná­por dát nez­vlá­da­li ani pro­ce­so­ry. Keď­že neš­lo pred­beh­núť tech­no­lo­gic­ký vý­voj har­dvé­ru, špič­ko­ví in-me­mo­ry ven­do­ri sa za­me­ra­li na kom­pre­siu dát. Zmen­ši­li tým ich ob­jem a do men­šej pa­mä­te bo­li schop­ní to­ho nah­rať viac.

Ak te­da bo­la reč o roz­die­loch me­dzi rôz­ny­mi in-me­mo­ry rie­še­nia­mi, pat­rí sem aj mie­ra, do akej do­ká­že kon­krét­ny mo­dul kom­pri­mo­vať dá­ta. Od to­ho sa po­tom bu­de od­ví­jať va­ša ana­ly­tic­ká rých­losť. Tie naj­lep­šie in-me­mo­ry nás­tro­je do­ká­žu dá­ta dos­tať na 10 % pô­vod­nej veľ­kos­ti. Tak­to zhus­te­ný ba­lík dát zos­tá­va úpl­ne funkč­ný, v pa­mä­ti však za­be­rie vý­raz­ne me­nej pries­to­ru. Rých­le ana­lý­zy tak do­ká­že ro­biť aj bez pot­re­by extrém­ne vý­kon­né­ho har­dvé­ru. Na ana­lý­zu pol mi­liar­dy zá­zna­mov už v dneš­nej do­be pos­ta­ču­je bež­ný server s 32 GB RAM a lep­ším pro­ce­so­rom.

Tí naj­lep­ší ven­do­ri za­ča­li svo­je nás­tro­je vy­ví­jať eš­te pred dvad­sia­ti­mi rok­mi a po ce­lý čas ino­vo­va­li. Vďa­ka re­vo­luč­ným tren­dom, ako sú in-me­mo­ry ana­lý­zy a aso­cia­tív­ny mo­del, sa moh­lo BI na­dých­nuť na dov­te­dy ne­tu­še­né vý­ko­ny. Naj­mä v pos­led­ných ro­koch sa tie­to tren­dy sta­li „mainstrea­mom v BI" a všet­ci veľ­kí hrá­či ich za­ča­li pos­tup­ne na­po­dob­ňo­vať. Pod­ľa ana­ly­ti­kov však za­tiaľ ani zďa­le­ka ne­do­sa­hu­jú vý­kon­nosť pô­vod­ných nás­tro­jov Da­ta Dis­co­ve­ry.

In-me­mo­ry a big da­ta

Ob­rov­ské ob­je­my dát s poč­tom riad­kov v mi­liar­dách či de­siat­kach mi­liárd dnes už nie sú nič vý­ni­moč­né. Ta­ké­to ana­lý­zy big da­ta v tra­dič­nom sve­te si vy­ža­du­jú nao­zaj vy­spe­lé vy­ba­ve­nie, nie však pri ino­va­tív­nom BI. To to­tiž pri­ná­ša ove­ľa lac­nej­šie a hlav­ne účin­né nás­tro­je, kto­ré si po­ra­dia aj s ta­kým­to ob­je­mom.

Tie naj­lep­šie z nich „po­za­me­ta­jú" aj s mi­liar­da­mi riad­kov dát so se­kun­do­vý­mi reak­cia­mi, pri­čom ne­raz ide o nao­zaj zlo­ži­té ana­lý­zy. Pri dá­tach, kto­ré sa rá­ta­jú na de­siat­ky mi­lió­nov, si vo väč­ši­ne prí­pa­dov vy­sta­čí­te s oby­čaj­ným no­te­boo­kom za nie­koľ­ko sto eur a prís­luš­nou ap­li­ká­ciou.

Pla­tí to však len pri tých naj­vys­pe­lej­ších rie­še­niach Da­ta Dis­co­ve­ry, kto­ré vy­uží­va­jú pri veľ­kých ob­je­moch dát tzv. hyb­rid­ný prís­tup. Ide o špe­ciál­ne rie­še­nia, kto­ré po­mô­žu nah­rať dá­ta do pa­mä­te. Sof­tvér si na­tiah­ne pot­reb­né filtre a di­men­zie do ope­rač­nej pa­mä­te, čo umož­ní rých­le prek­li­ká­va­nie. Vý­stup, de­tail, kto­rý je pod­sta­tou veľ­kých dát, sa po­tom stiah­ne z dis­ku.

Len na ilus­trá­ciu, stred­ne veľ­ké a veľ­ké fir­my na Slo­ven­sku bež­ne pra­cu­jú s da­ta­bá­za­mi s veľ­kos­ťou pol mi­liar­dy zá­zna­mov v naj­väč­šej fak­to­vej ta­buľ­ke. Ke­by sme tie­to zá­zna­my zo­ra­di­li v kla­sic­kom hár­ku Excel, je­ho dĺžka by do­siah­la 5000 ki­lo­met­rov. Inak po­ve­da­né, ta­ký­to há­rok by do­ká­zal pre­mos­tiť ame­ric­ký a európ­sky kon­ti­nent. Vďa­ka in-me­mo­ry tech­no­ló­giám náj­de­te z toh­to po­my­sel­né­ho ra­du zá­zna­mov ten, kto­rý hľa­dá­te, za me­nej ako se­kun­du. Na­vy­še je schop­ný pre­zen­to­vať aj šir­ší kon­text tej­to in­for­má­cie.

Čo si my­slia o in-me­mo­ry tech­no­ló­giách ana­ly­ti­ci?

Gar­tner: In-me­mo­ry bu­de mainstream

Gar­tner vo svo­jom toh­to­roč­nom Ma­gic Quad­ran­te kon­šta­tu­je, že v pos­led­ných troch ro­koch do­chá­dza k re­ví­zii tra­dič­né­ho mo­de­lu BI za­me­ra­né­ho na re­por­ty sme­rom k ino­va­tív­nym rie­še­niam Da­ta Dis­co­ve­ry. Jed­ným z mo­to­rov tých­to zmien sú stá­le do­ko­na­lej­šie in-me­mo­ry tech­no­ló­gie. Pod­ľa ana­ly­ti­kov je in-me­mo­ry je­den z dô­vo­dov, pre­čo je mo­der­né BI vý­raz­ne rých­lej­šie, dos­tup­nej­šie a pri­ná­ša lep­šie vý­sled­ky. In-me­mo­ry je a bu­de stá­le dos­tup­nej­šie, bu­dú­ci rok by tie­to tech­no­ló­gie ma­la vy­uží­vať viac ako tre­ti­na stred­ne veľ­kých a veľ­kých fi­riem.

Forres­ter: Excel na ste­roi­doch

Ana­ly­tic­ká fir­ma Forres­ter tiež po­va­žu­je in-me­mo­ry za vy­chá­dza­jú­cu hviez­du na ne­bi BI. „V tra­dič­nom BI je li­mi­tu­jú­cim fak­to­rom rých­los­ti da­ta­bá­za a me­cha­nic­ké dis­ky, pre­to­že sú po­ma­lé. Nah­ra­tie dá­to­vých zväz­kov do in-me­mo­ry mo­du­lov však dá­va okam­ži­té od­po­ve­de. Tie­to nás­tro­je do­ká­žu ro­biť všet­ko, čo do­ká­že aj Excel, na­vy­še však zvlá­da­jú ove­ľa väč­šie dá­ta, vy­ššie rých­los­ti spra­co­va­nia, sú viac in­tui­tív­ne a pou­ží­va­teľ­sky po­hodl­né. In-me­mo­ry rie­še­nia sú ako Excel na ste­roi­doch,“ kon­šta­tu­jú ana­ly­ti­ci Forres­te­ru.

Autor: Mar­tin Kos­tič, ria­di­teľ spo­loč­nos­ti EMARK

Zdroj: IW 11-12/2014


Ohodnoťte článok:
   
 
 
  Zdieľaj cez Facebook Zdieľaj cez Google+ Zdieľaj cez Twitter Zdieľaj cez LinkedIn Správy z RSS Správy na smartfóne Správy cez newsletter