BIG DATA

BIG DATA: trendy a perspektívy

Po nie­koľ­kých ro­koch expe­ri­men­to­va­nia a ús­pe­choch fi­riem, kto­ré už in­ves­to­va­li do tech­no­ló­gií na spra­co­va­nie a ana­lý­zu veľ­kých dát, bol rok 2013 pr­vým v zna­me­ní na­sa­dzo­va­nia tých­to tech­no­ló­gií v ma­so­vej­šej mie­re. Pod­ľa ne­dáv­ne­ho pries­ku­mu spo­loč­nos­ti Gar­tner 42 % res­pon­den­tov uvie­dlo, že in­ves­to­va­li do tech­no­ló­gií big da­ta ale­bo to ma­jú v plá­ne v ho­ri­zon­te jed­né­ho ro­ka.

Roz­svieť­te vo svo­jich dá­to­vých skla­doch

Fir­my bez oh­ľa­du na prie­my­sel­né od­vet­vie či ob­lasť pod­ni­ka­nia zbie­ra­jú a uk­la­da­jú ob­rov­ské kvan­tá úda­jov. Nie­ke­dy sú mo­ti­vač­ným fak­to­rom le­gis­la­tív­ne po­žia­dav­ky či inter­né pred­pi­sy, vo väč­ši­ne prí­pa­dov je to však mys­le­nie na spô­sob: „Uk­la­daj­me všet­ko a nes­kôr to ne­ja­ko spra­cu­je­me a az­da aj vy­uži­je­me." Pro­duk­tom tej­to fi­lo­zo­fie sú tak­zva­né „dark da­ta", te­da úda­je ne­kon­cep­čne zhro­maž­ďo­va­né fir­ma­mi. Tie­to úda­je však mo­men­tál­ne ne­pot­re­bu­jú. Ten­to po­jem je veľ­mi vý­stiž­ný a pred­sta­vu­je ana­ló­giu skla­du bez os­vet­le­nia, v kto­rom mô­že byť čo­koľ­vek, čas­to aj veľ­mi hod­not­né ve­ci. Vy­uži­tie tých­to „dark da­ta" pred­sta­vu­je veľ­ký a v mno­hých prí­pa­doch okam­ži­tý po­ten­ciál tran­sfor­mo­vať pro­ce­sy ale­bo ce­lé fir­my a or­ga­ni­zá­cie.

Kľú­čom je po­ro­zu­me­nie po­ten­ciá­lu

V ro­ku 2013 nas­tal sig­ni­fi­kant­ný po­sun v chá­pa­ní vý­zna­mu veľ­kých dát. Otáz­ky, čo sú veľ­ké dá­ta a pre­čo by sme sa ma­li o ne za­ují­mať, vy­strie­da­li ove­ľa per­spek­tív­nej­šie otáz­ky: Aký je v tom­to seg­men­te ROI? Aké or­ga­ni­zač­né zme­ny sú pot­reb­né? Aké zruč­nos­ti pot­re­bu­je­me zís­kať na vy­uži­tie veľ­kých dát? Fir­my si uve­do­mu­jú, aké hod­no­ty mô­že ten­to fe­no­mén po­ten­ciál­ne pri­niesť do pod­ni­ka­nia. Na­priek to­mu sa ve­ľa fi­riem stá­le na­chá­dza v štá­diu pr­vých fáz po­ku­sov a len má­lo z nich má v tej­to ob­las­ti pre­mys­le­nú stra­té­giu aj na­priek uve­do­me­niu si hl­bo­ké­ho do­sa­hu veľ­kých dát na ich ob­lasť pod­ni­ka­nia.

Gar­tner pred­po­ve­dá, že do ro­ku 2015 bu­de mať 20 % fi­riem z Glo­bal 1000 de­fi­no­va­né stra­te­gic­ké za­me­ra­nie na in­for­mač­nú infra­štruk­tú­ru ob­sa­hu­jú­cu ria­de­nie veľ­kých dát a s ni­mi sú­vi­sia­cich ap­li­ká­cií a pro­ce­sov. Viac ako 40 % fi­riem bu­de mať v plá­ne na vy­uži­tie dá­to­vé­ho skla­du aj in­teg­rá­ciu veľ­kých dát. Fir­my bu­dú mu­sieť za­čať urý­chle­ne ško­liť svo­jich za­mes­tnan­cov, aby bo­li schop­ní pris­pô­so­biť sa zme­nám. Tech­no­ló­gie na zlep­še­nie ob­chod­nej ana­lý­zy sú in­ves­tič­nou prio­ri­tou ria­di­te­ľov tých­to fi­riem. Jed­no­du­cho mu­sia vy­pra­co­vať kva­lit­ný plán na zlep­še­nie svo­jich ana­ly­tic­kých schop­nos­tí, pre­to­že ich kon­ku­ren­ti bu­dú prav­de­po­dob­ne ro­biť to is­té.

Pre­dik­cie tren­dov

Ana­ly­ti­ci pred­pok­la­da­jú, že do ro­ku 2016 bu­de 30 % pod­ni­kov pria­mo ale­bo ne­pria­mo mo­ne­ti­zo­vať svo­je in­for­mač­né ak­tí­va - či už for­mou vý­me­ny, ale­bo pre­da­ja. Ho­ci na pre­dik­tív­ne ana­lý­zy bu­de orien­to­va­ných me­nej ako 25 % pro­jek­tov BI, tie bu­dú pro­du­ko­vať 50 % ob­chod­nej hod­no­ty. Trh s ana­ly­tic­ký­mi rie­še­nia­mi plat­for­my bu­de aj na­ďa­lej je­den z naj­rý­chlej­šie ras­tú­cich sof­tvé­ro­vých tr­hov. Roč­ná mie­ra ras­tu bu­de os­ci­lo­vať oko­lo hra­ni­ce 7 %. Za­ují­ma­vý bu­de aj seg­ment DaaS (dá­ta ako služ­ba). Zá­kaz­ní­ci sa prih­lá­sia na od­ber dá­to­vo špe­ci­fic­kých slu­žieb, za­me­ra­ných na úz­ku ob­lasť zá­uj­mu. Dô­le­ži­tý je aj fe­no­mén big da­ta vo vzde­lá­va­ní, a to na zvý­še­nie kva­li­ty vzde­lá­va­cie­ho pro­ce­su. Extrak­cia in­for­má­cií z veľ­kých dát, nap­rík­lad zo so­ciál­nych sie­tí, pria­mo v trie­de ale­bo pos­lu­chár­ni je re­la­tív­ne no­vý kon­cept v ob­las­ti vzde­lá­va­nia, kto­rý má ras­tú­cu dy­na­mi­ku na všet­kých úrov­niach. Štu­den­ti mô­žu ta­ké­to pos­tu­py ap­li­ko­vať vo svo­jich pro­jek­toch a di­plo­mo­vých prá­cach, tak­že fir­my po­tom dos­ta­nú kva­li­fi­ko­va­ných od­bor­ní­kov.

Fe­no­mén big da­ta vy­ge­ne­ru­je ce­los­ve­to­vo 4,5 mi­lió­na pra­cov­ných miest, z to­ho v re­gió­ne EMEA 1,3 mi­lió­na. Je zrej­mé, že vzde­lá­va­cie sys­té­my s os­no­va­mi za­me­ra­ný­mi na štruk­tú­ro­va­né úda­je ne­do­ká­žu na ta­ký ná­rast do­py­tu po IT exper­toch rea­go­vať, tak­že sa pred­pok­la­dá, že v Euró­pe do­ká­žu fir­my ob­sa­diť iba ne­ce­lú tre­ti­nu no­vo vznik­nu­tých po­zí­cií.

Spra­co­va­né pod­ľa ma­te­riá­lov ne­zá­vis­lej ana­ly­tic­kej spo­loč­nos­ti Gar­tner

Preh­ľad rie­še­ní na big da­ta

Rie­še­nia mož­no na­sa­diť lo­kál­ne (in­hou­se) ale­bo for­mou služ­by (SaaS - Software as a Servic­e). K dis­po­zí­cii sú ko­mer­čné aj open sour­ce pro­duk­ty. V struč­nom preh­ľa­de uvá­dza­me u nás naj­zná­mej­šie rie­še­nia:

Ha­doop - naj­zná­mej­šia open sour­ce plat­for­ma na spra­co­va­nie, uk­la­da­nie a ana­lý­zu veľ­ké­ho množ­stva dis­tri­buo­va­ných, neš­truk­tú­ro­va­ných úda­jov. Bo­la vy­tvo­re­ná v spo­loč­nos­ti Yahoo!. Úda­je sa roz­de­ľu­jú a spra­cú­va­jú pa­ra­lel­ne vo via­ce­rých uz­loch. Ag­re­go­va­né vý­sled­ky sú uk­la­da­né do Ha­doop Dis­tri­bu­ted Fi­le Sys­tem (HDFS) a od­tiaľ sú dá­ta na­čí­ta­né do niek­to­ré­ho z pod­po­ro­va­ných ana­ly­tic­kých pros­tre­dí. Naj­zná­mej­šie sú dis­tri­bú­cie Ha­doop od IBM, EMC2, Clou­de­ry či Ama­zo­nu. Tie­to dis­tri­bú­cie sa sna­žia re­du­ko­vať zlo­ži­tosť plat­for­my pre pou­ží­va­te­ľov.

Plat­for­ma IBM Big­Da­ta - kom­bi­nu­je tra­dič­né tech­no­ló­gie pre štruk­tú­ro­va­né dá­ta s no­vý­mi tech­no­ló­gia­mi za­me­ra­ný­mi na úče­lo­vé pres­kú­ma­va­nie a ob­ja­vo­va­nie úda­jov a ana­lý­zu neš­truk­tú­ro­va­ných úda­jov. Ana­lý­za Ha­doop spra­cú­va a ana­ly­zu­je všet­ky ty­py úda­jov na­prieč ko­mo­dit­ný­mi server­ov­ým­i klas­tra­mi. Stream Com­pu­ting umož­ňu­je nep­retr­ži­tú ana­lý­zu ob­rov­ských ob­je­mov prú­dov úda­jov pri reak­čnom ča­se krat­šom ako 1 mi­li­se­kun­da.

Plat­for­my HP - rie­še­nia na bá­ze tech­no­ló­gií na Ver­ti­ca a Auto­no­my umož­ňu­jú zvlád­nuť ana­lý­zu aj neš­truk­tú­ro­va­ných úda­jov v reál­nom ča­se. Ana­ly­tic­ká plat­for­ma HP Ver­ti­ca Ana­ly­tics Plat­form umož­ňu­je pok­ro­či­lú in­teg­rá­ciu s pros­tre­dím Ha­doop a clou­do­vým pros­tre­dím Ama­zon EC2. Roz­hra­nie Auto­no­my In­telli­gent Da­ta Ope­ra­ting Layer (IDOL) 10 mož­no za­bu­do­vať do kaž­dé­ho uz­la Ha­doop. Umož­ňu­je fir­mám vďa­ka iden­ti­fi­ká­cii my­šlie­nok a vzor­cov v reál­nom ča­se auto­ma­tic­ky po­ro­zu­mieť in­for­má­ciám vy­ťa­že­ným z neš­truk­tú­ro­va­ných úda­jov a rea­go­vať na ne.

Orac­le 12c - da­ta­bá­za je op­ti­ma­li­zo­va­ná aj na ana­lý­zu veľ­kých ob­je­mov dát (big da­ta). No­vé fun­kcie pre SQL Pat­tern Mat­ching umož­ňu­jú za­dať zlo­ži­té vzo­ry po­mer­ne jed­no­du­chou dek­la­rá­ciou. Kom­plexná ana­lý­za vzo­rov dát sa pou­ží­va pri od­ha­ľo­va­ní pod­vo­dov, pri fi­nan­čných ana­lý­zach tr­hu ale­bo v in­for­mač­nom spra­vo­daj­stve. Veľ­ké ob­je­my dát mož­no efek­tív­ne ana­ly­zo­vať vďa­ka ma­sív­ne­mu pa­ra­le­liz­mu či no­vým pre­dik­tív­nym al­go­rit­mom z open sour­ce ana­ly­tic­ké­ho sys­té­mu R, kto­rý bol in­teg­ro­va­ný do da­ta­bá­zo­vé­ho server­a.

Ama­zon Ki­ne­sis - sú­časť por­tfó­lia Ama­zon Web Servic­es (AWS) na prá­cu s veľ­ký­mi ob­je­ma­mi dát v clou­de mi­mo vlas­tnej IT infra­štruk­tú­ry v reál­nom ča­se. Úda­je sa flexibil­ne pre­sú­va­jú me­dzi služ­bou S3 na uk­la­da­nie dát, rie­še­ním na spra­co­va­nie veľ­kých ob­je­mov dát Elas­tic Map­Re­du­ce (EMR) a hos­to­va­ným dá­to­vým skla­dom Red­shift. Pla­tí sa mo­de­lom pay-as-you-go, ce­ny sa za­čí­na­jú na hra­ni­ci 0,015 do­lá­ra za ho­di­nu pri strea­me dát rých­los­ťou 1 MB za se­kun­du.

Mic­ro­soft HDIn­sight - ok­rem on-pre­mi­ses rie­še­nia je k dis­po­zí­cii aj clou­do­vá služ­ba Win­dows Azu­re HDIn­sight Servic­e, za­lo­že­ná na Apa­che Ha­doop, kto­rá pra­cu­je s rie­še­ním SQL Server a pod­ni­ko­vý­mi nás­troj­mi, ako je nap­rík­lad Mic­ro­soft Excel a Power BI pre Of­fi­ce 365.

Zdroj: IW 1-2/2014


Ohodnoťte článok:
 
 
 

24 hodín

týždeň

mesiac

Najnovšie články

Ako ušet­riť IT nák­la­dy po­mo­cou tech­no­ló­gie big da­ta
V dnešnej informačnej dobe nás dáta sprevádzajú na každom kroku a stávame sa svedkami obrovskej dátovej explózie. čítať »
 
FlexPod Se­lect har­dvé­ro­vá plat­for­ma pre Ha­doop
S príchodom nových technologických možností, ako sú sociálne siete, mobilné zariadenia, kamery a rôzne senzory pripojiteľné k dátovej sieti, sa mnohé firmy a inštitúcie stali schopnými generovať obrovské objemy dát, ktoré potenciálne obsahujú zaujímavú informáciu, ale nie sú priamo vyhodnotiteľné človekom ani bežnými výpočtovými prostriedkami, resp. len v obmedzenej miere. čítať »
 
Ino­vo­va­né šab­ló­ny pre ap­li­ká­cie Win­dows 8.1
Okrem základnej šablóny „prázdnej“ aplikácie majú vývojári a dizajnéri k dispozícii tri sofistikované šablóny Grid App, Split App a Hub App. Sú koncipované tak, aby čo najviac pokryli typické scenáre aplikácií Windows 8.1 s používateľským rozhraním Modern UI. Samozrejmá je optimalizácia aplikácií vytvorených podľa týchto šablón na dotykové ovládanie. čítať »
 
Prog­ra­mu­je­me pre An­droid / Úvod
Pri sledovaní našich seriálov o Linuxe a OpenGL ste si určite všimli, že nami zadané úlohy sme riešili v rámci OS Linux. No a práve linuxové jadro (kernel) je základom OS Android. čítať »
 
DNS – kon­tro­la syn­tak­tic­kých zá­pi­sov a spus­te­nie sys­té­mu
V predošlej časti sme rozdelili našu sieť na vonkajšiu a vnútornú, vytvorili podľa toho dva pohľady (views) a nakoniec upravili konfiguračný súbor named.conf . Tým sme v podstate ukončili konfiguráciu DNS a dnes pristúpime k odladeniu a spusteniu nášho systému. čítať »
 
Le­no­vo Yoga Tab­let 10
Tento tablet rieši dva zásadné problémy, s ktorými sa stretávajú používatelia: ako s tabletom pohodlne pracovať bez dodatočného držiaka a ako s ním na batériu pracovať naozaj dlho. Používateľ s tabletom Yoga môže pracovať v troch režimoch - Hold, Tilt alebo Stand. čítať »
 
Koe­fi­cient kva­li­ty – účin­ný nás­troj na zvý­še­nie efek­ti­vi­ty
U nás vo firme sme čelili viacerým problémom, týkajúcim sa výkonu, kvality a vedenia vývojového oddelenia. Firma vnímala vývojársky tím ako jedno zo slabších oddelení a panoval všeobecný názor, že „devel" produkuje obrovské množstvo chýb a nestíha veci načas. čítať »
 
Kon­zul­tač­né služ­by v IT
Vo väčšine firiem nemožno zvládnuť rozvoj IT infraštruktúry na požadovanom stupni komplexnosti silami interných zamestnancov. Manažment si uvedomuje výhody investovania do externého poradenstva. čítať »
 
 
 
  Zdieľaj cez Facebook Zdieľaj cez Google+ Zdieľaj cez Twitter Zdieľaj cez LinkedIn Správy z RSS Správy na smartfóne Správy cez newsletter