Vysokovýkonné profesionálne riešenie na analytické spracovanie veľkoobjemových dát

FlexPod Select hardvérová platforma pre Hadoop

S prí­cho­dom no­vých tech­no­lo­gic­kých mož­nos­tí, ako sú so­ciál­ne sie­te, mo­bil­né za­ria­de­nia, ka­me­ry a rôz­ne sen­zo­ry pri­po­ji­teľ­né k dá­to­vej sie­ti, sa mno­hé fir­my a in­šti­tú­cie sta­li schop­ný­mi ge­ne­ro­vať ob­rov­ské ob­je­my dát, kto­ré po­ten­ciál­ne ob­sa­hu­jú za­ují­ma­vú in­for­má­ciu, ale nie sú pria­mo vy­hod­no­ti­teľ­né člo­ve­kom ani bež­ný­mi vý­poč­to­vý­mi pros­tried­ka­mi, resp. len v ob­me­dze­nej mie­re. Do­kon­ca aj ich dl­ho­do­bé ucho­vá­va­nie v pô­vod­nej kva­li­te pred­sta­vu­je vý­zvu. Pre tie­to dá­ta sa vži­lo ozna­če­nie big da­ta. Na­priek rôz­nym pre­káž­kam pred­sta­vu­jú veľ­koob­je­mo­vé dá­ta za­ují­ma­vý po­ten­ciál na zís­ka­va­nie in­for­má­cií a náh­ľa­dov do prob­le­ma­tík, kto­ré sa moh­li v mi­nu­los­ti skú­mať len s ove­ľa men­šou mie­rou spo­ľah­li­vos­ti, napr. na zá­kla­de šta­tis­tic­kých pries­ku­mov ale­bo po­mo­cou in­tuície vy­chá­dza­jú­cej z pria­mej skú­se­nos­ti.

Kon­ku­renč­ný vý­znam tých­to in­for­má­cií ve­die mno­hé or­ga­ni­zá­cie k hľa­da­niu vhod­ných pros­tried­kov na ana­ly­tic­ké spra­co­va­nie veľ­kých ob­je­mov dát. Jed­na z per­spek­tív­nych mož­nos­tí je Ha­doop, open sour­ce pro­jekt ria­de­ný ne­zis­ko­vou or­ga­ni­zá­ciou Apa­che Software Foun­da­tion. Vý­sled­kom toh­to pro­jek­tu sú vy­so­kok­va­lit­né sof­tvé­ro­vé kniž­ni­ce vy­tvá­ra­jú­ce spo­ľah­li­vé, šká­lo­va­teľ­né a dis­tri­buo­va­né vý­poč­to­vé pros­tre­die, za­lo­že­né na dis­tri­buo­va­nom sú­bo­ro­vom sys­té­me HDFS. Na­priek nes­por­né­mu prí­no­su pro­jek­tu Ha­doop do prob­le­ma­ti­ky spra­co­va­nia veľ­koob­je­mo­vých dát pri­ná­ša je­ho na­sa­de­nie vo fi­rem­nom pros­tre­dí aj ur­či­té vý­zvy. Ide naj­mä o ná­ro­ky na per­so­nál, kto­rý má na sta­ros­ti in­šta­lá­ciu a la­de­nie open sour­ce sof­tvé­ru a je­ho udr­žia­va­nie na zá­kla­de pos­tup­ne uvoľ­ňo­va­ných ak­tua­li­zá­cií. Návrh har­dvé­ro­vej ar­chi­tek­tú­ry si vy­ža­du­je množ­stvo skú­se­nos­tí a tes­to­va­nia, aby sa do­siah­la po­ža­do­va­ná fun­kčnosť a vý­kon rie­še­nia. Ok­rem to­ho Ha­doop vy­ža­du­je na svo­je fun­go­va­nie tro­ji­tú kó­piu už bez­tak ob­rov­ské­ho ob­je­mu spra­cú­va­ných dát, čo vy­tvá­ra enor­mné ná­ro­ky na dis­ko­vé po­lia.

Z hľa­dis­ka fi­riem je pre­to za­ují­ma­vá dos­tup­nosť uce­le­né­ho rie­še­nia, kto­ré je vop­red od­la­de­né a prip­ra­ve­né na bez­prob­lé­mo­vé na­sa­de­nie plat­for­my Ha­doop s ga­ran­ciou vý­sled­né­ho vý­ko­nu. Fir­my Ne­tAppCis­co koo­pe­ra­tív­ne vy­vi­nu­li kon­ver­go­va­nú, flexibil­nú a šká­lo­va­teľ­nú har­dvé­ro­vú plat­for­mu pod náz­vom FlexPod®, kto­rá je na ten­to účel nie­len vhod­ná, ale za­hŕňa aj kon­krét­ne kon­fi­gu­rá­cie navr­ho­va­né a tes­to­va­né špe­ci­fic­ky na na­sa­de­nie plat­for­my Ha­doop. FlexPod Se­lect pre Ha­doop je pos­ta­ve­ný na server­och Cis­co UCS® C-Se­ries a dis­ko­vých po­liach Ne­tApp® E-Se­ries. Po­mo­cou ne­ho sa mô­žu fir­my jed­no­du­cho vy­hnúť prob­lé­mom spo­je­ným s návr­hom vhod­nej fy­zic­kej infra­štruk­tú­ry a ok­rem fi­nan­čných ús­por tým aj vý­znam­ne skrá­tiť čas pot­reb­ný na zís­ka­nie kľú­čo­vých in­for­má­cií zo svo­jich dát. Spo­lup­rá­ca vý­rob­cov har­dvé­ru s dvo­ma al­ter­na­tív­ny­mi in­teg­rá­tor­mi rie­še­ní na ana­ly­tic­ké spra­co­va­nie veľ­koob­je­mo­vých dát – Clou­de­raHor­tonworks – na­vy­še za­ru­ču­je hlad­ký pre­chod od špe­ci­fi­ká­cie po­žia­da­viek až ku ko­neč­né­mu fun­kčné­mu rie­še­niu pro­fe­sio­nál­nej kva­li­ty.

Ko­merč­ný prí­nos FlexPod Se­lect ako plat­for­my pre Ha­doop

Va­li­do­va­ná ar­chi­tek­tú­ra FlexPod Se­lect s pod­rob­ný­mi špe­ci­fi­ká­cia­mi pot­reb­né­ho har­dvé­ru, pre­po­je­ní, ná­ro­kov na elek­tric­kú ener­giu a chla­de­nie pred­sta­vu­je naj­jed­no­duch­šiu a zá­ro­veň bez­peč­nú a rých­lu ces­tu k vy­bu­do­va­niu infra­štruk­tú­ry vhod­nej na na­sa­de­nie plat­for­my Ha­doop. Mo­du­lár­ny cha­rak­ter zos­ta­vy FlexPod umož­ňu­je jed­no­du­ché šká­lo­va­nie vý­ko­no­vých a ka­pa­cit­ných pa­ra­met­rov (až do 10 server­ov­ých rac­kov v jed­nej do­mé­ne UCS), a te­da aj bez­bo­lest­ný ma­naž­ment zmien v exis­tu­jú­cej infra­štruk­tú­re. Di­zajn FlexPod zá­ro­veň nek­la­die ob­me­dzenia na mož­nos­ti zdie­ľa­nia vý­poč­to­vých pros­tried­kov s iný­mi ap­li­ká­cia­mi v da­nom pros­tre­dí. Všet­ky tie­to at­ri­bú­ty plat­for­my FlexPod Se­lect pris­pie­va­jú k vý­znam­ným ús­po­rám pros­tried­kov a ča­su pri bu­do­va­ní rie­še­nia na spra­co­va­nie veľ­koob­je­mo­vých dát.

Server­y Cis­co UCS a dis­ko­vé po­lia Ne­tApp, ako zá­klad­né sta­veb­né pr­vky ar­chi­tek­tú­ry FlexPod, pri­ná­ša­jú vý­znam­né vý­ho­dy aj z poh­ľa­du pre­vádz­ky klas­tra Ha­doop. Ide naj­mä o vy­so­kú hus­to­tu vý­poč­to­vých a dis­ko­vých ka­pa­cít, spo­je­nú s pok­ro­či­lý­mi tech­no­ló­gia­mi ochra­ny dát, čo ve­die k ús­por­nos­ti ce­lé­ho rie­še­nia a zní­že­ným ná­ro­kom na sie­ťo­vú infra­štruk­tú­ru v dôs­led­ku men­šie­ho ob­je­mu pre­ná­ša­ných dát. Vy­so­ká dos­tup­nosť cen­tra­li­zo­va­né­ho dá­to­vé­ho úlo­žis­ka zvy­šu­je dos­tup­nosť dá­to­vých vý­poč­to­vých uz­lov (Da­ta­No­des), ako aj ro­bus­tnosť dis­tri­buo­va­né­ho sú­bo­ro­vé­ho sys­té­mu HDFS, zá­vis­lé­ho od cen­trál­ne­ho server­a (Na­me­No­de). V ne­pos­led­nom ra­de sprá­vu klas­tra Ha­doop zjed­no­du­šu­jú aj so­fis­ti­ko­va­né nás­tro­je na sprá­vu, ako Ne­tApp SAN­tri­ci­ty a Cis­co UCS Ma­na­ger, a koo­pe­ra­tív­na pod­po­ra vý­rob­cov Ne­tApp, Cis­co s do­dá­va­teľ­mi uce­le­ných sof­tvé­ro­vých rie­še­ní na ana­lý­zu veľ­koob­je­mo­vých dát Clou­de­ra a Hor­tonworks.

Alef tab.jpg

 Sof­tvé­ro­vé rie­še­nie prip­ra­ve­né spl­niť ná­roč­né ko­mer­čné SLAs

Ha­doop, ako rám­co­vá plat­for­ma na spra­co­va­nie veľ­koob­je­mo­vých dát, je pro­duk­tom vý­vo­jo­vé­ho mo­de­lu open sour­ce. Ten­to prís­tup fir­my nie­ke­dy vní­ma­jú ako me­nej efek­tív­ny z hľa­dis­ka do­siah­nu­tia kon­zis­ten­tné­ho, dob­re otes­to­va­né­ho kó­du. Fir­my pos­ky­tu­jú­ce služ­by sú oby­čaj­ne via­za­né tvr­dý­mi zmlu­va­mi de­fi­nu­jú­ci­mi pa­ra­met­re pl­ne­nia, kto­ré ne­dá­va­jú veľ­ký pries­tor na prob­lé­my s pou­ží­va­ný­mi nás­troj­mi a ich údr­žbou.

Na dru­hej stra­ne však ten­to mo­del pri­ná­ša vý­raz­nú ino­va­tív­nosť vďa­ka ot­vo­re­nej mož­nos­ti pris­pie­vať my­šlien­ka­mi i kó­dom pre ce­los­ve­to­vú ko­mu­ni­tu zá­ujem­cov. O je­ho ži­vo­tas­chop­nos­ti sved­čí ok­rem vy­še 15 ro­kov skú­se­nos­tí s ria­de­ním vý­vo­ja open sour­ce sof­tvé­ru aj množ­stvo fi­riem, kto­ré za­lo­ži­li svo­je pod­ni­ka­nie prá­ve na pos­ky­to­va­ní pro­fe­sio­nál­nej nad­stav­by nad ko­mu­nit­né pro­jek­ty.

V prí­pa­de plat­for­my Ha­doop je ria­de­nie vý­vo­ja za­stre­še­né or­ga­ni­zá­ciou Apa­che Software Foun­da­tion. Pos­ky­to­va­ním pro­fe­sio­nál­nych slu­žieb a dopl­ňu­jú­cich sof­tvé­ro­vých pro­duk­tov na ana­ly­tic­ké spra­co­va­nie veľ­koob­je­mo­vých dát pos­ta­ve­ných na rám­co­vej plat­for­me Ha­doop sa za­obe­rá via­ce­ro fi­riem, z kto­rých Clou­de­ra a Hor­tonworks spo­lup­ra­co­va­li aj s vý­rob­ca­mi har­dvé­ru, fir­ma­mi Cis­co a Ne­tApp, na de­fi­no­va­ní spo­ľah­li­vej a vý­ko­no­vo adek­vát­nej ar­chi­tek­tú­ry. Tie­to fir­my sú ga­ran­tmi rie­še­nia prip­ra­ve­né­ho na na­sa­de­nie vo veľ­kých fi­rem­ných pros­tre­diach bez obáv o ro­bus­tnosť a spo­ľah­li­vosť.

Koo­pe­ra­tív­ny mo­del pod­po­ry, do kto­ré­ho Cis­co a Ne­tapp za­hr­nu­li aj Clou­de­ru a Hor­tonworks, pred­sta­vu­je po­hodl­né a bez­bo­les­tné rie­še­nie pre zá­kaz­ní­kov, kto­rých infra­štruk­tú­ra je ne­vyh­nut­ne zlo­že­ná z pro­duk­tov rôz­nych vý­rob­cov, čo oby­čaj­ne zna­me­ná kon­tak­to­va­nie via­ce­rých cen­tier pod­po­ry a nie­ke­dy aj zdĺha­vú a nee­fek­tív­nu ces­tu k iden­ti­fi­ká­cii prob­lé­mo­vé­ho člán­ku re­ťaz­ca a je­ho op­ra­ve.

Re­fe­ren­čné ar­chi­tek­tú­ry FlexPod Se­lect pre Ha­doop

Keď­že Ha­doop pred­sta­vu­je len rám­co­vú plat­for­mu na ana­ly­tic­ké spra­co­va­nie veľ­koob­je­mo­vých dát, z poh­ľa­du fi­rem­ných zá­kaz­ní­kov vzni­ká otáz­ka pre­cho­du od sta­veb­ných pr­vkov sys­té­mu k vý­sled­né­mu fun­kčné­mu rie­še­niu. Od­po­veď na tú­to vý­zvu dá­va­jú prá­ve in­teg­rá­to­ri sof­tvé­ro­vých kom­po­nen­tov ako Clou­de­ra a Hor­tonworks v spo­lup­rá­ci s vý­rob­ca­mi har­dvé­ru, v tom­to prí­pa­de fir­ma­mi Cis­co a Ne­tApp. Vý­sled­kom tej­to spo­lup­rá­ce sú kom­plexné re­fe­ren­čné ar­chi­tek­tú­ry opi­su­jú­ce všet­ky de­tai­ly od jed­not­li­vých har­dvé­ro­vých sú­čas­tí pot­reb­ných na ka­pa­cit­né a vý­ko­no­vé šká­lo­va­nie cez de­tai­ly in­šta­lá­cie a kon­fi­gurá­cie všet­kých sof­tvé­ro­vých kom­po­nen­tov až po vý­sled­né spre­vádz­ko­va­nie ho­to­vé­ho pros­tre­dia prip­ra­ve­né­ho ana­ly­zo­vať dá­ta.

• FlexPod Se­lect s dis­tri­bú­ciou Clou­de­ra En­terpri­se

Dis­tri­bú­cia Clou­de­ra En­terpri­se je naj­kom­plexnej­šie rie­še­nie po­nú­ka­né fir­mou Clou­de­ra, kto­ré za­hŕňa dis­tri­bú­ciu Clou­de­ra 100% open sour­ce sof­tvé­ru (CDH), Clou­de­ra Ma­na­ger a Clou­de­ra Na­vi­ga­tor. CDH in­teg­ru­je zá­klad­né kniž­ni­ce Apa­che Ha­doop s ďal­ším sof­tvé­rom umož­ňu­jú­cim dáv­ko­vé spra­cú­va­nie dát, inter­ak­tív­ne SQL a inter­ak­tív­ne preh­ľa­dá­va­nie dát, za­lo­že­né na dis­tri­buo­va­nom vý­poč­to­vom mo­de­li s vy­so­kou mie­rou spo­ľah­li­vos­ti, im­ple­men­to­va­nou na sof­tvé­ro­vej úrov­ni. Sú­čas­ťou CDH je kom­plexné roz­hra­nie na auto­ma­ti­zá­ciu sprá­vy a na­sa­dzo­va­nia toh­to sof­tvé­ru, kto­ré vý­raz­ne zjed­no­du­šu­je a urý­chľu­je kro­ky pot­reb­né na na­sa­de­nie rie­še­nia. Clou­de­ra Ma­na­ger roz­ši­ru­je pa­le­tu nás­tro­jov na ad­mi­nis­trá­ciu vý­poč­to­vé­ho klas­tra, kým Clou­de­ra Na­vi­ga­tor pri­dá­va ďal­šie nás­tro­je na sprá­vu dát, audit, tech­nic­kú pod­po­ru sys­té­mu a pod. Clou­de­ra En­terpri­se pred­sta­vu­je pla­te­nú nad­stav­bu nad voľ­ne dos­tup­nou dis­tri­bú­ciou Clou­de­ra Stan­dard, kto­rej fun­kcie sú sprís­tup­ňo­va­né do­kú­pe­ním sé­rie li­cen­cií. De­tail­nú re­fe­ren­čnú ar­chi­tek­tú­ru pre FlexPod Se­lect s dis­tri­bú­ciou Clou­de­ra En­terpri­se náj­de­te na tej­to ad­re­se:

 http://www.cis­co.com/en/US/docs/uni­fied_com­pu­ting/ucs/UCS_CVDs/flexpod_ha­doop_clou­de­ra.html

http://www.clou­de­ra.com/con­tent/clou­de­ra/en/ho­me.html

• FlexPod Se­lect s Hor­tonworks Da­ta Plat­form

Hor­tonworks Da­ta Plat­form (HDP) je 100 % open sour­ce dis­tri­bú­cia plat­for­my Apa­che Ha­doop, kto­rá in­teg­ru­je ten­to pro­jekt s ďal­ší­mi dô­le­ži­tý­mi kom­po­nen­tmi, čím vy­tvá­ra uce­le­né rie­še­nie na ana­ly­tic­ké spra­co­va­nie veľ­koob­je­mo­vých dát. Ten­to pro­dukt je za­me­ra­ný na fir­my a or­ga­ni­zá­cie, kto­ré pot­re­bu­jú ce­no­vo dos­tup­ný sof­tvér, kom­bi­no­va­ný s pro­fe­sio­nál­nou pod­po­rou umož­ňu­jú­cou na­sa­de­nie v reál­nej pre­vádz­ke.

 http://www.cis­co.com/en/US/docs/uni­fied_com­pu­ting/ucs/UCS_CVDs/flexpod_ha­doop_hor­tonworks.html

http://hor­tonworks.com/

Kde za­čať?

Na zís­ka­nie bliž­ších in­for­má­cií a po­mo­ci s návr­hom ar­chi­tek­tú­ry orien­to­va­nej na va­še kon­krét­ne po­žia­dav­ky oh­ľa­dom spra­co­va­nia veľ­koob­je­mo­vých dát nav­štív­te prís­luš­né strán­ky vý­rob­cov har­dvé­ru Cis­co a Ne­tApp ale­bo kon­tak­tuj­te svoj­ho lo­kál­ne­ho dis­tri­bú­to­ra, kto­rým je v prí­pa­de Slo­ven­ska fir­ma Alef Dis­tri­bu­tion, s. r. o.

http://www.cis­co.com/en/US/net­sol/ns1137/in­dex.html#se­lect

http://www.ne­tapp.com/us/so­lu­tions/flexpod/se­lect.aspx

http://www.alef.com/

sstrasik.jpg


Sta­nis­lav Stra­šík
,
Sys­tem En­gi­neer fir­my ALEF Dis­tri­bu­tion

ALEF _logo.jpg

ALEF Dis­tri­bu­tion SK, s. r. o.
Gal­va­ni­ho 17/C
821 04 Bra­tis­la­va 2
Pho­ne: +421 2 4920 3823

Zdroj: IW 1-2/2014



Ohodnoťte článok:
   
 

24 hodín

týždeň

mesiac

Najnovšie články

Ako ušet­riť IT nák­la­dy po­mo­cou tech­no­ló­gie big da­ta
V dnešnej informačnej dobe nás dáta sprevádzajú na každom kroku a stávame sa svedkami obrovskej dátovej explózie. čítať »
 
FlexPod Se­lect har­dvé­ro­vá plat­for­ma pre Ha­doop
S príchodom nových technologických možností, ako sú sociálne siete, mobilné zariadenia, kamery a rôzne senzory pripojiteľné k dátovej sieti, sa mnohé firmy a inštitúcie stali schopnými generovať obrovské objemy dát, ktoré potenciálne obsahujú zaujímavú informáciu, ale nie sú priamo vyhodnotiteľné človekom ani bežnými výpočtovými prostriedkami, resp. len v obmedzenej miere. čítať »
 
Ino­vo­va­né šab­ló­ny pre ap­li­ká­cie Win­dows 8.1
Okrem základnej šablóny „prázdnej“ aplikácie majú vývojári a dizajnéri k dispozícii tri sofistikované šablóny Grid App, Split App a Hub App. Sú koncipované tak, aby čo najviac pokryli typické scenáre aplikácií Windows 8.1 s používateľským rozhraním Modern UI. Samozrejmá je optimalizácia aplikácií vytvorených podľa týchto šablón na dotykové ovládanie. čítať »
 
Prog­ra­mu­je­me pre An­droid / Úvod
Pri sledovaní našich seriálov o Linuxe a OpenGL ste si určite všimli, že nami zadané úlohy sme riešili v rámci OS Linux. No a práve linuxové jadro (kernel) je základom OS Android. čítať »
 
DNS – kon­tro­la syn­tak­tic­kých zá­pi­sov a spus­te­nie sys­té­mu
V predošlej časti sme rozdelili našu sieť na vonkajšiu a vnútornú, vytvorili podľa toho dva pohľady (views) a nakoniec upravili konfiguračný súbor named.conf . Tým sme v podstate ukončili konfiguráciu DNS a dnes pristúpime k odladeniu a spusteniu nášho systému. čítať »
 
Le­no­vo Yoga Tab­let 10
Tento tablet rieši dva zásadné problémy, s ktorými sa stretávajú používatelia: ako s tabletom pohodlne pracovať bez dodatočného držiaka a ako s ním na batériu pracovať naozaj dlho. Používateľ s tabletom Yoga môže pracovať v troch režimoch - Hold, Tilt alebo Stand. čítať »
 
Koe­fi­cient kva­li­ty – účin­ný nás­troj na zvý­še­nie efek­ti­vi­ty
U nás vo firme sme čelili viacerým problémom, týkajúcim sa výkonu, kvality a vedenia vývojového oddelenia. Firma vnímala vývojársky tím ako jedno zo slabších oddelení a panoval všeobecný názor, že „devel" produkuje obrovské množstvo chýb a nestíha veci načas. čítať »
 
Kon­zul­tač­né služ­by v IT
Vo väčšine firiem nemožno zvládnuť rozvoj IT infraštruktúry na požadovanom stupni komplexnosti silami interných zamestnancov. Manažment si uvedomuje výhody investovania do externého poradenstva. čítať »
 
 
 
  Zdieľaj cez Facebook Zdieľaj cez Google+ Zdieľaj cez Twitter Zdieľaj cez LinkedIn Správy z RSS Správy na smartfóne Správy cez newsletter