Шта је $ @! је хадооп?

Сви причају о Хадоопу, новој новој технологији која је високо цењена међу програмерима и која би могла (поново) променити свет. Али шта је, уопште? Да ли је то програмски језик? База података? Систем за обраду? Угодан индијски чај?

Широки одговор: Хадооп је све ово (осим чаја угодно) и још много тога. То је софтверска библиотека која пружа програмски оквир за јефтину, корисну обраду нове модерне вести: великих података.

Одакле Хадооп?

Апацхе Хадооп део је фондационог пројекта Фондације Апацхе Софтваре, непрофитне организације чија је мисија „пружање софтвера за јавно добро“. Као таква, Хадооп библиотека је бесплатан софтвер отвореног кода доступан свим програмерима.

Гоогле је измислио основну технологију која овлашћује Хадооп. У раним данима, не баш џиновском претраживачу потребан је начин да индексира огромне количине података које су прикупљали са Интернета и претворио их у значајне, релевантне резултате за своје кориснике. Будући да на тржишту нема ништа што би могло удовољити њиховим захтевима, Гоогле је изградио сопствену платформу.

Те иновације су објављене у пројекту отвореног кода названом Нутцх, који је Хадооп касније користио као темељ. У основи, Хадооп примењује моћ Гооглеа на велике податке на начин који је доступан за компаније свих величина.

Како ради Хадооп?

Као што је претходно споменуто, Хадооп није једна ствар - то је много ствари. Хадооп-ова софтверска библиотека састоји се од четири примарна дела (модула) и великог броја додатака (попут база података и програмских језика) који побољшавају његову употребу у стварном свету. Четири модула су:

• Хадооп Цоммон: Ово је збирка заједничких услужних програма (заједничка библиотека) која подржава Хадооп модуле.
• Хадооп дистрибуирани датотечни систем (ХДФС): Робустан дистрибуирани систем датотека без ограничења на похрањене податке (што значи да подаци могу бити или структурирани или неструктурирани и без шеме, гдје ће многи ДФС похранити само структуриране податке) који омогућава приступ високој пропусности с редунданцијом ( ХДФС омогућава да се подаци похрањују на више машина - па ако једна машина не успе, одржава се доступност на осталим машинама).
• Хадооп ПРИЈАВА: Овај је оквир одговоран за распоређивање послова и управљање ресурсима кластера; осигурава да су подаци довољно распоређени на више машина да би се одржала сувишност. ИАРН је модул који Хадооп-у чини приступачним и економичним начином за обраду великих података.
• Хадооп МапРедуце: Овај систем заснован на ИАРН-у, изграђен на Гоогле технологији, врши паралелну обраду великих скупова података (структурираних и неструктурираних). МапРедуце се такође може наћи у већини данашњих оквира за обраду података, укључујући МПП и НоСКЛ базе података.

Сви ови модули који раде заједно генеришу дистрибуирану обраду за велике скупове података. Оквир Хадооп користи једноставне моделе програмирања који се реплицирају на кластерима рачунара, што значи да систем може да се повећа са једног сервера на хиљаде машина за већу моћ обраде, уместо да се ослања само на хардвер.

Хардвер који може поднијети количину процесорске снаге која је потребна за рад са великим подацима је скупа, благо речено. Ово је права иновација компаније Хадооп: способност да се разбију огромне количине процесне снаге на више, мањих машина, свака са сопственим локализованим рачунањем и складиштењем, заједно са уграђеном редундантношћу на нивоу апликације да се спрече кварови.

Шта ради Хадооп?

Једноставно речено, Хадооп велике податке чини доступним и употребљивим свима.

Пре Хадоопа, компаније које су користиле велике податке учиниле су то углавном релацијским базама података и складиштима података предузећа (која користе огромне количине скупог хардвера). Иако су ови алати одлични за обраду структурираних података - који су подаци који су већ сортирани и организовани на управљив начин - капацитет за обраду неструктурираних података био је изузетно ограничен, толико да практички не постоји. Да би били употребљиви, подаци су прво морали бити структурирани тако да се уредно уклапају у табеле.

Хадооп оквир мења тај захтев и то чини јефтино. Помоћу Хадоопа огромне количине података од 10 до 100 гигабајта и више, и структуриране и неструктуриране, могу се обрадити помоћу обичних (робних) сервера.

Хадооп доноси потенцијалне велике дата апликације за компаније свих величина, у свакој индустрији. Оквир отвореног кода омогућава финансијским компанијама да направе софистициране моделе за процену портфеља и анализу ризика, или мрежним продавачима да прецизно подешавају своје одговоре на претрагу и усмере купце према производима за које вероватније да купују.

Са Хадооп-ом су могућности заиста неограничене.