Еволуција великих података

Почетком 2000-их било је јасно да постоји велика потреба за иновацијама у погледу података. Ограничења о томе шта компаније могу да ураде са својим подацима фрустрирају руководиоце и изузетно смањују ефикасност. Многе компаније су складиштиле огромне количине информација, али једноставно нису биле у могућности да управљају њима, анализирају или манипулишу њима у своју корист. Управо овај растући притисак уступио је границу великим подацима.

Године 2003, Гоогле је креирао МапРедуце, ​​апликацију за податке која је омогућила компанији да у кратком времену обрађује и анализира информације о својим претрагама на хиљадама сервера. Како скалабилан, тако и прилагодљив, програм је Гооглеу омогућио да изврши хиљаде податковних задатака у само неколико минута, што је побољшало продуктивност и редефинисало уочене границе о томе шта се може учинити са подацима. Скоро 10 година касније, велики подаци постали су средиште информационе технологије. Његов далекосежни опсег и способност су у основи променили управљање подацима на радном месту. Али шта је подстакло ову еволуцију и колико ће тачно велики подаци утицати на будућност? Мислили смо да никад нећете питати. (Да бисте прочитали велике податке о позадини, погледајте крупне податке: како су ухваћени, обрушени и како се користе за доношење пословних одлука.)

Тражење одговора на велика дата питања

Лепота МапРедуце-а је била начин на који је поједноставио веома сложене задатке. Комуникацијом се може управљати преко машина, могуће је отклонити кварове на систему, а улазни подаци могу се организовати аутоматски, процес који могу надгледати особе које више не требају високо техничке вештине. Чинећи обраду података не само могућом већ и приступачном, Гоогле је инспирисао културни помак у управљању подацима. Недуго затим хиљаде главних фирми су користиле МапРедуце за своје податке.

Али постојао је један проблем: МапРедуце је био једноставно програмски модел. Иако је олакшао основе обраде података, он сам није био одговор на постојеће недостатке података; био је то само пријеко потребан корак у правом смјеру. Корпорацијама је и даље потребан систем који би могао да реши њихове јединствене потребе за подацима и надиђе голе основе управљања подацима. Укратко, технологија је потребна да се развија.

Уђите у Хадооп

Уђите у Хадооп, опен-соурце оквирни софтвер креиран од стране неколико програмера, укључујући Доуг Цуттинга. Тамо где је МапРедуце био базичан и широк, Хадооп је пружио освежавајућу специфичност. Компаније би могле да дизајнирају сопствене апликације прилагођене потребама које одговарају потребама података на начин на који ниједан други софтвер не би могао, а он је генерално компатибилан са другим системима датотека. Фирма са талентованим програмерима могла би да дизајнира датотечни систем који би постигао јединствене задатке са подацима који су се раније чинили недоступнима. Можда је најбољи део тога што су програмери делили апликације и програме међу собом који би се могли објаснити и усавршити.

Демократизацијом тако важног ресурса, Хадооп је постао тренд. Уосталом, многе велике корпорације, посебно фирме за претраживачке машине, осећале су да им требају деценијама! Недуго затим су дивови претраживача попут Иахоо-а најавили имплементацију великих Хадооп апликација које генеришу податке који се користе у упитима веб претраживања. У облику вала, неколико угледних компанија најавило је усвајање ове технологије за своје огромне базе података, укључујући Фацебоок, Амазон, Фок, Аппле, еБаи и ФоурСкуаре. Хадооп је поставио нови стандард за обраду података.

Велики подаци, Велики проблеми

Иако су напредци у технологији података преобликовали начин на који компаније третирају податке, многи руководиоци и даље сматрају да нису опремљени за комплетан спектар потребних задатака. У јулу 2012., Орацле је објавио истраживање са више од 300 руководилаца на нивоу Ц, који су открили да иако се 36 одсто компанија ослања на ИТ за управљање и анализу података, 29 одсто њих сматра да њиховим системима недостаје довољно способности да задовоље своје компаније “ потребама. Вероватно најупечатљивији налаз студије био је да је 93 процената испитаника веровало да њихова фирма губи до 14 процената прихода тако што не може да користи прикупљене податке. То је приход који би се могао потрошити на стварање бољих производа и запошљавање више радника. У времену у којем се компаније боре да остану профитабилне, побољшање података тако да компаније могу постати профитабилније неопходно је. Истраживање показује да упркос онима који верују да је утицај великих података на трговину већ прошао, могућности за раст и напредовање које он има тек треба да буду у потпуности остварене.

Шта будућност доноси великим подацима

Добра вест је да су Хадооп и МапРедуце инспирисали многе друге алате за управљање подацима. Многе нове компаније стварају опсежне платформе података које раде на Хадоопу, али нуде широк спектар аналитичких функција и лакшу интеграцију система. Чини се да су корпорације уложиле много ресурса у решавање проблема података, а финансијски успех предузећа са подацима био је доказ тога. У 2010. години компаније за податке оствариле су око 3, 2 милијарде долара малопродајне продаје. Многи стручњаци проценили су да ће тај број порасти на огромних 17 милијарди долара само у 2015. години. Ово је чињеница која није изгубљена код неких од највећих технолошких компанија. И ИБМ и Орацле потрошили су милијарде у последњих неколико месеци како би набавили компаније са подацима. Многе друге компаније направиће сличне потезе у наредним годинама, јер настављају да се надмећу за конкурентни удео на тржишту.

Граница великих података

Количина прикупљених података и даље расте експоненцијално, што је неке узнемирило, а друге узбудило. Преокрет је у томе што ће људска бића наставити да постају продуктивнија и прилагодљивија док кроз анализу података учимо нове ствари о нашем свету. Лоша страна је што постоји тако велика количина података да се многи плаше да нисмо у стању да их све правилно складиштимо, а још мање да их правилно управљамо тако да могу да га користе сви који су му потребни.

Уз то, напредак у великим подацима може пружити невиђене могућности за решење хитних питања која се тичу података. На пример, стручњаци су сугерисали да ако се велики подаци правилно примене с нагласком на ефикасност и квалитет, то би имало потенцијал да уштеди око 300 милијарди долара годишње само на расходима за здравство; трговци на мало би могли побољшати своје оперативне марже, јавни сектор могао би пружити боље услуге, а велика предузећа уштедјела би милијарде. И тако, чини се да решавање наших података није потребно само у одборима, већ свуда. Што говори о добрим стварима о будућности великих података - а можда и о нашој.