Преглед садржаја:
Дефиниција - Шта значи МапРедуце?
МапРедуце је програмски модел који је увео Гоогле за обраду и генерисање великих скупова података на кластерима рачунара.
Гоогле је прво формулисао оквир у сврху приказивања Гоогле-ове индексирања веб страница, а нови је оквир заменио раније алгоритме индексирања. Почетни програмери сматрају да је оквир МапРедуце користан јер се рутинске библиотеке могу користити за креирање паралелних програма без икаквих брига о комуникацији путем интернетског кластера, надзору задатака или процесима руковања кваровима.
МапРедуце ради на великом скупу робних машина и врло је скалабилан. Има неколико облика имплементације које пружа више програмских језика, као што су Јава, Ц # и Ц ++.
Тецхопедиа објашњава МапРедуце
Оквир МапРедуце има два дела:
- Функција која се зове "Мапа", која омогућава различитим тачкама дистрибуираног кластера да дистрибуирају свој рад
- Функција названа "Смањи", која је замишљена да смањи коначни облик резултата кластера у један излаз
Главна предност оквира МапРедуце је његова толеранција на грешке, где се очекују периодични извештаји из сваког чвора у кластеру када се заврше радови.
Задатак се преноси с једног чвора на други. Ако главни чвор примијети да чвор шути у дужем интервалу од очекиваног, главни чвор проводи поступак преусмјеравања за замрзнути / одгођени задатак.
Оквир МапРедуце инспирисан је функцијама "Мап" и "Редуце" које се користе у функционалном програмирању. Рачунална обрада догађа се на подацима похрањеним у датотечном систему или унутар базе података, који узимају скуп улазних кључа и производе скуп излазних кључних вриједности.
Сваког дана се на Гоогле-овим кластерима извршавају бројни програми МапРедуце и МапРедуце. Програми се аутоматски паралелишу и извршавају на великом скупу робних машина. Рунтиме систем се односи на поделу улазних података, заказивање извршења програма на скупу машина, руковање кваром на машини и управљање потребном интермашинском комуникацијом. Програмери без искуства са паралелним и дистрибуираним системима могу лако да користе ресурсе великог дистрибуираног система.
МапРедуце се користи у дистрибуираној греп, дистрибуираној врсти, преокретању графикона веб веза, статистикама дневника веб приступа, групирању докумената, машинском учењу и статистичком машинском превођењу.
