Уз сву гужву о огромним НСА центрима података који држе газилионе дијелова података о нашим приватним животима, постоји једна ствар о којој се није пуно причало, барем на ЦНН-у. То укључује инжењерски проблем који се појавио заједно са технологијом облака, великим подацима и импресивним физичким центрима за чување података који се данас граде широм света. Па шта је? Па, без обзира ко администрира неки од мамутских ИТ система који управљају овим објектима, постоји потреба за софтверским системима који помажу да сви ти подаци брзо уђу и изађу из цевовода. Та потреба представља једно од најзанимљивијих ИТ питања или загонетки са којима се професионалци данас суочавају.
Као што многи стручњаци истичу, данашња екстремна потражња за обрадом података далеко превазилази традиционалне приступе. Једноставно речено, коришћење једноставних структура базе података и алата као што је СКЛ интерфејс за упите неће пружити довољно процесне снаге или функционалности за сличне власничким системима који су се развили у последњих неколико година. Архиви данашњих великих технолошких компанија требају изузетно скалабилну технологију. Потребни су им алати за обраду података који могу уносити и излазити резултате у много већој количини од оне коју поједини сервер може олакшати. Потребна су им рјешења која се могу брзо повећати за раст, рјешења која укључују сложене нивое вјештачке интелигенције, рјешења која су створена за једноставно управљање од стране ИТ одјела.
Питање је како компаније и владине агенције превладају ограничења традиционалног пута за обраду података? Овдје ћемо погледати једну врло обећавајућу могућност: Софтвер који управља великим подацима и администрацијом вишеструких података центара.
