Генерится много данных из разных источников в виде файлов или/и директорий. Все это пока валится в archive. У этих данных есть набор параметров, начиная от общих, к примеру даты, кончая специфическими для каждого типа источник данных. Многое имеет форматы, которые или задокументированы, или есть библиотеки, ну а что-то только ручками.
Если кто-то может поделиться конкретным опытом по Big Data framework - буду признателен. Неплохо указать источник, а еще лучше добавить что нравится, а что не очень.
У нас одни пытаются использовать приручить HUBZero ... уже несколько лет с одним выхлопом угарного газа. Но про сам framework ничего сказать не могу.
Большая просьба!
Если нету опыта или не можете поделиться, то просто не пишите 
Бла-бла-бла в инете хватает. Во вторник послушал одного чайника (бывший руководитель какого-то отдела в Майкрософте, щас в универе что-то делает) - блин, такой отстой
