Что же происходит на рынке IT-труда в США?

[crypto5]

Заимплементить hadoop file system api это простейший способ заинтегрировать свой велосипед с хадупом и сделать поддержку map reduce, причем любым, что YARN что предшественником.

Какой именно велосипед, и зачем этому велосипеду обязательно своя реализация файловой системы? Я понимаю, заменить отдельные pluggable части хадупа, например часть по работе с авторизацией пользователей/группами, или там кастомную block placement policy написать, .или написать компонентный фреймворк поверх него, hadoop as a service..Но из из всех более-менее популярных проектов, где именно с FS все связано, в голову приходит разве что Giraffa, причем она внезапно, написана одним из разработчиков хадупа из яху

Да любой велосипед, кассандру, монго и т.д. думаешь как с хадупом интегрируют?

А вот это я кстати не знаю..надо посмотреть. HBase, например, свою реалзацию Hadoop FS API по моему не писал, наоборот, оно поверх HDFS идет и в HDFS делали некоторые изменения специально под нее, например добавили более строгий гарантии для block write pipeline, изменения в block senders делали и прочее.

Ну понятно, hbase хранит данные на hdfs, а кассандра, монго и десятки других - нет.