Шаблоны проектирования Hadoop MapReduce презентация

доклада

не обработает все поданные на него данные.
Наличие внутренних состояний внутри mapper создает возможность появления ошибок связанных с порядком выполнения.

Одно из решений 1): делать emit после каждых n обработанных пар <ключ, значение>

не должна от него зависеть.
Reducer должен принимать на вход пары <ключ,значение> того же типа что и пары испускаемые mapper’ом.

.log документов, хранящих данные вида . Нужно посчитать среднее время пребывания на сайте.
Учесть правило:

наоборот. Учебник SICP не покупают вместе с “Мечты роботов” Азимова.
Нужно построить матрицу совместных покупок с помощью паттерна pairs или с помощью паттерна stripes.

“stripes”.
Реализация “stripes” компактна, но сложна.
Реализация “stripes” требует временного хранения данных.
Combiner в “stripes” имеет больше возможностей для выполнения локальной агрегации.

чаще других.
Следовательно абсолютные значения нерепрезентативны, поэтому перейдем к частотам:

попадают пары , поэтому можно вычислять знаменатель на месте.

в сохранении масштабируемости.
Заведем специальные key-value: <(wi,*),1> для подсчета знаменателя.
В reducer введем свой порядок сортировки, чтобы специальные пары суммировались до вычисления частот.
Определим свой partitioner который будет отправлять пары с одинаковым первым словом на один reducer.
Для правильного порядка сортировки(.2) заведем состояния в reducer.

Rx – данные.






Выделим работу одного сенсора с помощью Map:


Т.е. Reducer получит данные с конкретного сенсора, не отсортированные по timestamp’ам.

– потенциальная угроза масштабируемости.

Value-to-key conversion : в паре <ключ, значение> часть значения переносится в ключ, проблемы сортировки возлагаются на MapReduce:


Таким образом на reduce будут попадать отсортированные по обоим параметрам данные:

реляционных баз данных.
Рассмотрим три вида объединения отношений S и T: один к одному, один ко многим, много ко многим.




k – ключ, s – идентификатор кортежа, S и T – остальные атрибуты.

по ключу на map и объединении на Reduce.
В качестве примера рассмотрим объединение один к одному:





В map стадии k используется как временный ключ, остальное содержимое кортежа - как значение.

S k-уникальный ключ, в T – нет.
Простейший выход- хранить оба отношения в памяти, вытаскивать кортеж из S и объединять с каждым кортежем из T - является угрозой масштабируемости.
Здесь понадобится secondary sort и вытекающий из него value-to-key conversion - в mapper создается составной ключ:




Когда бы reducer не получил пару <(k, s), S> гарантируется что ее кортеж S будет сохранен в памяти до появления T кортежа, после чего произойдет объединение.

k не являются уникальными ключами:









Для объединения каждого с каждым также используется Value-to-key conversion.

и отправке на Reduce.
Пример: S и T разделены на 10 файлов(5 для S и 5 для T), в каждом файле кортежи отсортированы по первичному ключу.
Чтобы выполнить объединение, нужно параллельно обработать файлы S1 и T1, S2 и T2 и т.д. на map-стадии.
Map-side join более эффективен чем Reduce-side, т.к. не требуется передача данных по сети на Reduce узлы.
Однако Reduce-side более прост и потому популярен.