Презентация на тему Пример использования Hadoop

Презентация на тему Пример использования Hadoop, предмет презентации: Разное. Этот материал содержит 16 слайдов. Красочные слайды и илюстрации помогут Вам заинтересовать свою аудиторию. Для просмотра воспользуйтесь проигрывателем, если материал оказался полезным для Вас - поделитесь им с друзьями с помощью социальных кнопок и добавьте наш сайт презентаций ThePresentation.ru в закладки!

Слайды и текст этой презентации

Слайд 1
Текст слайда:

Пример использования Hadoop











Ошнуров Н.А.
ВМИ-115


Слайд 2
Текст слайда:

Необходимые компоненты

Ubuntu 11.10
Hadoop 1.0.1
Java 1.7


Слайд 3
Текст слайда:

Этап 1. Подготовка

Установка JDK
Создание пользователя
Отключение IPv6


Слайд 4
Текст слайда:

Этап 2. Установка

Загрузка Hadoop
Распаковка архива
Установка переменной окружения $HADOOP_HOME


Слайд 5
Текст слайда:

Этап 3. Настройка HDFS

Создание папки в файловой системе
Редактирование конфигурационных файлов:
- conf/core-site.xml
- conf/mapred-site.xml
- conf/hdfs-site.xml
Форматирование HDFS


Слайд 6
Текст слайда:

Примеры конфигурационных файлов

conf/core-site.xml


hadoop.tmp.dir
/app/hadoop/tmp
Some description.


fs.default.name
hdfs://localhost:54310
Some description


Слайд 7
Текст слайда:

Примеры конфигурационных файлов

conf/mapred-site.xml


mapred.job.tracker
localhost:54311
Some description


Слайд 8
Текст слайда:

Примеры конфигурационных файлов

conf/hdfs-site.xml


dfs.replication
1
Some description



Слайд 9
Текст слайда:

Форматирование HDFS

Выполняется с помощью команды namenode
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format


Слайд 10
Текст слайда:

Запуск и остановка Hadoop

Запуск
- start-all.sh
Остановка
- stop-all.sh


Слайд 11
Текст слайда:

Работа с HDFS

Копирование данных на HDFS
- bin/hadoop dfs -copyFromLocal /tmp/fanatic /user/hduser/fanatic
Вывод списка файлов
- bin/hadoop dfs -ls /user/hduser
Получение данных с HDFS
- bin/hadoop dfs -getmerge /user/hduser/fan-output /tmp/out


Слайд 12
Текст слайда:

Запуск Java-задания

Команда запуска задания
- hadoop jar your-job-file-goes-here.jar


Слайд 13
Текст слайда:

Структура задания

Ядро задания
- реализация интерфейсов Mapper и Reducer
Mapper
- формирует пары ключ/значение
Reducer
- уменьшает набор пар, которые имеют один и тот же ключ в меньший набор значений


Слайд 14
Текст слайда:

Демонстрация



Слайд 15
Текст слайда:

Веб интфейсы Hadoop

http://localhost:50030/ - UI для MapReduce заданий
http://localhost:50060/ - UI для заданий
http://localhost:50070/ - UI для просмотра статистики HDFS


Слайд 16
Текст слайда:

Ссылки

http://hadoop.apache.org
http://hadoop.apache.org/common/releases.html#Download
http://fclose.com/b/cloud-computing
http://www.michael-noll.com


Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.


Для правообладателей

Яндекс.Метрика