Презентация на тему Пример использования Hadoop

Содержание

Необходимые компоненты Ubuntu 11.10 Hadoop 1.0.1 Java 1.7

Слайды и текст этой презентации

Слайд 1Пример использования Hadoop










Ошнуров Н.А.
ВМИ-115

Пример использования Hadoop

Слайд 2Необходимые компоненты
Ubuntu 11.10
Hadoop 1.0.1
Java 1.7

Необходимые компоненты Ubuntu 11.10 Hadoop 1.0.1 Java 1.7

Слайд 3Этап 1. Подготовка
Установка JDK
Создание пользователя
Отключение IPv6

Этап 1. Подготовка Установка JDK Создание пользователя Отключение IPv6

Слайд 4Этап 2. Установка
Загрузка Hadoop
Распаковка архива
Установка переменной окружения $HADOOP_HOME

Этап 2. Установка Загрузка Hadoop Распаковка архива Установка переменной окружения $HADOOP_HOME

Слайд 5Этап 3. Настройка HDFS
Создание папки в файловой системе
Редактирование конфигурационных файлов:
-

conf/core-site.xml
- conf/mapred-site.xml
- conf/hdfs-site.xml
Форматирование HDFS
Этап 3. Настройка HDFS Создание папки в файловой системе Редактирование конфигурационных файлов:

Слайд 6Примеры конфигурационных файлов
conf/core-site.xml


hadoop.tmp.dir
/app/hadoop/tmp
Some description.


fs.default.name

hdfs://localhost:54310
Some description

Примеры конфигурационных файлов conf/core-site.xml    hadoop.tmp.dir  /app/hadoop/tmp  Some

Слайд 7Примеры конфигурационных файлов
conf/mapred-site.xml


mapred.job.tracker
localhost:54311
Some description

Примеры конфигурационных файлов conf/mapred-site.xml    mapred.job.tracker  localhost:54311  Some description

Слайд 8Примеры конфигурационных файлов
conf/hdfs-site.xml


dfs.replication
1
Some description


Примеры конфигурационных файлов conf/hdfs-site.xml    dfs.replication  1  Some

Слайд 9Форматирование HDFS
Выполняется с помощью команды namenode
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format

Форматирование HDFS Выполняется с помощью команды namenode hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format

Слайд 10Запуск и остановка Hadoop
Запуск
- start-all.sh
Остановка
- stop-all.sh

Запуск и остановка Hadoop Запуск  - start-all.sh Остановка  - stop-all.sh

Слайд 11Работа с HDFS
Копирование данных на HDFS
- bin/hadoop dfs -copyFromLocal /tmp/fanatic

/user/hduser/fanatic
Вывод списка файлов
- bin/hadoop dfs -ls /user/hduser
Получение данных с HDFS
- bin/hadoop dfs -getmerge /user/hduser/fan-output /tmp/out
Работа с HDFS Копирование данных на HDFS  - bin/hadoop dfs -copyFromLocal

Слайд 12Запуск Java-задания
Команда запуска задания
- hadoop jar your-job-file-goes-here.jar

Запуск Java-задания Команда запуска задания  - hadoop jar your-job-file-goes-here.jar

Слайд 13Структура задания
Ядро задания
- реализация интерфейсов Mapper и Reducer
Mapper
- формирует

пары ключ/значение
Reducer
- уменьшает набор пар, которые имеют один и тот же ключ в меньший набор значений
Структура задания Ядро задания  - реализация интерфейсов Mapper и Reducer Mapper

Слайд 14Демонстрация

Демонстрация

Слайд 15Веб интфейсы Hadoop
http://localhost:50030/ - UI для MapReduce заданий
http://localhost:50060/ - UI для

заданий
http://localhost:50070/ - UI для просмотра статистики HDFS
Веб интфейсы Hadoop http://localhost:50030/ - UI для MapReduce заданий http://localhost:50060/ - UI

Слайд 16Ссылки
http://hadoop.apache.org
http://hadoop.apache.org/common/releases.html#Download
http://fclose.com/b/cloud-computing
http://www.michael-noll.com

Ссылки http://hadoop.apache.org http://hadoop.apache.org/common/releases.html#Download http://fclose.com/b/cloud-computing http://www.michael-noll.com

Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.


Для правообладателей

Яндекс.Метрика