- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Пример использования Hadoop презентация
Содержание
- 1. Пример использования Hadoop
- 2. Необходимые компоненты Ubuntu 11.10 Hadoop 1.0.1 Java 1.7
- 3. Этап 1. Подготовка Установка JDK Создание пользователя Отключение IPv6
- 4. Этап 2. Установка Загрузка Hadoop Распаковка архива Установка переменной окружения $HADOOP_HOME
- 5. Этап 3. Настройка HDFS Создание папки в
- 6. Примеры конфигурационных файлов conf/core-site.xml
- 7. Примеры конфигурационных файлов conf/mapred-site.xml mapred.job.tracker localhost:54311 Some description
- 8. Примеры конфигурационных файлов conf/hdfs-site.xml
- 9. Форматирование HDFS Выполняется с помощью команды namenode hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format
- 10. Запуск и остановка Hadoop Запуск - start-all.sh Остановка - stop-all.sh
- 11. Работа с HDFS Копирование данных на HDFS
- 12. Запуск Java-задания Команда запуска задания - hadoop jar your-job-file-goes-here.jar
- 13. Структура задания Ядро задания - реализация
- 14. Демонстрация
- 15. Веб интфейсы Hadoop http://localhost:50030/ - UI для
- 16. Ссылки http://hadoop.apache.org http://hadoop.apache.org/common/releases.html#Download http://fclose.com/b/cloud-computing http://www.michael-noll.com
Необходимые компоненты Ubuntu 11.10 Hadoop 1.0.1 Java 1.7
Слайд 5Этап 3. Настройка HDFS
Создание папки в файловой системе
Редактирование конфигурационных файлов:
-
conf/core-site.xml
- conf/mapred-site.xml
- conf/hdfs-site.xml
Форматирование HDFS
- conf/mapred-site.xml
- conf/hdfs-site.xml
Форматирование HDFS
Слайд 6Примеры конфигурационных файлов
conf/core-site.xml
hadoop.tmp.dir
/app/hadoop/tmp
Some description.
fs.default.name
Слайд 7Примеры конфигурационных файлов
conf/mapred-site.xml
mapred.job.tracker
localhost:54311
Some description
Слайд 9Форматирование HDFS
Выполняется с помощью команды namenode
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format
Слайд 11Работа с HDFS
Копирование данных на HDFS
- bin/hadoop dfs -copyFromLocal /tmp/fanatic
/user/hduser/fanatic
Вывод списка файлов
- bin/hadoop dfs -ls /user/hduser
Получение данных с HDFS
- bin/hadoop dfs -getmerge /user/hduser/fan-output /tmp/out
Вывод списка файлов
- bin/hadoop dfs -ls /user/hduser
Получение данных с HDFS
- bin/hadoop dfs -getmerge /user/hduser/fan-output /tmp/out
Слайд 13Структура задания
Ядро задания
- реализация интерфейсов Mapper и Reducer
Mapper
- формирует
пары ключ/значение
Reducer
- уменьшает набор пар, которые имеют один и тот же ключ в меньший набор значений
Reducer
- уменьшает набор пар, которые имеют один и тот же ключ в меньший набор значений
Слайд 15Веб интфейсы Hadoop
http://localhost:50030/ - UI для MapReduce заданий
http://localhost:50060/ - UI для
заданий
http://localhost:50070/ - UI для просмотра статистики HDFS
http://localhost:50070/ - UI для просмотра статистики HDFS
Слайд 16Ссылки
http://hadoop.apache.org
http://hadoop.apache.org/common/releases.html#Download
http://fclose.com/b/cloud-computing
http://www.michael-noll.com
