Пример использования Hadoop Ошнуров Н.А. ВМИ-115

Необходимые компоненты Ubuntu Hadoop Java 1.7

Этап 1. Подготовка Установка JDK Создание пользователя Отключение IPv6

Этап 2. Установка Загрузка Hadoop Распаковка архива Установка переменной окружения $HADOOP_HOME

Этап 3. Настройка HDFS Создание папки в файловой системе Редактирование конфигурационных файлов: - conf/core-site.xml - conf/mapred-site.xml - conf/hdfs-site.xml Форматирование HDFS

Примеры конфигурационных файлов conf/core-site.xml hadoop.tmp.dir /app/hadoop/tmp Some description. fs.default.name hdfs://localhost:54310 Some description

Примеры конфигурационных файлов conf/mapred-site.xml mapred.job.tracker localhost:54311 Some description

Примеры конфигурационных файлов conf/hdfs-site.xml dfs.replication 1 Some description

Форматирование HDFS Выполняется с помощью команды namenode /usr/local/hadoop/bin/hadoop namenode -format

Запуск и остановка Hadoop Запуск - start-all.sh Остановка - stop-all.sh

Работа с HDFS Копирование данных на HDFS - bin/hadoop dfs -copyFromLocal /tmp/fanatic /user/hduser/fanatic Вывод списка файлов - bin/hadoop dfs -ls /user/hduser Получение данных с HDFS - bin/hadoop dfs -getmerge /user/hduser/fan-output /tmp/out

Запуск Java-задания Команда запуска задания - hadoop jar your-job-file-goes-here.jar

Структура задания Ядро задания - реализация интерфейсов Mapper и Reducer Mapper - формирует пары ключ/значение Reducer - уменьшает набор пар, которые имеют один и тот же ключ в меньший набор значений

Демонстрация

Веб интфейсы Hadoop - UI для MapReduce заданий - UI для заданий - UI для просмотра статистики HDFS

Ссылки