Hadoop Лекция 4. Разработка и запуск программ в Hadoop. - презентация

1 Hadoop Лекция 4. Разработка и запуск программ в Hadoop

2 План Запуск программ в Hadoop из командной строки Контроль состояния задач и очереди Hadoop Eclipse Plug-in для Hadoop Karmasphere Studio

3 Запуск программ в Hadoop Запуск и управление работой программ в Hadoop выполняется командой: $ bin/hadoop Пример для HDFS: $ bin/hadoop dfs -ls Без параметров выводится подсказка по доступным командам

4 Команды Hadoop Полный список команд в «Hadoop Command Guide» КомандаНазначение dfs (fs) Операции с HDFS jar Запустить программу, упакованную в архив Jar CLASSNAME Запустить класс с указанным именем job Управление задачами Hadoop queue Просмотр очереди задач

5 Пример запуска класса Программа работы с HDFS из лекции 2 Компиляция (нужно установить CLASSPATH): javac HDFSHelloWorld.java Результат: HDFSHelloWorld.class Запуск: $ bin/hadoop HDFSHelloWorld Hello, world!

6 Запуск архива jar Синтаксис: $ bin/hadoop jar jarFile [mainClass] args… Пример : bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+ hadoop-examples-*.jar – Имя архива с примерами из дистрибутива Hadoop grep – Имя класса с примером input – Каталог входных данных output – Каталог выходных данных 'dfs[a-z.]+ – Шаблон для поиска

7 Примеры в составе Hadoop Готовые примеры: wordcount – подсчет количества слов sort, terasort – сортировка randomwriter, teragen – генерация тестовых данных pentomino, sudoku – решатели головоломок Полный список примеров: $ bin/hadoop jar hadoop-examples-*.jar Открытый исходный код, можно изучать

8 Выходные файлы Результат работы программы Hadoop записывается в файлы вида: part-XXXXX, где XXXXX – номер процесса Reduce Каждый процесс Reduce выводит данные в отдельный файл Для корректной работы необходимо, чтобы каталог для выходных файлов не существовал (Почему?)

9 Основы Jar Jar (Java Archive) – архив Java Использует формат Zip Включает: Программу на Java все необходимые компоненты Манифест (метаданные, включая основной выполняемый класс) Создается командой jar из JDK

10 Команда Jar Синтаксис jar похож на tar Создание архива jar: jar cvf WordCount.jar WordCount.class WordCount$Map.class WordCount$Reduce.class Создание архива jar из каталога: jar cvf WordCount.jar –C WordCount/. Распаковка архива jar jar xvf WordCount.jar

11 Пример запуска WordCount Компиляция (нужно установить CLASSPATH): javac WordCount.java Результат: WordCount.class, WordCount$Map.class, WordCount$Reduce.class Создание архива jar: jar cvf WordCount.jar WordCount.class WordCount$Map.class WordCount$Reduce.class Запуск: $ bin/hadoop jar WordCount.jar WordCount input output

12 Очередь задач Hadoop В Hadoop задачи запускаются в пакетном режиме Вызов $ bin/hadoop jar ставит задачу в очередь Запуск может быть выполнен не сразу, а через некоторое время Каждый узел кластера имеет ограниченное количество «слотов» JobTracker отслеживает количество свободных слотов и при их наличии запускает задачу

13 Команды работы с очередью Список существующих очередей: Задачи в очереди: $ bin/hadoop queue -list Queue Name : default Queue State : running Scheduling Info : N/A $ bin/hadoop queue -info default -showJobs … Job List JobId State StartTime UserName Priority SchedulingInfo job_ _ hadoop NORMAL NA job_ _ hadoop NORMAL NA

14 Просмотр очереди через Web

15 Задача в очереди

16 Управление задачами Команда: $ bin/hadoop job cmd КомандаНазначение list Печать списка задач status Сведения о задаче kill Остановить задачу kill-task Остановить task

17 Управление задачами Список работающих задач: Информация о задаче: Список всех задач, в том числе завершенных: $ bin/hadoop job -list 1 jobs currently running JobId State StartTime UserName Priority SchedulingInfo job_ _ hadoop NORMAL NA $ bin/hadoop job -status job_ _0012 $ bin/hadoop job -list all

18 Управление задачами через Web

19 Разработка для Hadoop Eclipse plug-in для Hadoop Karmasphere Studio: Eclipse Netbeans Бесплатный вариант: Karmasphere Studio Community Edition

20 Eclipse plug-in для Hadoop Входит в дистрибутив Hadoop 1 : contrib/eclipse-plugin Plug-in позволяет: Запускать программы на сервере Hadoop из Eclipse Работать с HDFS из Eclipse Установка: Скопировать файл hadoop-eclipse-plugin*.jar в каталог plugins Eclipse 1 В текущей версии Hadoop (0.20.2) plugin не работает. Работающий plugin можно скачать по ссылке:

21 Использование Eclipse plug-in Для компиляции программ нужен дистрибутив Hadoop на компьютере разработчика Создание проекта для Hadoop в Eclipse: Создайте проект «Map/Reduce Project» Укажите имя проекта и путь к дистрибутиву Hadoop Eclipse автоматически подключит нужные библиотеки из диструбутива Hadoop к проекту

22 Использование Eclipse plug-in

23 Подключение к серверу Hadoop Выберите перспективу «Map/Reduce» В нижней части экрана выберите закладку «Map/Reduce Locations» Нажмите кнопку «New Hadoop Location…» Введите данные о кластере или сервере Hadoop

24 Подключение к серверу Hadoop

25 Параметры соединения с Hadoop Location name – имя соединения в Eclipse, может быть любым Map/Reduce Master – адрес (host:port) сервера JobTracker DFS Master – адрес (host:port) сервера имен (NameNode) DFS User name – имя пользователя, не работает в текущей версии ( и )

26 Дополнительные параметры соединения с Hadoop hadoop.job.ugi – имя пользователя Hadoop до первой запятой mapred.system.dir – путь в HDFS к общим системным файлам MapReduce (рекомендуется /hadoop/mapred/system) hadoop.tmp.dir – путь к временным каталогам Hadoop (рекомендуется /tmp/hadoop)

27 Работа с HDFS из Eclipse

28 Шаблоны классов Mapper –класс для функции Map Reducer – класс для функции Reduce MapReduce Driver – класс для запуска задачи Hadoop Использование: меню File->New… Шаблоны используют устаревший API

29 Запуск MapReduce программ

30 Запуск программы: Правой кнопкой мыши щелкнуть в Project Explorer на имени нужного класса В контекстном меню выбрать пункт Run As -> Run on Hadoop В появившемся окне выбрать сервер Hadoop и нажать Finish В окно консоли выводится лог запуска Результаты работы можно посмотреть в окне HDFS

31 Karmasphere Studio Среда разработки для Hadoop, созданная компанией Karmasphere Варианты: Professional Edition (платный) Community Edition (бесплатный) Поддерживает IDE Eclipse и Netbeans

32 Karmasphere Studio Включает сконфигурированные дистрибутивы Hadoop нескольких версий Ничего дополнительно устанавливать не нужно (исключение: для Windows требуется cygwin) Самый простой способ начать программировать для Hadoop В курсе используется Karmasphere Studio Community Edition для Eclipse При желании допускается использовать платную версию и/или NetBeans

33 Установка Karmasphere Studio Установить Eclipse В файле eclipse.ini прописать параметры: -vmargs -Xmx1024m -XX:MaxPermSize=512m -Dosgi.classloader.lock=classname -Dosgi.requiredJavaVersion=1.6 Зарегистрироваться на сайте karmasphere 1 и получить код для Community Edition 1

34 Установка Karmasphere Studio В меню Eclipse выбрать пункт Help-> Install new software Создать новый репозиторий с Location: /eclipse/ В появившемся списке выбрать и установить Karmasphere Studio Community Edition Перезапустить Eclipse

35 Установка Karmasphere Studio

36 Использование Karmasphere Karmasphere Studio создает новую перспективу «Hadoop» Новый типа проекта не создается, используется обычный Java проект Библиотеки Hadoop к проекту подключаются вручную из состава Karmasphere

37 Подключение библиотек

38 Основные понятия Karmasphere Workflow – поток работ MapReduce Hadoop Job – задача Hadoop, генерируется автоматически на базе Workflow

39 WordCount в Karmasphere Создайте проект Java Подключите библиотеки Hadoop MapReduce 0.20 Создайте задачу Hadoop MapReduce Job (0.20.2) ( File->New->Other->Hadoop 0.20-> Hadoop MapReduce Job (0.20.2) ) Приложение WordCount готово! Используются Mapper и Reducer из состава Hadoop

40 WordCount в Karmasphere

41 WordCount Workflow Мастер для настройки всех фаз MapReduce Код на Java генерируется автоматически Просмотр обработки данных без запуска задачи на Hadoop

42 WordCount Workflow

43 Автоматически сгенерированная задача (фрагмент) public class WordCountJob { public static void main(String[] args) throws Exception { Job job = new Job(); /* Autogenerated initialization. */ initJob(job); /* Custom initialization. */ initCustom(job); /* Tell Task Tracker this is the main */ job.setJarByClass(WordCountJob.class); /* This is an example of how to set input and output. */ FileInputFormat.setInputPaths(job, args[0]); FileOutputFormat.setOutputPath(job, new Path(args[1])); /* You can now do any other job customization. */ // job.setXxx(...); /* And finally, we submit the job. */ job.submit(); job.waitForCompletion(true); }...

44 Шаблоны классов Karmasphere включает шаблоны классов Mapper, Reducer и др. Собственные классы после создания можно включать в WorkFlow

45 Запуск задач в Karmasphere Karmasphere включает сконфигурированные дистрибутивы Hadoop нескольких версий для локального запуска Поддерживается запуск задач на удаленных кластерах Для запуска нажмите кнопку «Deploy To A Cluster» в Workflow

46 Локальный запуск

47 Подключение к кластеру Настройка соединения с кластером Hadoop выполняется в окне «Hadoop Services» Для запуска задачи на кластере необходимо настроить: Соединение с HDFS, «Remote File Systems» Соединение с кластером, «Remote Clusters»

48 Соединение с HDFS

49 В «Hadoop Services» нажмите правой кнопкой мыши на «Remote Filesystems» и в меню выберите «New Filesystem» Введите имя файловой системы (может быть любым), нажмите «Next» Введите параметры файловой системы: имя и порт сервера имен, версию Hadoop, имя пользователя и группу Hadoop Нажмите «Finish»

50 Просмотр HDFS

51 Соединение с кластером

52 В «Hadoop Services» нажмите правой кнопкой мыши на «Remote Clusters» и в меню выберите «New Cluster» Введите имя кластера (может быть любым), выберите версию Hadoop и файловую систему по умолчанию, нажмите «Next» Введите параметры кластера: имя и порт сервера задач, имя пользователя Hadoop Нажмите «Finish»

53 Запуск задачи на кластере

54 Итоги Запуск задач Hadoop из командной строки: Подготовить Jar архив с задачей Запустить командой bin/hadoop jar Задачи Hadoop выполняются в пакетном режиме Просмотр состояния очереди и задач из командной строки bin/hadoop queue и bin/hadoop job Также очередь и состояние задач можно контролировать через Web Среда разработки для Hadoop: Karmasphere для Eclipse (рекомендуется) или NetBeans Eclipse plugin для Hadoop

55 Дополнительные материалы Hadoop Commands Guide Hadoop Eclipse Plug-in Karmasphere Studio Community Edition community-edition.html community-edition.html

56 Вопросы?