Skip to main content

4. MapReduce и планировщик задач YARN

ФайлИзменено
Презентация Microsoft PowerPoint Hadoop YARN.pptx

Практическое задание​

  1. Запустить конвертацию XML-данных stackoverflow, предварительно записанных на HDFS с прошлого занятия. Примеры скриптов конвертации  https://bitbucket.org/eugav/hadoop-test/src/master/scripts/convert.sh
  2. Создать внешнюю таблицу в Hive для сконвертированных файлов. Примеры SQL-скриптов для создания таблиц:  https://bitbucket.org/eugav/hadoop-test/src/master/scripts/master_tables.sql
  3. Выполнить запрос "select * from ..." в Hue ( http://172.16.82.107:8888/hue/editor/?type=hive) для визуальной проверки корректности сконвертированных данных

[!WARNING] Проверьте правильность путей к файлам, с учетом регистра