Skip to content

Latest commit

 

History

History
63 lines (44 loc) · 2.68 KB

03.md

File metadata and controls

63 lines (44 loc) · 2.68 KB

Материалы BigData 2017

Проект №3

(задание на дом: Покемоны и MapReduce)

Задание:

Входные данные: Файл pokemon.xlsx. Структура полей в файле: number, name, type, hp, attack, defense, special attack, special defense, speed. Задача: Преобразовать файл из формата xlsx в файл (csv) с разделителем (на ваш выбор). Для каждого типа(type) покемонов вывести имя покемона:

  • с самым большим кол-вом HP
  • с маленькой атакой
  • с высокой защитой
  • самого медленного Выходная структура: type, tank, feeble, defender, slowpoke.

UPD: Новое решение UPD: Старое решение UPD: Выходной файл


Трекинг и описание

2017-10-18 УСТАРЕЛО!!!

Добавлено решение Pokemon

Задание.

Сначала сконвертировал pokemon.xlsx в pokemon.csv с разделителем ";". Вот как это выглядит в LibreOffice Calc:

Скриншот

А потом уже делал по аналогии с WordCount.

UPD: Старое решение UPD: Выходной файл


2017-10-18

Обновил решение Pokemon

Задание.

Вместо старого решения со сборкой в мапере всех полей в один Text и последующего сплита в редьюсере, в новом решении заюзал ArrayWritable, отнаследовавшись от него в служебном классе TextArrayWritable.

Помогли мануалы: Class ArrayWritable Package org.apache.hadoop.io

и еще вот такой примерчик:

public class TextArrayWritable extends ArrayWritable {
public TextArrayWritable() {
super(Text.class);
}
}

UPD: Новое решение UPD: Выходной файл