Small summer's course 2017
Входные данные: market-price.csv
Структура выходных данных: TIME_KEY, формат yyyyMM MIN_PRICE, с округлением до 2х знаков после запятой MAX_PRICE, с округлением до 2х знаков после запятой
Задание: Необходимо реализовать приложение с использованием парадигмы MapReduce, которое бы выводило максимальную и минимальную цену за каждый месяц.
Технические требования: Реализовать класс Mapper, Reducer. Плюсом будет реализация класса Driver. В качестве сборщика проекта использовать maven. Для работы с датами использовать библиотеку joda-time. Для демонстрации работы и тестирования приложения использовать MRUnit tests.
Дополнительно: Приложен класс TestUtils.java - для загрузки/записи данных. Приложен класс TestExample.java - пример MRUnit теста.
Необходимо написать свой составной ComparedKey, который будет упорядочивать сумму по возрастанию / убыванию, и все эти значения суммы чтобы выводились в файл. Тот же исходный файл использовать, что и в первом задании, только написать, чтобы на выходе мы получили ключ и отсортированную в любом порядке за месяц цену.
P.S. Вам нужно будет к предыдущему решению задания дописать три класса: Класс ComparedKey Класс Partitioner переопределеить / написать свой Класс GroupingComparator написать.
И в тестах нужно будет указать там, где before, где set'ы устанавливаются, где маппер и редьюсер, там указать GroupingComparator и Partitioner.
Входные данные: market-price.csv
Структура выходных данных: TIME_KEY, формат yyyyMM MIN_PRICE, с округлением до 2х знаков после запятой MAX_PRICE, с округлением до 2х знаков после запятой
Задание: Необходимо реализовать приложение с использованием Spark Framework, которое бы выводило максимальную и минимальную цену за каждый месяц в файл.
P.S. Выполнено в процедурном стиле, вся логика в одном mein'е Надо переделать на классы все.
P.S. Функциональность сильно не тестил, могут косяки быть.