Материалы BigData 2017

(ВГУ, AT Consulting, полный осенний курс)

Используемые инструменты:

• OS Linux Mint 18.2 Sonya 64-bit (основная ОС);
• Java SE Development Kit 8u144;
• Apache Hadoop - для распределенных вычислений;
• Apache Spark - фреймворк для распределенных вычислений;
• IntelliJ IDEA 2017.2 - IDE для Java / Scala;
• Maven Plugin - встроенный в IDEA для управления зависимостями;
• MySQL Community Server 5.7.20 - в качестве сервера РСУБД;
• MySQL Workbench 6.3.10 - в качестве клиента и визуального редактора БД.

Задания:

Hadoop MapReduce

• Проект №1 - 2017-10-11 / задание на дом: структура БД в 1нф, 2 нф и 3нф
• Проект №2 - 2017-10-17 / задание в классе: первый проект MapReduce (WordCount)
• Проект №3 - 2017-10-18 / задание на дом: второй проект MapReduce (Покемоны)
• Проект №4 - 2017-10-21 / задание на дом: третий проект MapReduce (Самолет, словарь distributed cache)
• Проект №5 - 2017-10-25 / задание на дом: четвертый проект MapReduce (Самолет, Secondary Sort)

Apache Spark

• Проект №6 - 2017-10-28 / задание на дом: первый проект Spark (Сумма элементов массива)
• Проект №7 - 2017-10-28 / задание на дом: второй проект Spark (WordCount)
• Проект №8 - 2017-11-12 / задание на дом: третий проект Spark (Перепись населения)

SQL

• Проект №9 - 2017-11-16 / задание на дом: первый проект SQL (Перепись населения)