Welcome to Spark

Тот, у кого в руке молоток, во всём видит гвоздь! Глупо?
А что если это не молоток, а универсальный инструмент, который может быть и бензопилой, и пылесосом и зубной щёткой?
В мире Big Data есть Hadoop и целый зоопарк инструментов, которые на него пашут и каждый заточен подо что-то своё, а ещё там недавно появился Spark, который можно применять для любых целей.
Если вы хотите писать в Hadoop с различных СУБД, стримить всякие источники в реальном времени, параллельно делать с данными какую-нибудь сложную обработку и не при помощи каких-то батчей, скриптов и sql запросов, а при помощи мощного функционального языка – добро пожаловать в Spark!

Данный тренинг познакомит вас с основными компонентами экосистемы Hadoop, а также раскроет перед вами возможности Spark-а.
Вы узнаете, как он работает, какие задачи он способен выполнять, как им правильно пользоваться.
Мы обсудим проблемы и решения, с которыми поначалу сталкиваются неопытные Spark разработчики. Разберемся с его синтаксисом и всякими хитростями, а главное я покажу, как можно писать Spark на Java при помощи известных вам фрэймворков, инструментов и концепций. Inversion of Control, design patterns, Spring framework, Maven/Gradle, Junit никуда не уходят, наоборот, вы увидите, что они могут помочь сделать ваше Spark приложение более элегантным, читабельным и привычным.
Будет много заданий, live coding-а и в конечном итоге вы выйдете с этого тренинга с достаточными знаниями, чтобы начать самостоятельно работать на Spark-e в привычном мире Java.

Программа

Введение в мир BigData

• Data locality
• Map reduce
• Проблема старых имплементаций, новый подход
• Импелементации Hadoop
• Cloudera

Hadoop и его зоопарк инструментов

• HDFS
• HBase
• YARN
• Hue
• Sqoop
• Flume
• Hive
• Impala
• Oozie

Теорминимум по Scala (не волнуйтесь, писать будем на Java!)

• Singleton objects
• Функциональное программирование
• Анонимные параметры
• Таплы
• Matcher pattern

Освежаем знания по Spring (для работы со Spark)

• Ознакомление со всеми модулями (Core, AOP, REST, MVC)
• Когда надо писать свои BeanPostProcessor-ы
• Как работать больше чем с одним контекстом
• Как настраивать бины, если часть нужной им информации приходит через аргументы main-а

Writing Spark with Java

• Ознакомление с основными модулями Spark
• Как Spark работает в кластерном режиме
• Spark Submit
• Spark API
• Scala vs Java
• Использование Spring при роботе со Spark
• Unit-test для Spark
• От REST-сервиса к Spark-у (написание цельного приложения)

Про тренера:

Женя Борисов - Big Data Technical Leader в NAYA Technologies

Отзывы участников предыдущих тренингов Жени