Evgeny Borisov: Welcome to Spark
16 — 17 October 2016Events like this one
You are viewing an event which has already passed. Perhaps, the following upcoming events wil be useful to youTickets
Please select the number of tickets you want to order| Ticket sales have ended on 13 October 2016 13:00 | ||||
| Continue » | ||||
Event details
Welcome to Spark
Тот, у кого в руке молоток, во всём видит гвоздь! Глупо?
А что если это не молоток, а универсальный инструмент, который может быть и бензопилой, и пылесосом и зубной щёткой?
В мире Big Data есть Hadoop и целый зоопарк инструментов, которые на него пашут и каждый заточен подо что-то своё, а ещё там недавно появился Spark, который можно применять для любых целей.
Если вы хотите писать в Hadoop с различных СУБД, стримить всякие источники в реальном времени, параллельно делать с данными какую-нибудь сложную обработку и не при помощи каких-то батчей, скриптов и sql запросов, а при помощи мощного функционального языка – добро пожаловать в Spark!
Данный тренинг познакомит вас с основными компонентами экосистемы Hadoop, а также раскроет перед вами возможности Spark-а.
Вы узнаете, как он работает, какие задачи он способен выполнять, как им правильно пользоваться.
Мы обсудим проблемы и решения, с которыми поначалу сталкиваются неопытные Spark разработчики. Разберемся с его синтаксисом и всякими хитростями, а главное я покажу, как можно писать Spark на Java при помощи известных вам фрэймворков, инструментов и концепций. Inversion of Control, design patterns, Spring framework, Maven/Gradle, Junit никуда не уходят, наоборот, вы увидите, что они могут помочь сделать ваше Spark приложение более элегантным, читабельным и привычным.
Будет много заданий, live coding-а и в конечном итоге вы выйдете с этого тренинга с достаточными знаниями, чтобы начать самостоятельно работать на Spark-e в привычном мире Java.
Программа
Введение в мир BigData
- Data locality
- Map reduce
- Проблема старых имплементаций, новый подход
- Импелементации Hadoop
- Cloudera
Hadoop и его зоопарк инструментов
- HDFS
- HBase
- YARN
- Hue
- Sqoop
- Flume
- Hive
- Impala
- Oozie
Теорминимум по Scala (не волнуйтесь, писать будем на Java!)
- Singleton objects
- Функциональное программирование
- Анонимные параметры
- Таплы
- Matcher pattern
Освежаем знания по Spring (для работы со Spark)
- Ознакомление со всеми модулями (Core, AOP, REST, MVC)
- Когда надо писать свои BeanPostProcessor-ы
- Как работать больше чем с одним контекстом
- Как настраивать бины, если часть нужной им информации приходит через аргументы main-а
Writing Spark with Java
- Ознакомление с основными модулями Spark
- Как Spark работает в кластерном режиме
- Spark Submit
- Spark API
- Scala vs Java
- Использование Spring при роботе со Spark
- Unit-test для Spark
- От REST-сервиса к Spark-у (написание цельного приложения)
Про тренера:
Женя Борисов - Big Data Technical Leader в NAYA Technologies
Отзывы участников предыдущих тренингов Жени
“Женя, хочу сказать Вам спасибо за интересный и увлекательный тренинг. У вас классный, живой стиль подачи информации. Особенно меня впечатлили Ваши быстрые мастер классы в Intellij и способность красочно, аллегорично, но при этом все также четко, быстро и информативно, объяснить, что происходит в, не такой уж и тривиальной, жизни бинов). Желаю Вам удачи и творческих успехов!”
“Спасибо за хорошо изложенный материал, чувствуется профессионализм в преподавании). Тренер хорошо чувствует аудиторию, слушать не напряжно)”
“Женя превосходный коуч и специалист! Спасибо!”
“Понравилось то что мы рассматривали не просто сухое применение библиотек, а начиная с вопросов почему это надо и как это реализовано”
“Женя, большое спасибо за офигенный тренинг, очень круто проапгрейдился на нем, надеюсь, еще попаду на твои конфы и тренинги в будущем”
“Женя спасибо большое за интереснейшие два дня! … Отличный, быстрый, эмоциональный и яркий стиль доклада – у тебя действительно можно поучиться этому, постараюсь хотя бы отчасти перенять это мастерство. Приятно слушать , понятно, и вовлекающе. Это – заоблачный уровень ;)”
“Хотел бы выразить больше СПАСИБО Женя лично. Как джава тренер – он профессионал, которых на самом деле не много. Дает очень большое количество материала, причем полезного материала, за маленькое количество времени. Очень важным моментом хочется отменить – слушать его было интересно на протяжении всего дня. … Отличная работа с аудиторией – т.к. дает кроме материала еще и задачки ‘пошевелить мозгом'”
