TicketForEvent uses cookies to operate. By continuing to use the site, you agree that cookies are being collected, changed and stored on your device. You can change cookie preferences in your browser's settings.×

Training

Evgeny Borisov: Welcome to Spark

16 — 17 October 2016

Events like this one

You are viewing an event which has already passed. Perhaps, the following upcoming events wil be useful to you

Tickets

Please select the number of tickets you want to order
Please select the number of tickets you want to order
Tickets for "Evgeny Borisov: Welcome to Spark" (10/16/2016 – 10/17/2016)
Ticket sales have ended on 13 October 2016 13:00

Event details

Welcome to Spark

Тот, у кого в руке молоток, во всём видит гвоздь! Глупо?
А что если это не молоток, а универсальный инструмент, который может быть и бензопилой, и пылесосом и зубной щёткой?
В мире Big Data есть Hadoop и целый зоопарк инструментов, которые на него пашут и каждый заточен подо что-то своё, а ещё там недавно появился Spark, который можно применять для любых целей.
Если вы хотите писать в Hadoop с различных СУБД, стримить всякие источники в реальном времени, параллельно делать с данными какую-нибудь сложную обработку и не при помощи каких-то батчей, скриптов и sql запросов, а при помощи мощного функционального языка – добро пожаловать в Spark!

Данный тренинг познакомит вас с основными компонентами экосистемы Hadoop, а также раскроет перед вами возможности Spark-а.
Вы узнаете, как он работает, какие задачи он способен выполнять, как им правильно пользоваться.
Мы обсудим проблемы и решения, с которыми поначалу сталкиваются неопытные Spark разработчики. Разберемся с его синтаксисом и всякими хитростями, а главное я покажу, как можно писать Spark на Java при помощи известных вам фрэймворков, инструментов и концепций. Inversion of Control, design patterns, Spring framework, Maven/Gradle, Junit никуда не уходят, наоборот, вы увидите, что они могут помочь сделать ваше Spark приложение более элегантным, читабельным и привычным.
Будет много заданий, live coding-а и в конечном итоге вы выйдете с этого тренинга с достаточными знаниями, чтобы начать самостоятельно работать на Spark-e в привычном мире Java.

Программа

Введение в мир BigData

  • Data locality
  • Map reduce
  • Проблема старых имплементаций, новый подход
  • Импелементации Hadoop
  • Cloudera

Hadoop и его зоопарк инструментов

  • HDFS
  • HBase
  • YARN
  • Hue
  • Sqoop
  • Flume
  • Hive
  • Impala
  • Oozie

Теорминимум по Scala (не волнуйтесь, писать будем на Java!)

  • Singleton objects
  • Функциональное программирование
  • Анонимные параметры
  • Таплы
  • Matcher pattern

Освежаем знания по Spring (для работы со Spark)

  • Ознакомление со всеми модулями (Core, AOP, REST, MVC)
  • Когда надо писать свои BeanPostProcessor-ы
  • Как работать больше чем с одним контекстом
  • Как настраивать бины, если часть нужной им информации приходит через аргументы main-а

Writing Spark with Java

  • Ознакомление с основными модулями Spark
  • Как Spark работает в кластерном режиме
  • Spark Submit
  • Spark API
  • Scala vs Java
  • Использование Spring при роботе со Spark
  • Unit-test для Spark
  • От REST-сервиса к Spark-у (написание цельного приложения)

Про тренера:

Женя Борисов - Big Data Technical Leader в NAYA Technologies

Работает c Java уже более 15 лет, пройдя путь от простого программиста до Java-архитектора. Сегодня Евгений активно консультирует и ведет проекты, связанные с использованием языка Spark в Java, Scala и Python.

Отзывы участников предыдущих тренингов Жени

“Женя, хочу сказать Вам спасибо за интересный и увлекательный тренинг. У вас классный, живой стиль подачи информации. Особенно меня впечатлили Ваши быстрые мастер классы в Intellij и способность красочно, аллегорично, но при этом все также четко, быстро и информативно, объяснить, что происходит в, не такой уж и тривиальной, жизни бинов). Желаю Вам удачи и творческих успехов!”

“Спасибо за хорошо изложенный материал, чувствуется профессионализм в преподавании). Тренер хорошо чувствует аудиторию, слушать не напряжно)”

“Женя превосходный коуч и специалист! Спасибо!”

“Понравилось то что мы рассматривали не просто сухое применение библиотек, а начиная с вопросов почему это надо и как это реализовано”

“Женя, большое спасибо за офигенный тренинг, очень круто проапгрейдился на нем, надеюсь, еще попаду на твои конфы и тренинги в будущем”

“Женя спасибо большое за интереснейшие два дня! … Отличный, быстрый, эмоциональный и яркий стиль доклада – у тебя действительно можно поучиться этому, постараюсь хотя бы отчасти перенять это мастерство. Приятно слушать , понятно, и вовлекающе. Это – заоблачный уровень ;)”

“Хотел бы выразить больше СПАСИБО Женя лично. Как джава тренер – он профессионал, которых на самом деле не много. Дает очень большое количество материала, причем полезного материала, за маленькое количество времени. Очень важным моментом хочется отменить – слушать его было интересно на протяжении всего дня. … Отличная работа с аудиторией – т.к. дает кроме материала еще и задачки ‘пошевелить мозгом'”

16
16 — 17 October 2016
Sunday — Monday
Starts at 10:00
EPAM Systems ( 6th Floor, conf room Vincent van Gogh)
Ukraine, Kiev
Zhylianska Street 75

Event host

contact@javaday.org.ua