Курс Data Engineer

Видеозаписи лекций без обратной связи и участия преподавателя. Вы получите доступ к материалам сразу после оплаты.

Что даст вам этот курс

– понимание ключевых способов интеграции, обработки, хранения больших данных
– умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и платформами
– практические навыки разработки дата-сервисов, витрин и приложений
– знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

– разворачивает, налаживает и оптимизирует инструменты обработки данных
– адаптирует датасеты для дальнейшей работы и аналитики
– создает сервисы, которые используют результаты обработки больших объемов данных
– отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты

Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении

Высокая практическая направленность: В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи

Инженер данных – почему это актуально и интересно:

Прежде чем попасть на стол CEO в виде квартального отчета или индивидуальной подборкой книг в email-рассылке, данные проделывают длительный и сложный, полный преобразований и трансформаций, путь, требующий непрерывного мониторинга и оркестрации.

В этом ключе команда инженеров, которая готова обеспечить непрерывную поставку достоверной информации для всех бизнес-потребителей и функций играет важнейшую роль в принятии тактических и стратегических решений всей компании.

Работа инженеров данных, внешне незаметная, удивительно сложна и интересна по своей специфике. Невероятное количество закономерностей и связей, инструментов и подходов, параметров и настроек не оставят равнодушным ни один пытливый ум в поисках оптимальных и элегантных решений.

Необходимые знания

Необходимое:

– Опыт разработки на Java/Python
– Основы работы с БД: SQL, индексы, агрегирующие функции
– Базовые знания ОС: работа с командной строкой, доступ по SSH

Будет плюсом:

– Навыки программирования на Scala
– Знакомство с компонентами экосистемы Hadoop
– Понимание основ машинного обучения с позиции Data Scienist-а или аналитика

Программа обучения

В процессе обучения вы получите комплексные знания и навыки.

Модуль 1

Инженер Данных: задачи, инструменты, платформы

Тема 1. Инженер Данных. Задачи, навыки, инструменты, потребности на рынке
Тема 2. Эволюция подходов работы с данными. Базовые принципы и понятия
Тема 3. Облачные платформы. Дистрибутивы Cloudera и Hortonworks
Тема 4. Форматы данных и их особенности

Модуль 2

Процессинг. Доступ к данным. ML

Тема 5. Введение в Scala
Тема 6. Apache Spark – 1 часть
Тема 7. Apache Spark – 2 часть
Тема 8. Очереди сообщений, Kafka, Confluent platform
Тема 9. Spark Streaming
Тема 10. Доступ к данным, ноутбуки. Explore and visualize

Модуль 3

Развертывание ML-моделей

Тема 11. Production Code на Python. Организация и Packaging кода
Тема 12. Docker и REST-архитектура
Тема 13. Деплоймент моделей в Sagemaker

Модуль 4

Очереди сообщений. Хранилища данных. SQL-доступ.

Тема 14. Распределенные файловые системы
Тема 15. Инструменты выгрузки данных из сторонних систем
Тема 16. DWH. Хранилища данных – 1 часть
Тема 17. DWH. Хранилища данных – 2 часть
Тема 18. Хранилища NoSQL. Назначение и особенности
Тема 19. SQL-доступ к данным. Apache Hive.
Тема 20. ElasticSearch

Модуль 5

Обеспечивающие системы. Оркестрация, тестирование, мониторинг

Тема 21. Оркестрация
Тема 22. Интеграция, тестирование, развертывание. CI / CD. DevOps
Тема 23. Мониторинг
Тема 24. Data Quality. Контроль качества данных, мастер-данные, Troubleshooting
Тема 25. Case studies. Кейсы компаний.
Тема 26. Бонус. Дальнейшее развитие Hard skills Soft skills

Модуль 6

Проектная работа

Тема 27. Выбор темы и организация проектной работы
Тема 28. Консультация по проектам и домашним заданиям
Тема 29. Защита проектных работ

После обучения вы

Заберете с собой:

– основные и дополнительные материалы, и видеозаписи занятий;
– образцы кода;
– собственный проект, который можно будет показывать при трудоустройстве;
– сертификат о прохождении обучения.

В результате обучения вы:

– будете иметь представление об основных классах задач Инженера Данных, инструментах, предназначенных для их решения, а также их преимуществах и особенностях;
– научитесь выстраивать пайплайны пакетной и потоковой обработки данных;
– сможете проектировать хранилища данных и организовывать оптимальный доступ для потребителей;
– получите ряд полезных навыков: умение грамотно составлять CV, проходить интервью, выстраивать совместную работу с коллегами