Современные подходы к управлению данными
Длительность
16 ак.ч.
Локация
Онлайн
Код
EAS-011
24 700 руб.
6 900 грн.
Планируете обучить команду из 7-8 или более человек?
Закажите корпоративное обучение с учетом ваших потребностей
Закажите корпоративное обучение с учетом ваших потребностей
Описание
При проектировании приложений одним из важных решений является выбор способа хранения данных. Несколько десятилетий реляционные СУБД были первым и единственным вариантом, проекты отличались только степенью нормализации, местом размещения бизнес логики и т.д. Последние же десять-пятнадцать лет бурно расцвели альтернативные системы – от объектно-ориентированных и документно-ориентированных СУБД до распределенных файловых систем и систем обработки потоков данных. В курсе рассматривается спектр современных решений, позволяющих долгосрочно надежно хранить данные, причины возникновения решений разных классов, их достоинства, недостатки и предпочтительные способы использования.
После прохождения курса выдается
сертификат на бланке Luxoft Training
сертификат на бланке Luxoft Training
Цели
После завершения обучения слушатели смогут:
- понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными;
- знать возможности и ограничения современных реляционных и нереляционных систем управления данными;
- уметь анализировать требования при выборе систем управления данными.
Целевая аудитория
Архитекторы, разработчики приложений, аналитики, администраторы баз данных.
Разбираемые темы
1. Эволюция подходов к хранению данных (теория – 2 часа).
5. Распределенные файловые системы вместо моделей данных: архитектура кластера [HDFS] (теория – 1 час, практика – 1 час).
6. SQL поверх распределенных файловых систем (теория – 1 час, практика – 2 часа).
8. Распределенные OLAP-системы [Clickhouse, Druid] (теория – 1 час).
9. Обработка потоков данных [Spark Streaming] (теория – 1 час).
10. Самонастраиваемые и автономные базы данных (теория – 1 час).
- Базы данных, хранилища данных, машины баз данных, массово-параллельные архитектуры, гиперконвергенция.
- Какие проблемы решает, за счет чего.
- Репликация, шардинг, распределенные транзакции.
- Варианты структуры ключа, варианты структуры значения, программные интерфейсы.
- Эффективность применения нереляционных баз данных: необходимые и достаточные условия [Cassandra, HBase].
5. Распределенные файловые системы вместо моделей данных: архитектура кластера [HDFS] (теория – 1 час, практика – 1 час).
6. SQL поверх распределенных файловых систем (теория – 1 час, практика – 2 часа).
- Варианты архитектур, форматы файлов, ограничения, транзакции [Hive, Spark, Spark SQL, Parquet, ORC].
8. Распределенные OLAP-системы [Clickhouse, Druid] (теория – 1 час).
9. Обработка потоков данных [Spark Streaming] (теория – 1 час).
10. Самонастраиваемые и автономные базы данных (теория – 1 час).
Раcписание курсов
Вид:
Регистрируйтесь на следующий курс
Предварительная регистрация гарантирует участие в обучении. Мы обязательно оповестим вас, когда курс будет запланирован
Отзывы (6)
У меня осталось очень хорошее впечатление от курса. Наиболее полезным и интересным для меня оказалась информация о BI-системах и таких направлениях, как DW, DataMining и Machine Learning.
Впечатление положительное. Понравилась хорошая организация курса, что тренер сразу же отвечал на параллельно возникающие вопросы. Упор сделан не на математику, а на готовые программные библиотеки. Наиболее полезными оказались практические примеры. Емкий обзор актуального технического стека. Реальные примеры использования технологий и личный опыт лектора. Спасибо.
Очень интересный курс. Много полезной информации. Спасибо тренеру за полноту и точность информации. Появилось больше понимания построения распределительных систем: как оно "внутри" работает. Map reduce!
Очень интересное содержание курса, актуальные темы. Отличная подача материала, с примерами из жизни. Компетентный и увлеченный преподаватель. Особенно полезно: NoSQL, Hadoop.
Хороший обзор современных средств данной области. Великолепная подача материала.
В ходе данного тренинга для меня оказались полезны все темы. Тренер качественно и понятно разложил и систематизировал информацию об управлении данными, привел понятные use cases. Интересно было и обсуждение кейсов из опыта тренера и коллег.
Связанные курсы
Основы Hadoop
Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.
BigData SQL: Hive
В курсе изучаются основы архитектуры Hive, разработка скриптов по загрузке, трансформации и выгрузке данных. Рассматриваются все необходимые технические подробности. Конфигурирование и настройки производительности.
Основы Apache Spark
Курс дает представление об основах Apache Spark и методах разработки приложений, обрабатывающих данные на его основе. Рассматриваются как базовые возможности Spark (RDD), так и проекты, расширяющие их набор: Spark SQL, Spark Streaming, MLLib, Spark ML, GraphX.
MongoDB для программистов
Курс дает представление об основах СУБД MongoDB и методах разработки приложений, хранящих и обрабатывающих данные на его основе. Рассматриваются базовые возможности сохранения, извлечения и поиска документов (CRUD), способы формирования поисковых запросов, в том числе с использованием конвейеров Aggregation Framework и Map/Reduce.
BigData SQL: Impala
В курсе изучаются основы архитектуры Impala, разработка скриптов по загрузке, трансформации и выгрузке данных. Рассматриваются все необходимые технические тонкости; конфигурирование и настройки производительности.
Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, архитектуре ПО, ручному и автоматизированному тестированию ПО, Big Data и машинному обучению, управлению проектами и Agile. Luxoft Training – первый учебный центр в России, авторизованный IIBA. Действует скидка 10% на обучение физических лиц.
