![ДональдТАК](/data/avatars/m/121/121049.jpg?1670354577)
ДональдТАК
Молодой организатор
- Сообщения
- Монеты
- 0.0
- Оплачено
- 41
- Купоны
- 0
- Кешбэк
- 0
- Баллы
- 0
- @Skladchiki
- #1
Складчина: [bigdata team] Практический курс по Big Data. Часть 3. RT, NoSQL, Data layout, Kafka
- Ссылка на картинку
-
Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
подходы к Realtime-обработке;
гарантии обработки, переход от одной гарантии к другой, архитектуры "Лямбда" и "Каппа";
Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream;
архитектура Kafka, Kafka Streams, репликация в Kafka. Отличие Kafka от классических очередей;
семантики доставки сообщений, сжатие данных в Kafka, синхронная и асинхронная репликация.
отличия Key-Value хранилищ от реляционных БД;
компактификация и её виды, CQLSH;
архитектура Cassandra;
обеспечение надёжности и высокодоступности в Key-Value хранилищах;
интеграция Spark с Cassandra.
как бороться с Data Skew с помощью MapReduce подходов в разных фреймворках;
trade-off между CPU и IO-bound приложениями, подходы к сжатию в Big Data, горячие и холодные данные;
форматы данных в Big Data: ORC vs Parquet, Avro
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
![](https://s2.skladchiki.cc/images/skladchiki.cc.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
Зарегистрируйтесь
, чтобы посмотреть скрытый авторский контент.