![Котофейкина](/data/avatars/m/121/121059.jpg?1670355418)
Котофейкина
Организатор
- Сообщения
- Монеты
- 0.0
- Оплачено
- 72
- Купоны
- 0
- Кешбэк
- 0
- Баллы
- 0
- @Skladchiki
- #1
Складчина: [bigdata team] Практический курс по Big Data. Часть 2. Spark: from zero to hero
- Ссылка на картинку
-
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
cхема выполнения задачи в Spark;
основные термины Spark (job, task, stage);
представление вычислений в виде графа. Spark Python API. Spark RDD API;
Broadcast-сообщения и счетчики.
взаимодействие Hive и Spark SQL;
отличия DF от RDD.
Spark on YARN;
типы stage в Spark;
оптимизация операции shuffle;
настройка Garbage Collection, тюнинг потребления памяти.
![](https://s2.skladchiki.cc/images/skladchiki.cc.png)
В этом модуле вы изучите:
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
Зарегистрируйтесь
, чтобы посмотреть скрытый авторский контент.