![Лизка](/data/avatars/m/114/114710.jpg?1670224080)
Лизка
Организатор
- Сообщения
- Монеты
- 0.0
- Оплачено
- 0
- Купоны
- 0
- Кешбэк
- 0
- Баллы
- 0
- @Skladchiki
- #1
Складчина: [bigdata team] Практический курс по Big Data. Часть 1. HDFS, Map Reduce, Hive
- Ссылка на картинку
-
Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.
Часть 1.
HDFS, Map Reduce, Hive
В этом модуле вы изучите:
вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса;
распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения;
чтение и запись в HDFS. HDFS APIs: Web, shell.
Hadoop Streaming;
элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator).
приложения с несколькими Hadoop-задачами;
тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs);
задачи с несколькими входами. Joins в Hadoop.
архитектура Hive, виды таблиц, форматы хранения данных;
трансляция Hive-запросов в MapReduce-задачи;
сериализация и десериализация;
тюнинг Join'ов в Hive;
партиционирование, бакетирование, семплирование;
User defined functions, Hive Streaming.
Часть 1.
HDFS, Map Reduce, Hive
В этом модуле вы изучите:
![](https://s2.skladchiki.cc/images/skladchiki.cc.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
![Play button :arrow_forward: ▶](https://cdn.jsdelivr.net/gh/joypixels/emoji-assets@5.0/png/64/25b6.png)
Зарегистрируйтесь
, чтобы посмотреть скрытый авторский контент.