Что такое Apache Spark
В данном видео мы знакомимся с фреймворком для параллельной обработки данных Apache Spark. На конкретном примере разбираем возможности Apache Spark по работе с источниками данных (файлами и RDBMS), трансформации данных (как с помощью Structured API, так на Spark SQL).
Курс проводится только в специализированном учебном центре «Школа Больших Данных»
По вопросам обучения на курсах машинного обучения приглашаем в нашу «Школа Больших Данных»
Обращаться по телефону:
+7 (495) 41-41-121
+7 (995) 100-45-63
Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях:
Телеграм-канал: t.me/BigDataSchool_ru
Facebook: / bigdataschoolru
Вконтакте: bdschool_mck
LinkedIn: / bigdataschoolru
Twitter: / bigdataschoolr
Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных - www.bigdataschool.ru
Пікірлер: 18
Это одно из лучших введений в тему, которое я когда-либо видел.
@BigDataSchool
3 жыл бұрын
Спасибо за комментарий, приходите к нам на курсы или просто подписывайтесь :-)
Жаль в плейлистах нет нумерации уроков. Иногда затруднительно найти первое видео и дальше смотреть по очереди.
пощупать руками это реально бесценно. с примером!
Супер пример!
Круто
Класс
Про спарк ни слова... плохо очень.
Добрый день! Скажи, пожалуйста, где можно скачать код с исходные данные для изучения в живую? Заранее благодарен!
Звук ❤
Добрый день. очень полезное виедо спасибо. Подскжите пожалуйста, а почему дата сайнтист не может сам преобразовать эти данные как ему надо, через тот же пандас скажем ?
@michaelkorolev9055
3 жыл бұрын
Пандас - одномашинный вариант обработки, по определению "большие данные" так не обработать. Spark работает на кластере, ему любые данные "по плечу". Понятно, что в видео была "игрушечная" задачка, в жизни задачи куда-как больше и сложнее.
иииии... датасеты разные)
ужасное объяснение
@eleberet
Жыл бұрын
че так
Из этого видео я понял, что Apache Spark - это питоновская библиотека, которая дублирует pandas. Спасибо.
@ChannelCheesecake
5 ай бұрын
К сожалению есть питоновская, лучше под Spark писать на Scala
@abdul-aziz6826
3 ай бұрын
@@ChannelCheesecakeпочему к сожалению ?