System Design - теория шардирования | Как масштабировать базы данных
Запись открытого урока по теории шардирования!
Курс по System Design: balun.courses/courses/system_...
Присоединиться к моему сообществу: boosty.to/vladimir_balun
Курсы по программированию: balun.courses
Потренироваться проходить собеседования: it-interview.io
Консультации:
getmentor.dev/mentor/vladimir...
solvery.io/ru/mentor/vladimir...
Таймкоды:
00:00 - План открытого урока
00:47 - Партиционирование
02:54 - Вертикальное партиционирование
03:56 - Гоизонтальное партиционирование
04:27 - Шардирование
06:41 - Range based sharding
08:39 - Key based sharding
10:00 - Directory based sharding
14:15 - Использование шардирования
17:11 - Routing
18:16 - Client routing
19:09 - Proxy routing
21:19 - Coordinator routing
26:22 - Перебалансировка или перенос данных
30:18 - Resharding
34:25 - Consistent hashing
40:34 - Rendezvous hashing
46:05 - Virtual buckets
49:18 - Курс по System Design
56:04 - Ответы на вопросы
VK: vladimir_balun_program...
Telegram: t.me/vladimir_balun_programming
Instagram: / vladimir_balun_program...
KZread: / @vladimir_balun_progra...
YandexZen: zen.yandex.ru/id/623b6c964da9...
RuTube: rutube.ru/channel/25079714/
Шардирование баз данных. Шардирование БД. Партиционирование баз данных. Партиционирование БД. Масштабирование баз данных. Масштабирование ЮД. Распределенные базы данных. Горизонтальное масштабирование.
Нужно ли высшее образование для программиста? Зарплата программиста. Как стать программистом? Как зарабатывать много в программировании? Математика для программиста. Высшее образование для программиста.
#systemdesign #айти #программирование
Пікірлер: 28
Приходилось ли вам в практике когда-нибудь использовать партиционирование или шардирование?
@alexandrsergeyevich7076
4 ай бұрын
Партиционирование было в базе данных. В ней хранились логи пользовательских запросов, это была отдельная база данных. Партиционирование проходило по дате. Я сейчас изучаю шардирование, об этой теме много видео про теорию, но найти про практику сложно, будет ли практика с созданием горизонтального шардирования?
Подача материала супер. С одной стороны неформальная, с другой достаточно глубокая. Жду ваш курс по System Design с нетерпением.
@vladimir_balun_programming
Күн бұрын
Спасибо!
Отличная подача материала
Отличное видео, и это, и другие на канале. Часто подача материала более глубокая, чем в прочих источниках. Можно сказать, что частично благодаря этому каналу залетел недавно в Ozon Tech)
@vladimir_balun_programming
6 ай бұрын
Супер, поздравляю!
Никогда не занимался Бэком, но как же приятно вас смотреть, лаконично и хорошо рассказываете, давно смотрю вас, хочется прокачиватся в бэке после таких видосов и писать что-то свое расширяемое и коассное
@vladimir_balun_programming
10 ай бұрын
Спасибо!
Ещё не смотрел, но дизайн презентации просто 😍
@vladimir_balun_programming
10 ай бұрын
Спасибо!
Отличное видео. Сразу все стало понятно. Спасибо большое!
@vladimir_balun_programming
9 ай бұрын
Не за что!
Владимир, очень крутая презентация и доклад. Спасибо за контент, вы молодец!
@vladimir_balun_programming
10 ай бұрын
Спасибо!
толково
палец вверх от СЕООНЛИ!
@vladimir_balun_programming
10 ай бұрын
Благодарю
Владимир, бесконечно благодарен вашим видеоурокам, не могли бы вы поделиться презентацией? Клянусь, что не буду использовать в коммерческих целях!
А можно сразу купить все видео ?
Спасибо за презентацию, уже год с этим работаю и взял интересные моменты. Был вопрос зачем партицирование или шардирование. Когда у тебя 10-12 трбайт в месяц приходит данных и таблицы по 7-10 млрд строк. Тогда без шардирования абсолютно никуда, боюсь представить сколько будет работать запрос, а с шардами до 1 сек.
по Golang что посоветуешь. для новичка понимающим немнога кода на pascalABC и владеет Html, CSS ну и немного dart c flutter em под конец
@user-fv3su8mx9w
6 ай бұрын
вобщем как учить :)
непонятно объяснение про key based - "прогоняем наши данные через хеш функцию, получаем хэш значение, потом берем остаток от деления на количество шардов". так как в итоге то получить индетификатор шарда? количество шардов на какое число надо делить, чтобы получить остаток и что делаем с хеш значением? очень странное объяснение получилось
Отложу до тех пор пока не доспею
Половина методов не работает на практике. Шардирование применяется , когда данных очень много, и решардирование проходит не за пару часов ночью, а за пару дней... Когда данных мало, то да, все работает, как говорил автор.
партицированием, а не партиционированием называют
@dieff_automation
10 ай бұрын
в яндексе другие правила игры