Большие Данные, Большие Проблемы: Discord и ТРИЛЛИОНЫ Сообщений
Ғылым және технология
Привет, друзья! Добро пожаловать на мой канал. Сегодня мы поговорим о том, как Discord столкнулся с невероятными вызовами, связанными с хранением триллионов сообщений, и как они нашли решение для этой проблемы. В этом видео мы погрузимся в Discord, начиная с проблем с масштабированием MongoDB в 2017 году до перехода на базу данных Cassandra и, наконец, к революционному решению, которое они предприняли в последние годы. Обязательно посмотрите статью блога Discord Engineering, написанную Бо Инграмом, чтобы узнать больше о технических деталях этого процесса.
Ссылка на оригинальную статью: / discord
Благодарность Coding with Lewis за отличный контент! Надеюсь, вам понравится адаптированная версия на русском языке! 😊
Оригинальное видео: • How Discord Stores TRI...
Не забудьте подписаться на канал, чтобы быть в курсе всех последних новостей из мира технологий и программирования. Если у вас есть какие-либо вопросы или комментарии, пожалуйста, оставьте их внизу. Спасибо за просмотр!
#технологии #discord #дискорд #DiscordEngineering #scylladb #БольшиеДанные #Программирование #Масштабирование #БазаДанных #Инженерия #TechSolutions #ТриллионыСообщений #casandra #bigdata
Пікірлер: 207
и тут вспоминаю про телеграмм, с его допустимым объёмом передачи данных в 2гб, в отличии от 18мб дискорда. Я бы очень хотел узнать как такой колосальный отрыв создан, и почему-бы в том же дс не создать такуюже технологию
@Master0of0minecraft
8 ай бұрын
Ну тут сравнение тёплого с мягким. Блобы против большого количества сообщений.
@_Zemlya
8 ай бұрын
Забавно то, что дискорд предлагает за свою тупорылую подписку нитро (например анимированные аватары, больший допустимый объём для медиа, неограниченное количество групп и каналов), телеграм предоставляет абсолютно бесплатно)
@Kovelart
8 ай бұрын
У Дурова в команде крутые талантливые инженеры. Попасть туда по моим наблюдениям на порядок сложнее, чем в FAANG какой-нибудь
@vupsenn
7 ай бұрын
Я бы посмотрел на телеграмм когда там столько-же сообщений в секунду будет постится как в дискорде. Дискорд не с того начал, вот и проблемы возникли.
@slavuck
7 ай бұрын
@@vupsenn на данный момент телеграмм является 2м по популярности мессенджером, скачиваний более 700млн
не украл, а адаптировал
@web-dev-zargo
8 ай бұрын
Как и указано в описании канала + благодарность автору оригинального контента в описании к этому видео.
@mideks
8 ай бұрын
ага, буквально вчера смотрел видео на английском точь в точь о том же😂😂
@iliaposmac8672
8 ай бұрын
Молодец, но было бы неплохо прикреплять ссылку к оригиналу либо пиши что это перевод - а то никаких изменений в сценарий. Это плагиат получается, kzread.info/dash/bejne/noCm3NGyhZeogMY.html - оригинал
@dan2k-
8 ай бұрын
@@iliaposmac8672в описании он всё написал, или этого не было?
@happy-gq2kw
8 ай бұрын
@@iliaposmac8672так он прикрепил слепые, но да проще было назвать переводом
Спасибо, очень интересно получилось! Было бы еще интересно послушать про то как гитхаб удалил все свои бекапы и продакшен базу и пытался восстановить. Тоже захватывающая история :)
@web-dev-zargo
8 ай бұрын
Благодарю, возможно в скором будущем сделаю такое видео
@kimtyatya
8 ай бұрын
@@web-dev-zargo так это видео уже есть, просто адаптируй ее так же
@iwmatt
8 ай бұрын
gitlab*
@Fooxboy
8 ай бұрын
@@iwmatt да, Вы правы - гитлаб, автоисправление сработало)
Неудобно, что лицо какое-то с водой в кадр лезло, каждый раз перематывал. За перевод спасибо ❤️
@web-dev-zargo
8 ай бұрын
(
Было интересно послушать. Спасибо за адаптацию)
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий.
Столько трудностей из-за анимешников, которые хотят отправлять картинки фембойчиков между собой 😂
@magictime8959
8 ай бұрын
ну там... Астольфо всяких
@mr.chall3nge
8 ай бұрын
да не, во всем виноваты футболисты
Было интересно посмотреть! Благодарю за видео!
@web-dev-zargo
8 ай бұрын
Благодарю за комментарий
Давно задавался подобными вопросами. Спасибо, что ответил на них!
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий.
Шикарное вилео и ращбор статьи пожалуйста выпускай еще видео подобные очееь интресно❤😊
@web-dev-zargo
8 ай бұрын
Благодарю
Тема интересная, но блин, как же раздражает прерывание истории в большинстве бессмысленными вставками! Иногда эти вставки продолжают сюжет, но по большей части, если их вырезать, то историю смотреть было бы интереснее. Эти переходы делают историю рванной
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий, учту это.
Супер, подписка! Очень интересная и полезная тема для общего развития!
@web-dev-zargo
8 ай бұрын
Благодарю
Такое ощущение, что переводил гугл переводчик, куча логических ошибок в тексте. + сам автор не знает русский нормально, отсюда страдающее спряжение
@web-dev-zargo
8 ай бұрын
Верно подмечено) Мой родной язык не русский и целенаправленно я его никогда не изучал. Но переводом я занимался самостоятельно.
@Makaler
8 ай бұрын
@@web-dev-zargo"мой родной язык не русский, но я говорю дома с родителями, с друзьями, на работе на русском, но он все ещё не мой родной"
@web-dev-zargo
8 ай бұрын
@@Makaler ну а я только здесь)
Правильно говорится "Сцилла Ди Би"
в java автоматическая сборка мусора, ее не нужно настраивать, и сборщики мусора есть в любом высокоуровневом языке, и даже в java есть сборщик не собирающий мусор, автор ты бы хотя бы проверят что криво перевел
@itsmakar2412
7 ай бұрын
Не нужно но можно
@itsmakar2412
7 ай бұрын
Но да перевод походу немного кривой
Круто! Лайк подписка все дела)
@web-dev-zargo
8 ай бұрын
Благодарю за комментарий
Мне кажется, стоит указать автора оригинального видео в описании)) P.S. Виноват. Увидел
@iliaposmac8672
8 ай бұрын
Молодец, но было бы неплохо прикреплять ссылку к оригиналу либо пиши что это перевод - а то никаких изменений в сценарий. Это плагиат получается, kzread.info/dash/bejne/noCm3NGyhZeogMY.html - оригинал
@Logicatube
8 ай бұрын
@@iliaposmac8672так ссылка есть
@alexfackprodaction
8 ай бұрын
@@iliaposmac8672Как насчет прочитать описание?
Ля, крутое видео, автору лайк и коммент для продвижения (всего 2к подписчиков..., ты явно заслуживаешь больше!)
@web-dev-zargo
8 ай бұрын
Благодарю
Как веб разработчик, глядя на то как работают столь огромные приложения и как сложно хранить столько данных и поддерживать всё это 😶 выглядит безумно страшно
@TheK1KoS
8 ай бұрын
@@unglitchymind фронт видимо
@renriuekymx3078
8 ай бұрын
А прикинь, какого сис админам которые всё ещё вручную расширяют сеть хД
Спасибо большое за выпуск!
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий)
столько воды даже у меня в дипломной не было, а ролик всего то на 13 мин
@web-dev-zargo
8 ай бұрын
В магистерской будет, так что не волнуйся)
еще бы про телеграм посмотреть
походу им нужно опять что-то новое придумывать, т.к. у меня бывают задержки по несколько секунд
Очень интересно было послушать, подписался с первого видео
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий.
спасибо за видео!
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий
Контент зашёл, очень люблю дискорд пользуюсь очень часто и было интересно узнать историю этой платформы
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий
Только правильно произносится "сцилла"
слышен дословный перевод, такое...
В Discord сидят поистинне гениальные люди
@yacody
8 ай бұрын
мне просто дискорд старые сообщения удалил нах, а там много важного было
@KipiX4
8 ай бұрын
@@yacodyхранить что-то важное в сообщениях💀
@RemoteAccessGG
7 ай бұрын
Которые катаются на горках 90% своего времени 💀
Отличный ролик, спасибо !
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий.
все видео я задумывался какие цифры на футболе у Дениса 88 или 99? А может быть 98 или 89
Что-то, называемое протобуфом для проверки. Ммм кайф
@user-np5uh8do2x
8 ай бұрын
Protobuf это как xml, grpc это как soap. Protobuf это как json, grpc это как rest. Протобуф это бинарный сериализатор/десертализатор. Grpc это то, как эти бинарники таскать между сервисами, это протокол
я тоже об этом задумывался это же не на телефоне хранятся
Балдёж!
Просто коммент, чтобы сказать что в базе данных не инфраструктура а архитектура)) а вот сама бд - это инфра)) 1:10
Просто коммент, чтобы алгоритмы ютуба посчитали данный ролик полезным
@web-dev-zargo
8 ай бұрын
Благодарю
попало в рекомендации. продвигаю тебя #Технологии #Discord #Базы данных
@peperoni8307
8 ай бұрын
разве это так работает?
@xxcrypt234
8 ай бұрын
@@peperoni8307 а я че знаю
01:54 Помню 🌚
как сочинение написал ради зачета) воды много странной
@web-dev-zargo
8 ай бұрын
Учту, спасибо за комментарий
Видос хороший, но для человека с улицы, который в программировании не особо шарит несколько тяжеловато смотреть.
Очень интересное и полезное видео. Немного поработать над качество картинки и будет шикарно
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий.
8:45 Слияние, а не коллективизация
Говорят много воды но слушать интересно, захватывает)) Но да есть моменты например я сначала потерялся когда разговор зашёл за java))
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий
Эх вот бы клиент на расте был бы имба была бы
@newgrafon5185
8 ай бұрын
вряд ли что-то сильно поменялось бы, клиент дискорд и так требует овер мало ресурсов цп и памяти
Очень увлекательно и познавательно, молодец, парень!!!
@web-dev-zargo
7 ай бұрын
Спасибо за комментарий
А сзади наподобие LoFi Girl? Можно название?
@web-dev-zargo
8 ай бұрын
The AMP Channel: code-fi / lofi beats to code/relax to
Прикольно и полезно
10:55 а что за такая "коллекция трупов"?
@web-dev-zargo
7 ай бұрын
Перенос был полным только на 99,999%. Вообщем, это удаленные или устаревшие записи в старой бд.
Мда, полистал твой канал, ты решил подчистую украсть весь EN контент по проге?) Прикольно, что автора ты тут указал тупо потому, что просмотры пошли и люди начали носом тыкать В чём проблема источник указать?
@AOne1999
8 ай бұрын
Скопированы даже слова один в один. Молодец автор, удаляй комменты
@web-dev-zargo
8 ай бұрын
Зачем мне их удалять?) В описании канала написано что это не мой авторский контент + благодарность автору видео в описании.
@web-dev-zargo
8 ай бұрын
Источник указан с момента публикации видео. На некоторых других не было, но теперь поправил)
@iliaposmac8672
8 ай бұрын
Молодец, но было бы неплохо прикреплять ссылку к оригиналу либо пиши что это перевод - а то никаких изменений в сценарий. Это плагиат получается, kzread.info/dash/bejne/noCm3NGyhZeogMY.html - оригинал
@web-dev-zargo
8 ай бұрын
@@iliaposmac8672 автора указал, ссылки тоже добавлю, спасибо за замечание
Классный контент, продолжай в том же духе #войтивайти #дискорд #bigdata
Такой же видос видел на американском ютубе. Хорошо адаптировал.
@web-dev-zargo
8 ай бұрын
Спасибо. Если что автор оригинального видео указан в описании. Можешь посмотреть, у него еще много классного контента.
растянул хронометраж медленным общением
@vixie_9999
8 ай бұрын
говоря чуть быстрее, было бы не 13 мин, а где то 4-6
@web-dev-zargo
8 ай бұрын
Скорость на х2 и будет 6 минут. Лайфхак
Проблему можно решить: перестать хранить и читать сообщения пользователей!
@izgoy9
8 ай бұрын
Тогда либо придётся со временем сообщения удалять. Что неудобно. Либо все данные придётся хранить на компьютерах пользователей. Что не особо реально
@WheatleyHDD
8 ай бұрын
Согласен, надо убрать совсем функцию отправки сообщений... и регистрации...
Не скаладб, а сцилла... Это же миф греческий(или римский уже непомню)
@web-dev-zargo
8 ай бұрын
Sorry)
Пользователи как население России.
@kleker_real
8 ай бұрын
Не оскорбляй пользователей дискорда
@RemoteAccessGG
7 ай бұрын
Ну их количество как два населения России, и там обитают одни из умнейших мозгов планеты, они ведь не переезжают в Ватсап
Бро, у тебя монтаж и звук лучше чем у оригинала 👍🏻
@web-dev-zargo
8 ай бұрын
Благодарю, но это всего лишь петличка.
Ещё один пример подобного перехода kzread.info/dash/bejne/iG1q2LCEgpO5hLQ.htmlsi=0I19Yq3npvtfBReW
@RemoteAccessGG
7 ай бұрын
То история не совсем про Дискорд
Не понравилось что постоянное переключение между анимацией и ведущим, который произносит одну фразу и потом обратно. Причём баланс звука разный.
@krazyms4240
8 ай бұрын
Пиздец ты душный
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий, в следующем видео голос сделаю одинаковым. И немного меньше фейса.
Меня зовус Денис - я на пэнисе повис
@web-dev-zargo
8 ай бұрын
21 век, тебя никто не осудит за это.
Спасибо, очень классно!
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий.
лайк от СЕООНЛИ
Не красиво. Сделал ссылку на статью, но видео с которого взята графика, оформление, да и большинство текста не упомянул. Как будто бы сам все сделал получается. То что есть небольшая приписка где-то в конце описания это вообще не то.
@web-dev-zargo
8 ай бұрын
Помимо ссылки на оригинальное видео, благодарности автору, есть еще и упоминание в описании канала) А так же уточнение, что это не мой авторский контент.
Правильно будет Сцилла, потому, что латинская транслитерация. Это морское чудище из древнегреческой мифологии. Она собственно прямо в логотипе этой базы данных.
У меня почему то звук в демке пропал для друга, он появится если нитро купить или поебота какая?
@user-uw4hi9ye2c
8 ай бұрын
Ты демуу экрана или демку оуна включкаешь
@aleshakeq7920
8 ай бұрын
@@user-uw4hi9ye2c демку браузера
10/10
похоже на рекламу
Зачем к закадровому спичу добавлены вставки с лицом мальчика? Во-первых, голоса контрастируют и их перепады раздражают, во-вторых, импакт от мальчика нулевой: эти вставки с вебкой не делают никаких акцентов, ничего не привносят, просто отвлекают от качественного повествования.
@web-dev-zargo
8 ай бұрын
Спасибо за комментарий
@krazyms4240
8 ай бұрын
Бля, как похуй
Перевод дискорда это интересно, конечно, но зачем отчим Богдана TPAXAET осла? Осёл мычит и вырывается😊
Ужас какой-то. Мне кажется чатгпт лучше переведет. Чел работай над написанием связного, понятного текста на нормальном русском языке
@web-dev-zargo
8 ай бұрын
🙂
@web-dev-zargo
8 ай бұрын
По факту, видео делал на коленки. Много времени не уделял тексту, просто глянуть будет ли какой-то толк от такого формата.
Очень высокое качество работы! Скину видос своим коллегам в рабочий чат))
@web-dev-zargo
8 ай бұрын
Благодарю
СКАЙЛА 😮😮😮
@web-dev-zargo
8 ай бұрын
sorry)
видео украдено у зарубежного ютубера
@web-dev-zargo
8 ай бұрын
Может стоит посмотреть описание канала или хотя бы к этому видео?
@eweles
8 ай бұрын
@@web-dev-zargo да я посмотрел, не кипишуй, только конечно после того, как написал данный комментарий 😉
@eweles
8 ай бұрын
@@web-dev-zargoтак в целом хорошо рассказал, для парней которые не шарят в английском самое то 🤔👍🏿
@legato5610
6 ай бұрын
@@web-dev-zargo а чо толку, контент все равно спизжен.
@web-dev-zargo
6 ай бұрын
@@legato5610 исчезни😊
MySql😅
Зачем люди используют Дискорд? Что его отличает от других мессенджеров? Какие возможности дает?
@angelicoctahedron3646
8 ай бұрын
По моему скромному опыту пользования: войсчаты там удобнее, на одном сервере можно создавать несколько каналов - это проще, чем, например, в телеграме заводить несколько чатов, чтобы разделить людей на группы. Но самая главная причина, естественно, что у него большая аудитория, которая притягивает еще большую аудиторию.
@murabragin9556
8 ай бұрын
@@angelicoctahedron3646 Спасибо за разъяснение.. Попробую начать пользоваться им
C++ не низкоуровневый язык) по сути и C тоже)
@danilzdoryk5645
8 ай бұрын
Условно языка даже джавы, я бы сказал что С очень низкоуровневый
@web-dev-zargo
8 ай бұрын
Но ведь они предоставляют доступ к низкоуровневым операциям по сравнению с тем же питоном и JS
@wolfram4ik
8 ай бұрын
@@web-dev-zargo ну академически низкоуровневые языки программирования это ассемблер, байткод (JVM), CIL (.NET), все языки что используют перечисленные языки для запуска кода уже являются высокоуровневыми
@dotauniverse3305
8 ай бұрын
@@web-dev-zargoно от этого они низкоуровневыми не становятся. Сравни это с ассемблером.
@titanovsky
8 ай бұрын
Относительно чего? Питон через 20 лет будет низкоуровенвым относительно платформ и языков тех лет. Сейчас можно спокойно про плюсы и тем более Си говорить, что они низкоуровневые.
Coding With Lewis made this video. You stole it.
@web-dev-zargo
6 ай бұрын
see description under video
......
Очень похоже на видео одного западного блогера, прям слово в слово (если исключить, ту инфу, что из статьи)
@web-dev-zargo
8 ай бұрын
Так и есть, ссылка на оригинальное видео в описании.
сцилла диби
Дискорд-какашка.
запиши українською краще 😊
@web-dev-zargo
8 ай бұрын
Чекаю, коли функція з кількома аудіодоріжками буде доступна.
Осуждаю
ничего не понятно. постоянно переключается с инфографики на свое лицо и я потерял смысл
@web-dev-zargo
8 ай бұрын
Принял, спасибо за комментарий