DeadOps Podcast - говоримо за життя у DevOps та SRE
Telegram канал: t.me/deadopsclub
Buy Me a Coffee www.buymeacoffee.com/deadops
Сторінка подкасту: www.spreaker.com/show/deadopsclub
Apple: apple.co/33rDn1V
Spotify: spoti.fi/30oFsKU
Google: bit.ly/3pUM2Bl
HB подккасти: bit.ly/3yneSOP
Пікірлер
Денис, а можна нам замість 450 дармоїдів в ВР запилити рішення на базі ШІ? Гірше ж точно вже не стане ані з безпекою, ані з надійністю. А раптом розірвем те порочне коло. Відкривай монобанку, будем збирати донати. Юлі, як завжди, привіт:) Окремий привіт Гуглу, за те, що замінили більш-менш адекватно працюючий Assistant на корявий Gemini, який тепер не може навіть базові речі типу погоди без розблокування пристрою озвучити.
Замінити треба. Але уявляю той мега распіл на такому проекті. Щодо безпеки, то "вона трохи переоцінена" :) Короче, це максимум на контент випуску bigusinfo про штучний інтелект і мега збір мінцифри :(
@@DenysVasyliev Ну там тоді ще буде випуск мамкиного хакєра про те, як все зроблено через сраку і злито фсбшникам ще до релізу. Попилити бабки на проєкті, який спрямований на викорінення попилів - це так по-українські. тьфу.. Рівень моїх сподівань на глобальні зміни в цій країні максимально наближається до 0. А потім, як в тому анекдоті, коли думав, що це вже дно, але знизу постукали. Щиро радий за вашу родину, що ви знаходитесь там, де знаходитесь!
Непогане корито. Задумаюся над покупкою.
Поки тільки позитивні емоції. Можу рекомендувати
цікавий огляд еволюції відеозйомки 🙂. Згоден, що якщо прям не профі то носити з собою той конструктор не завжди практично. А ще можна той конструктор на стедікам 😁... щодо dji там ще можна телефон чіпляти до нього як екран чи помиляюся?
все вірно, є можливість віддаленого керування та монітору через апку. А той конструктор стояв на Ronin mini 3 - працює ідеально, але вже занадто по обʼєму. То я трохи почав распродавати студію і два Роніна (був вже великий професійний для екшену) вже віддав - нехай працює ніж стоїть. На стедіку воно працює от так kzread.info/dash/bejne/lId1j7t7kcTOhdI.html
Цікавий огляд, дякую 🙂 Треба буде і собі на канал огляд своїх іграшок зробити, колись настає момент коли люди це роблять 😂
Це просто терапія ! я буду першим хто подивиться і лайк заочно поставить!
With all due respect, нафіга спонсорувати компартію китаю, коли є альтернатива? Я можу зрозуміти покупку дронів для ЗСУ в китаї, ну бо їх просто більше ніде купити. Але саме з відеокамерами, а також стільниковими телефонами, автівками, взуттям, одягом та багато чим іншим, альтернатива ще досі є. Тому я не вважаю людей, що свідомо віддають свої важко зароблені гривні, долари чи євро комуняцьким мавпам розумними. А якщо ви принципово хочете купити щось зроблене китайцями, то купуйте Тайванське - це і є китай здорової людини, то краще підтримуйте його. Тому повертаючись до теми, не хочете Соні, купіть Кенон, Нікон, Фуджі, та хоч би сраний айфон, і спіть спокійно, знаючи що ВінніПух на ваші доляри не зробить крадений чіп, що потім прилетить у Харків у вигляді свинособачої ракети. І навіть не думайте жалюгідно виправдовуватися фразами що зараз все китайське, або "какая разніца". Не все китайське і різниця є. Дякую за увагу, думайте що робите, то потім буде менше переробляти.
доволі категорично. а щодо "жалюгідно виправдовуватися ", то мабуть буде бан, адже не тільки Ваша думка та сприйняття економіки єдине правильне - бойкот китайської економіки це як боротися з корупцією в Україні - безнадійно.
@@DenysVasyliev я зрозумів що по суті заперечень нема, то я дуже радий. Наступного разу матимете ще одну причину не купувати китайське, маючи альтернативу.
я відповів вище - альтернатив немає, адже що робити коли відкривши Sony ми знайдемо там китайські комплектуючі. Тому це утопічна ідея через попит на дешевий ретеіл з ним боротися. Як із сухим законом, чи заборона алкоголю зупинить алкоголіків? Питання набагато глобальніше. Онлайн казино байкотуєте? Альтернативи є?
@@DenysVasyliev Про сухий закон взагалі не зрозумів, у нас не стоїть задача зупинити алкоголіків, в нас задача не давати китайській комуністичній партії грошей без крайньої на то потреби. Пийте бордо, пийте тоскану, пийте шампана. Пийте пиво. Лише свідомо уникайте комуняцького. Якщо боротися наполегливо і з розумінням навіщо, то можна перемогти, а якщо ні то точно не переможете. Альтернатив стає щоразу менше, але як я вже казав у фото-відео техніці, богу дякувати, вони є і їх багато. Онлайн казино не моя тема, ніколи не цікавився азартними іграми, цікавлюся девопсом, так на ваш канал і вийшов.
@@barmaliniсухий закон в окремій країні тільки підтримує контрабанду та незначний перерозподіл ринку. А онлайн казино та внутрішня корупція, губить українців набагато більше ніж партія Китаю. Тому на мій погляд марні сподівання щодо байкоту будь якого ретейлу, хоча дрони продовжують купляти і тим самим можна перефразувати цей подвійний стандарт "кожен куплений дрон - це гроші на ракету"..
обалден. ~ пока,=))
але ж ти купив те корито, значить воно свою функцію виконало :D
корито в комплекті - від нього не відмовиться :) а камера топчік поки. Дуже легко себе почуваюся, не треба постійно думати про вагу, налаштування та розфокус
Ось я не питав про команду і тепер бачу як це важливо, дуже важливий ролик. Дякую, що Ви ділитесь досвідом.
Дякую за коментар - він важливий для мене!
від nobody blame до ми звільняли за помилку, можливо саме блейм допоможе)))
то різні часові проміжки: спочатку звільняли, а зараз більше цінують людей і практики змінились.
Вітаю, підкажіть, де та ваша Катя по data protection? бо я не знайшла це відео
Вітання, от тут наша Катя :) kzread.info/dash/bejne/ZJeBsceLitfUoNY.html
@@DenysVasyliev Супер! Дякую величезне!
Підкажіть будь ласка назву стартапу про який розповідали на 8:16
donotpay.com
Навчися звук правильно робити: у тебе музика, що ти вставив, з 10ї секунди до 1хв 55с вся закліпована. Та і по всьому відео звук багато де кліпує, при цьому звісно інтеграційна гучність занадто велика: -10LUFS при нормі -14LUFS. Гучність в різних частинах відео завжи має бути однакова, а не так, що вставив музику як є - "и так сойдёт".
щодо external-dns, він може перестворювати вже навіть існуючі записи, якщо ваш ingress controller перезапускався(ролінг апдейт), в моєму випадку це nginx-ingress-controller був, поставивши параметр в хельмі проблема ця зникла, на github external-dns навіть issue ці були: extraArgs: update-status-on-shutdown: "false"
Дякую - подивлюся на issues!
Дякую Денис, хороший контент, цікаві кейси. Продовжуй в тому ж дусі)
I'm doing 40 messages in 3 hours for 20 bucks
Дякую за відео! Шкода я раніше не знав про цей канал. Згоден з Вами про способи вирішення проблем з кластерами, ґрунтовні знання тут значно більш підходять. Мотивує вивчати більш глибинно
Який великий і водночас малий цей світ:) Ютуб підсунув на головній це відео. Дивлюсь, на заставці написано ім'я. Думаю, ну які шанси, що це саме той Денис. Передай, будь ласка, привіт Юлі від Олексія. Завжди з теплотою згадую часи, коли ми разом пилили RBT:) Сподіваюсь, у вас все круто. Підписався, вподобайку вліпив! (але музичку можна трошки тихіше робити наступного разу:)
О! Це Юля: привіт, сподіваюся все гаразд і ви у безпеці! Музика єднає - тому гучніше наступного разу :)
Дякую, прийняв :)
Щоб відбити DDoS атаку потрібно було прикрутити Cloudflare))) Гарне відео коресне дійсно видно що ви старалися і монтаж і локації. ДЯКУЮ!)
Перші рази користування Chatgpt задав йому запитання і він мені відповідь дав покрокову і потрібно було її повторити. Потратив я один вечір шукаючи кнопку в програмі якої там немає)))) А chatgpt говорив що є))) І в мене тоді так руки опустилися що дума що я уже такий немічний що не можу пройтися по інструкції і запустити це?)
Музика - вогонь 🔥 Дякую
дякую. Але прикрутіть фоновий зву - дуже забиває що розказує герой відео)
Мені навпаки круто :)
от воно залежить на чому слухати. Я тестую на колонках ноута,, телефоні та в навушниках. Якщо дискомфорт не відчуваю - залишаю.
Дякую.
Дуже якісний контент, дякую! підкажіть будь ласка який розмір в (ГБ, ТБ?) вашого одного дня а також як і де ви зберігаєте ці дані.... успіхів! //Glory to Ukraine!
Дякую! Вхідний і вихідний розмір трохи різний, адже відео дефолтно знімаю у 4к. То на вхід це 25Г, а ефективний розмір можна вкласти в гіг.
Дякую. Цікаве відео.
Але після вчорашної перезентації GPT-4o - чекаємо на нову еру для асистентів. Хоча ми розуміємо як воно працює, нові асистенти вже натреновані на аудіо.
Лайк підписка. Пригадую як гтілба поклали овер дофіга "чогось". Було весело в онлайн режимі дивитись як то все відновлюють. І трохи флуду... не тримайте важливу інфу на SSD. рівно через два дні закінчення гарантії 1 TB 970 evo plus пішов спатки. Бекапи наше "все". Всім вдалого, мирнго дня.
Так було, пригадую. Дякую щодо ssd. А якщо вони не використовуються (не підключені постійно) - це ж повинно бути безпечно?
@@DenysVasyliev нууу... мої девопси сказали: "тримай власний клауд (бажано декілька) та HDD" Сумно, але це життя ;)
Звільнення за один факап - це не правильно. Але якщо є повтори тоді питання до ліда - Чому? Й головне питання якщо бізнес приносить великі кошти тоді питання до архітектора Чому так?. Блю-грін проди це вже давно використовуемі рішення й тоді будь-який факап це вже не привід для звільнення. Гарні відео на каналі. Дякую!
Підтримую - всі помиляються і завдання ліда не зменшити ризики людського фактору (автоматизація, навчання), а апп повинен бути витривалим за архітектурою. 5 Whys - добра практика
👻
Ось так і треба жити.... краса...
Звільнення за факапи) тобто оплатили такою ціною йому досвід і віддали конкуренту?))
ну можна використовувати як метод боротьби з конкурентами :)
Був кейс з вайпом проду. На щастя це був запланований мейнтененс (в години неактивності). Дуже крутий досвід насправді. Одна справа коли це аварія, інша коли тобі свідомо портібно знести прод кластер на якому більше 30 мікросервісів, включно з персістенс сервісами . Але пройшло гладко, без жодного мануального втручання. Все зайняло близько 20хв більшість з якого ажур піднімав новий AKS. 0. IaC завжди ділю мінімум на 3 різні проекти. Щось типу persistent, infra і volatile. 1. Щодо того коли створюються порожні PV після відновлення... Як на мене, варіант піднімати стореджі за допомогою тераформ і вказувати volume_handle. Тобто для важливих даних не давати куберу динамічно створювати вольюми. 2. Навіть якщо якимось чином терраформ видалить весь persistent, то налаштовую локи зі сторони клауду. Це ламає частково автоматизацію, але на скільки часто доводиться видаляти центральний кей ваульт, або диск для бази даних на проді... 3. Жодної мануальної конфігурації існувати не повинно. Ящо це не можливо додати в IaC, то треба змінити концепцію щоб це стало можливо Це мої 4 стовпи, як можна отримати реальну one-click deployment infrastructure. Головне завжди памятати щоб це не перетворилось на one-click disaster
Вітаю. Про лоадбалансери і ДНС не зрозуміло. Що значить 'зарезервована' ІР замінена на 'нову' ІР ? І як ви це виправили ?
Є ефемерні адреси, а є зарезервовані - перманентні. Коли балансер новий - він отримує ефемерну адресу, якщо конфігурацію не вказано інше. Далі можна переназначити, привʼязавши адресу "яку всі знають" до балансера cloud.google.com/kubernetes-engine/docs/how-to/load-balance-ingress
Слухав як подкаст тому не знаю хто є хто , але пан з львівським акцентом це девопс головного мозку ) нагадує мою бабцю яка підходила з поломантм годинником, швейною машинкою, лопатою etc і казала давай зроби і в неї був той самий аргумент ти - інженер😂. Бабця теж родом з під Львова. Львівщина край інженерів 🎉
Ой, передав Володі! Дяка!
Це Вам дякую за крутий неформатний україномовний контент на айті теми без реклами і навʼязування якихось патернів окрім моделі ОСІ але це як отченаш всі мають знати 😅
Дякую!
Дякую за постмортем, було дуже цікаво і повчально. Залишу декілька своїх коментарів: 1. Гарний кейс того що не треба тримати всі яйця в одній корзині. 2. Щодо повного вайпа проду, як зазначалось у відео, на мою думку трохи перебільшено, бо стореджі або їх стейт все таки залишився. 3. Чи є у вас DRP на такі чи подібні випадки?
1. Ну по факту це різні сорси. 2. Стораджі навіть якщо не збереглися, є снапшоти. Дату зберігати це ж нормально :) 3. BCP ми називаємо - це саме гнучкість інфри та аплікації. Зараз вона стала ще краще і ми можемо гарантувати відновлення в зазначені терміни, адже кластери також в коді.
хороший контент 👍 при нагоді було б цікаво почути, як, для чого використовуєте арго воркфлоу
в основному МЛ. дякую за ідею!
@@DenysVasyliev доречі, за те як використовуєш LM для себе теж цікаво ;)
@@yuriykutsiy3781 дивись епізод про Матрицю
там мало, що є про сам сетап)
Дякую за чергове повчальне відео. Нижче будуть мабуть капітанські думки та ідеї, але все ж таки хотів поділитися. В мене була схожа історія у колег на сусідньому стрімі - випадково грохнули продакшн неймспейс. Це була чудова нагода для мене повчитися на чужих помилках. Нажаль на моєму проекті не було кубера, тільки AWS ECS, але передбачалося багато продакшн енвів. Після інциденту у колег, задумався над disaster recovery drill (DRD). Перший DRD показав купу тонких місць і критичних кроків які виконувалися вручну. На першому DRD я відновив умовний прод за 8 годин. Зробивши відповідні висновки і автоматизувавши максимально все що можливо вже на 3-у DRD вдалося відновити все за 2 години, з яких майже 30 хв. займало розгортання aws msk. Стосовно схожості енвів між собою, то зараз працюю на іншому проекті і у нас dev, qa, uat є максмально,на скільки це можливо, схожими. Хіба що dev це трохи вайлд вест для розробників, але стараємося з напарником не допускати мануальщини.
Дивно було чути звільнення за факап при помилках налаштування днс. У нас одного разу в офісному влан дівчина розробник захотіла підняти собі vrrp разом з dhcp. Неналаштований dhcp призвело до наслідків. Я чув що її відправили здобувати ccna.
В нас було жорсткий відбір до команди NOC і слід зауважити, для неї то був випробувальний термін
Ну вона показала де є проблеми з архітектурою, acl, snooping... Це мало произвести тільки до алерту .
Коли я стерла прод - переїхала до Польщі, і змінила ім'я.
ого. це реальна історія?
@@DenysVasyliev На жаль. Це було на різдво 2021, тому скориставшись війною, я переїхала до Польщі.
@@npc9352 судячи з того що ім'я довелося змінити це сумна історія чи це не пов'язано?
@@DenysVasyliev ну, коштувала клієнту к-ка мільяонів доларів, як мені сказали.
@@npc9352 ну це дуже загадкова історія, гадаю. І ціна помилки, мабуть, то була таки помилка, доволі висока. Чи є десь в пабліку деталі, адже справа напевно гучна була?
Крутезне відео. Втім як завжди. Дякую
Зжалося і до кінця відео не розжалося😂
ох! вибачте, але знайоме відчуття:)
Дякую за відео! Питання по Волту. А що у вас використовувалося як storage backend? Враховуючи, що Ви казали про втрату сікретів, які створювались не через код, то ресторнути волт не було із чого?
волт на клауд сторадж. це окремий сетап і з ним все ок. То про VSO йшлося - компонент для волта
Ааа, все, зрозуміло, дякую за уточнення. Доречі як альтернативу VSO можна також External Secrets, там також буде «кеш через нативні кубернетіс сікрети» і на додачу підтримує і інші сікрет стораджі
2. В якості рішення вирішили створювати key-value yaml для ось таких от секретів і класти його поруч із terragrunt.hcl, в ньому використовуємо вбудовану sops_decrypt_file функцію і значення передаємо в інпути як звичайні терраформ змінні. Ну і волт секрет тф ресурси вже використовуть ці тф змінні.
флаг --recreation-policy never
А можна посилання на документацію з цією опцією?
Насправді, це spec.prune - github.com/fluxcd/flux2/discussions/3743
@@DenysVasyliev А посилання немає, AI вигадав цей флаг, сказавши потім, що зробив припущення що може існувати такий флаг, короче - просто обманув. А на питання нашо ти це зробив, він відповів, що просто не мав відповіді так вигадав... Отака от історія.😄
@@user-ur6zg1gx7k я десь так в зрозумів. Воно так треновані, не розчаровувати замовника:)
Крутий кейс, дякую, не кожен зможе розповісти про такий глобальний факап з продом. Христос Воскрес!
цікавий кейс - але бляха жорсткий досвід)
і це я думав в той день взяти дейофф, адже почувався перегруженим. Сходив в басейн, повернувся і перед відпочинком заглянув у слак. Там вже інцидент мітінг йшов другу хвилину. Відпочив..
Класне відео! Моя думка - звільняти за факапи, то дурість, особливо, коли вони із-за технічної помилки, навпаки, команда отримала важливий досвід і зробила висновки.
абсолютно підтримую. А як на Вашу думку, якщо подібний другий або третій факап - що робити?
@@DenysVasyliev мені сподобався підхід з google sre book, коли є певний бюджет даунтаймів, які не порушують sla, якщо ми близькі до межі, чи порушуємо sla - робимо паузу з новими фічами і фіксимо надійність, доки знов не зʼявиться бюджет, тоді знову нові фічі… і так по колу
@@DenysVasyliev мені колись сподобалася ідея з sre book, що має бути бюджет помилок/даунтаймів, який не повинен виходити за sla і якщо ми вичерпали наш бюджет, то працюємо над покращенням стабільності, а коли знов зʼявляється бюджет, то над новими фічами і так весь час балансуємо. P.S. Другий раз пишу комент, чомусь youtube попередній не опублікував.
В такому випадку можна говорити про звільнення. Це показує, що людина не зробила правильних висновків і не працює над своїми помилками. І бізнесу банально дешевше звільнити людину аніж піти на ризики майбутніх втрат через повторні помилки.
@@DenysVasyliev мені колись сподобалася ідея з sre book, що має бути бюджет помилок/даунтаймів, який не повинен виходити за SLA і якщо ми вичерпали наш бюджет, то працюємо над покращенням стабільності, а коли знов зʼявляється бюджет, то над новими фічами і так весь час балансуємо. P.S. Другий чи третій раз пишу комент, чомусь youtube попередні не опублікував.
.spec.prune: true -> .spec.prune: false
Ну, блін, 2 години до повного рестору проду - навіть з проблемами відсутності деяких речей в коді - це дуже круто!
До речі, я, можливо, теж трохи параноік, і тому тримаю бд окремо від апки ;) Бачу, що в цілому це досить вірний підхід, враховуючи ваш досвід
@@AT-rocket теж пропагую такий підхід :)
НІколи не користувався Flux'ом. Але якщо пофантазувати, думаю, що можна провести аналогію з Тераформом та resource groups у Azure Поки щось буде у namespace, він просто буде видаляти ці ресурси, і тільки в останню чергу namespace Стосовно admission control - namespace спасе, але ресурси всередині наврядчи Можна спробувати заборонити delete ресурсів з ключовими labels, але дозволити update, щоб flux продовжив працювати ( але виглядає як костиль ;) )
дякую, це варіанти і вони корисні для глядачів адже у кожного різний досвід
Мій улюблений DevOps blogger, дякую!
найс)