Ввожу новую лемму: если лекцию ведёт Татьяна, то лекция будет отличная!

@tatianagaintseva8701

3 жыл бұрын

А все, лавочка закрылась)

@dimka11ggg

2 жыл бұрын

@@tatianagaintseva8701 Больше не будет лекций?

@DeepLearningSchool

2 жыл бұрын

@@dimka11ggg в смысле?

@user-kp7qh4yb6m

Жыл бұрын

​@@DeepLearningSchoolну Татьяна же сказала что лавочка закрылась

Лучшее объяснение для attention во всём интернете на русском и английском. Спасибо большое❤‍🔥

Татьяна, спасибо, что своим качественным аттеншеном вы декодировали эмбеддинги этой темы в русский язык в форме, в которой я могу с низким уровнем потерь закодировать эту тему в свои эмбеддинги

Первая лекция в ЖИЗНИ, ни одно слово которой не прошло мимо ушей

3:24 В чём неполноценность RNN-экнодера и RNN-декодера 5:30 Общими словами: Как attention решает проблему "забывчивости" обычных rnn декодера и энкодера 8:10 Математика и архитектура, как attention помогает декодеру смотреть на всё предложение целиком и учитывать контекст 13:43 Что лежит внутри функции attention? 18:50 отступление, доказательства того, что attention действительно state-of-the-art... 20:49 Self-attention как надстройка над attention. Идея 23:46 Архитектура, self-attention в декодере. 27:06 Архитектура, self-attention в энкодере. 28:26 multi-head attention 30:00 некоторые выводы по лекции 31:00 пару слов о транформерах 33:24 Визуализация работы трансформера (гифка) 34:16 ещё один пример внимания на предложении постоянно возвращаюсь к этой лекции! Прекрасная лекторка, спасибо Татьяне!

Топовая лекция, топовый лектор

Очень понятное обьяснение, спасибо!

Attention is all you need ❤️

Пожалуй, лучшее объяснение идеи Self-Attention, которое я нашел на русском и английском языке. Все понятно, спасибо.

36:06 it/il/elle это местоимение а не артикль но в целом изложение просто супер, в плане доходчивости focus Attention on the most tricky stuff is all you need

На последнем слайде можно слово "животное" заменить на слово "кошка", тогда "она" будет и про дорогу, и про кошку :) Очень классная лекция, спасибо!

Малаца, всё понятно, я доволен

В примере про трансформер - это не артикль. Это местоимение - il, elle (он, она). Выбирается исходя из рода существительного: un animal, une rue. Но концептуально - понятно )

@DeepLearningSchool Добавьте, пожалуйста, данную лекцию в плейлист "Вторая часть курса Deep Learning School" :)

Татьяна, а можно попросить записать видео по Transformer?

Почему не было связей от tired и wide?

Я б перевёл "человек с попугаем на плече зашли в бар". Попугай - живое существо, а не вещь, над о уважать его индивидуальность ). Давно хотел разобраться с вниманием и вот после этого (и ещё кучки других) видео, чуть-чуть понятнее стало. Вот по поводу self-attentions не понял. Их специализация распознавать род, падежи и прочее как-то явно задаётся при обучении (скажем, score за это) или "оно само так выходит" и как они вообще обучаются? Можно ли говорить, что attention это такой более навороченный embedding для предложений с сохранением вклада каждого слова? Или он не имеет смысла сам по себе, только для конкретной языковой пары и конкретной пары предложений? Вообще вот как хорошие переводчики переводят, они воспринимают смысл сказанного, а потом подбирают аналогичный по смыслу перевод. По словам точно нельзя переводить, даже по сочетаниям слов далеко не всегда можно. Но attention это всё-таки не совсем смысл предложения. Интересно, не будет ли более эффективным именно что-то с учётом смысла, разного рода ассоциаций между базовыми понятиями с генерацией более сложных, абстрактных. Интересно это даже не для перевода, который и так улучшился многократно, а в плане создания моделей, именно понимающих явления, способных логически рассуждать и оперировать понятиями так, как это делает человек, который научился этому, не читая все тексты интернета.

@pavelbozin9268

Жыл бұрын

Нет, "Человек с попугаем" здесь одно подлежащее, поэтому "зашел". Если бы было "Человек и попугай на его плече", то тогда два подлежащих и будет "зашли"

А качество только такое будет?

@TV-gf9vu

3 жыл бұрын

ютуб раскодирует в очереди уже есть 1080@60

Вес вообще-то не омега, а дубль-вэ.

гуглА - это чтобы подчеркнуть свою причастность к узким кругам.

@tatianagaintseva8701

3 жыл бұрын

Не поняла :)

@bluxer4225

3 жыл бұрын

я простой человек и не могу панибратски говорить гуглА :)

@tatianagaintseva8701

3 жыл бұрын

@@bluxer4225 что-то я никогда об этом не задумывалась и всегда говорила "у гуглА"

@bluxer4225

3 жыл бұрын

@@tatianagaintseva8701 такому редкому сочетанию ума и красоты позволено всё!

@tatianagaintseva8701

3 жыл бұрын

@@bluxer4225 ну тагдя ладня ~(˘▾˘~)

"скор" по-русски оценка