디퓨전영상올려야지

Жыл бұрын

[paper review] single image editing with text-to-image diffusion models

Пікірлер

@jedigunn13 күн бұрын

감사합니다. 현업에 많은 도움이 됩니다.

@mincasurong27 күн бұрын

정말 좋은 영상입니다. 공부하는데 도움이 되었습니다. 감사합니다.

@HexaLee2 ай бұрын

"Var( \sqrt{1-B_{t}} * x_{t} + B_{t} ) = Var( \sqrt{1-B_{t}}^{2} + B_{t} )" 이 수식은 "틀린" 수식인 것 같은데 오타일까요? 어떻게 이렇게 전개될 수 있는지 궁금합니다!

@user-xb8xz2oo5c2 ай бұрын

1:14:59

@melan87344 ай бұрын

도움이 정말 많이 됐어요!! 감사합니다 :)

@hojinius4 ай бұрын

UNet에서 self attention 시 position embedding이 안되어 있던데, 왜 그런지 혹시 알 수 있을까요?

@wrends4 ай бұрын

english please 🥲

@user-vt8vt4xb6o4 ай бұрын

SDEs를 잘 모르는데 SDEs를 얘기할 수 있으시군요.

@songchangsun68615 ай бұрын

잘 들었습니다~ diffusion 모델들을 공부시작하면서 제안된 수식들을 이해해보려고 하던차에 잘 만나게되었네요.😍🤩

@user-yv3cb2hs1u8 ай бұрын

재밌게 잘 봤습니다~~

@user-lf4tu9fq8j8 ай бұрын

사랑합니다

@qvis348 ай бұрын

12:35

@user-bt9ne6ld7c9 ай бұрын

이런 영상을 이렇게나 많은 사람들이보다니.. 신기하군요 자료입니다. drive.google.com/file/d/1u8EWfDvaJQGKKC4akQDy50kP-qF_MT09/view?usp=sharing

@wkdgnsgo6 ай бұрын

혹시 ddim 에서 시그마 나오는부분 수식적으로 왜 저부분이 위에 시그마 없는부분이랑 같은지 설명해주실수있나요? 도저히 이해가 안되는 전개식이라..

@user-uz3wy6wj6s6 ай бұрын

감사합니다!

@hardenmvp6312 ай бұрын

혹시 자료 다시 공유해주실 수 있을까요..? 안들어가집니다..!

@pho-ml8dkАй бұрын

34:27 ~ 37:55 슬라이드 내용이 어떤 블로그 글을 캡쳐하신 것 같은데요(자료 내 36, 37 slide). 블로그 글 하나하나 reference 다는 건 번거로우시겠고, 영상, 블로그, 자료 모두 업로드 한지는 오래되었지만 reference 표기 부탁드리겠습니다

@user-ey6lc8rp3e7 күн бұрын

자료 링크가 접속이 안됩니다ㅠㅠ

@heejuneAhn9 ай бұрын

디퓨젼 모델에 대한 개념이 잘 안들어오고 용어 때문에 혼통이 와서 질문을 하는데, 혹시 보시면 답글 부탁합니다. 우선 reverse 과정에서 nenoising 한다는 표현을 쓰는데, noise로 명명된 값을 빼어서 다음 단계로 넘어가니 그렇게 표현하는게 맞다고는 생각하나. 개념적으론 noise 라고 하기 보다는 이전 t 단계의 통계 분포에서 부터 좀 더 이미지 분포에 가까운 t-1 통계분포로 이동해 간다고 보는게 직관적인 설명 아닐까 싶은데요. 제가 이해한 게 맞는지 알고 싶네요.

@minhyukchoi84289 ай бұрын

네 선생님 저도 그렇게 이해합니다.

@idan95710 ай бұрын

32:45

@kevli637310 ай бұрын

혹시 38:52 에서 exp 이하 부분 정규분포의 pdf의 지수함수에 값을 넣은것으로 이해는했는데요 그 항들을 정리한 빨간색텀이 저식의 표준편차가 되고 파란색식이 평균이되는 이유를 알 수 있을까요?

@user-uz3wy6wj6s10 ай бұрын

안녕하세요! 최근 diffusion 모델에 대해 공부를 해야겠다고 느끼고 시작하던 도중 너무 좋은 자료를 만나게 되어 쉽게 이해할 수 있었습니다! 너무 감사합니다. 혹시 실례가 안된다면 강의 자료는 공유가 안되는지 여쭤봐도 될까요?

@user-zt7qh4js3z10 ай бұрын

CFG가 Stable Diffusion에서 쓰인다고 하셨는데 T인코더 중 Clip의 TextEncoder는 Classifier로 쓰여 Classfier Guidance가 되야하는 것이 아닌가요? 왜 Classifier Free Guidance 인가요? 분류기가 없고 학습할 필요가 없어야 Classifier Free Guidance라고 생각하고 있는데 이 부분에서 막혀서 질문드립니다!

@idan95710 ай бұрын

43:56 DDIM 1:15:00 condtional

@user-dl4vw6qk1f Жыл бұрын

q(x1:x3 | x0) 와 q(x1, x2, x3 | x0) 와 같은 거죠? 의미는 x0가 참 일때 x1, x2, x3 모두 참일 확률 맞나요?

@kanghoun Жыл бұрын

@48:42 제 site 에서도 뭔가 쓸 수 있을 것 같은 느낌이... pareto optimal radiotherapy 부분과 겹치면 뭔가 뭔가 할것 같네요

@benjaminp.9572 Жыл бұрын

정리 너무 잘 봤습니다! 감사합니다.

@jasonli4890 Жыл бұрын

please speak english, sumida

@user-rt5bi2rb4y Жыл бұрын

23:24 44:06 DDIM 56:45 Score-based Generative Modeling

@jeffreylim5920 Жыл бұрын

score function 은 RL 에도 있는 개념인데 형태도 똑같군요

@user-pe9vu8wb5z Жыл бұрын

좋은 영상 올려주셔서 감사합니다. 덕분에 디퓨전 모델에 대한 개념을 쉽게 잡은 것 같아요~ 그리고 논문도 축하드립니다! ㅎㅎ

@user-gy9hb8yp9k Жыл бұрын

안녕하세요, 좋은 영상 감사합니다. 혹시 DDPM과 U-Net의 관계는 어떻게 되는지 알 수 있을까요?

@ysjang05050 Жыл бұрын

좋은 내용 매우 감사합니다. 주제와 직접적인 관련이 있지는 않은 질문이라 죄송합니다만, 혹시 @4:50 부분에 나오는 physical intution에서 열역학과도 관련되어 보이는데, 혹시 해당 양자역학 부분에 많이 소개된다는 것을 찾아볼 만한 참고자료나 키워드 같은 것을 주실수 있을까요?

@SEONHOON-cj5jp8 ай бұрын

안녕하세요. 유체의 브라운 운동으로부터 모델링된 Wiener process 와 관련 내용을 Diffusion 에 접목시킨 BBDM 논문을 살펴보시면 도움 될 것 같네요.

@ysjang050508 ай бұрын

@@SEONHOON-cj5jp감사합니다. 관련 비디오도 올리셨군요. 참고하겠습니다 :)

@user-tb6ol7oj8n Жыл бұрын

안녕하세요. 영상을 보고 궁금한 점이 생겨 댓글 남깁니다. 17분경에 나온 행렬 W에 대한 이야기인데요. 논문에서 얘기한 Gaussian blur 행렬 W가 영상에 나온 그림과 같이 생겼나요? 행렬 W에 곱해지는 x가 flatten 되어있다고 설명을 하셨는데, flatten 된 x와 영상처럼 형성된 W가 곱해지는 것이 맞을까요? 그렇다면 행렬 W는 circular 하지않지 않나 싶어서요.

@user-vf9lo9ss4w Жыл бұрын

안녕하세요 좋은 영상 감사합니다. 잘 이해가 안되는 부분이 있어 질문드립니다. forward diffusion process에서 q(x_t|x_t-1)=N(x_t;root(1-beta_t)*x_t-1,beta_t*I)이 식에서 root(1-beta_t)x_t-1가 평균을 의미하는 자리인데, 그렇다면 x_t에서의 nomal distribution에선 x_t-1의 평균에 root(1-beta_t)을 곱한 값이 평균이 되는 것인가요? 맞다면 t번째 x이미지는 평균 root(1-beta_t)x_t-1, 분산 beta_t*I를 갖는 normal distribution이라고 표현된 것이 맞을가요??

@user-vp4gh2vg6n Жыл бұрын

diffusion model을 이해하는데 정말 도움 많이 됐습니다. 감사합니다.

@D_jang Жыл бұрын

기존에는 람다가 0->1로 가는게 맞나요? 38:30

@diffusion_model Жыл бұрын

아닙니다. 본문 페이퍼 figure 3의 (2),(3)에 baseline(파란색)이 원래 람다 입니다.

@user-fu3jx7mj2o Жыл бұрын

좋은 영상 감사합니다. 아직 초보라 잘 모르는데 15:01 에 self attention은 보통 nn.Linear로 qkv를 정의하지않나요? Conv2d로도 정의가 되나요?

@byungsookim563511 ай бұрын

1. conv2d도 linear와 다르게 weight가 다른 이미지 영역에 반복적으로 적용될 뿐이지, weight와 변수들간 관계는 linear하기 때문에 꼭 nn.linear를 쓸 필요는 없습니다. 2. transformer 설계에서 수학적으로 key, query는 서로 dot product만 가능하면 (i.e. same dimension) tensor 선택에 제약은 없습니다. 3. 그럼 왜 nn.Linear를 안 쓰고 conv2d를 쓰는가? - 아무래도 이미지라서 translation invariance를 위해서 conv2d가 유리할 듯 합니다.

@tyflehd Жыл бұрын

좋은 자료 감사합니다. 프리젠터의 높은 이해도가 느껴지는 튜토리얼이였습니다. 두고두고 와서 볼 것 같네요.

@math_dra_teacher Жыл бұрын

잘 봤습니다. 공부가 되었습니다.

@gmlssns5859 Жыл бұрын

잘보고갑니다

@yulduzatadjanova4791 Жыл бұрын

Can you consider this paper in English? The paper was in English too

@johnmu8396 Жыл бұрын

안녕하세요, 직접 ELBO를 유도도 해보고 DDPM에 나온 VLB도 유도를 해봤지만, 그것이 무엇을 의도한 것인지 그 저의까진 이해를 못했었습니다.영상 덕에 이런 의미였구나 하고 감을 많이 잡아가서 도움을 많이 받았습니다. 앞으로도 좋은 영상 많이 부탁 드리겠습니다!

@blakekin5273 Жыл бұрын

안녕하세요 항상관심있게 보고있는 구독자 입니다. 다름아니오라 제가 드림부스를 관심 있게 보고 있는데요. 혹시 한 모델안에 여러 물체/사람을 학습시켜 한 이미지 안에 나오게 할수있는 방법이 있을까요? 레딧에보면 가능하다고 하는데 방법은 안알려 주네요 ㅠㅠ

@diffusion_model Жыл бұрын

찾아보니 Dreambooth를 Stable diffusion으로 구현한게 있습니다. 말해주신 task를 위해서 pretrained 된 large모델이 필요한데 공개 된게 stable diffusion이니 해당 모델 활용해서 fine tunning하면 될 듯합니다. github.com/XavierXiao/Dreambooth-Stable-Diffusion

@blakekin5273 Жыл бұрын

@@diffusion_model 답변 감사합니다. 저는 개발자라서 알려주신 깃허브를 제일먼저 접하고 직접 돌려보고나서 이론쪽으로 알아보다가 이채널을 알게된거라서요.. 여러 물체를 학습시키려고 순차적으로 트레이닝 시켰더니 두번째 학습물체가 첫번째 학습물체를 덮어쓰는게 되버려서 난감한상황이라 다른방법이 있나해서 여쭤봤습니다 ㅎㅎ 항상 좋은영상 감사합니다

@diffusion_model Жыл бұрын

@@blakekin5273 해당 repo에서 두개이상의 object에 대해서 option 을 제공하지 않으면 code를 수정하셔야 할 것 같아요. tunning에 사용되는 unique identifier가 하나로 고정되어있다면 해보신것처럼 sequential fine-tunning하게 되면 덮어씌워지는게 맞습니다.

@diffusion_model Жыл бұрын

@@blakekin5273 www.cs.cmu.edu/~custom-diffusion/새로운게 나와서 써보셔도 좋을 것 같아요. multiple targets 가능한 버전입니다.

@blakekin5273 Жыл бұрын

@@diffusion_model 감사합니다 읽어볼게요!

@gmlssns5859 Жыл бұрын

안녕하세요 좋은영상 감사합니다ㅎㅎ 궁금점이 생겨 질문드립니다 38:24 에 using bayes rule we have 글 바로 밑 좌측식을 bayes rule 적용하면 우측식로 변하는데 해당 부분이 이해가 안됩니다 bayes rule 적용시 q(xt | xt-1, x0)* q(xt-1 | xt) / q(x0)이 나와야 한다고 생각하는데 어떻게 저 식이 나오는지 궁금합니다 답변 부탁드립니다 ㅠㅠ

@diffusion_model Жыл бұрын

콤마로 되어있는게 2개 항이 다 given이라는 말입니다. x0는 given으로 고정시켜둔 채 식을 생각해보시면 될것 같습니다.

@gmlssns5859 Жыл бұрын

@@diffusion_model 답변 감사합니다 이해하는데에 도움되었습니다!