๐ฅ
์ฝ๋
1๋ฒ
github.com/teddylee777/langch...
2๋ฒ
github.com/teddylee777/langch...
3๋ฒ
github.com/teddylee777/langch...
๐Sionic-ai llama3 70B
github.com/sionic-ai/xionic-k...
๐ค ๋์ค์ฝ๋ ์ฑ๋
/ discord
๐ ๋ญ์ฒด์ธ ํํ ๋ฆฌ์ผ ๋ฌด๋ฃ ์ ์์ฑ
(wikidocs)
wikidocs.net/book/14314
โ
๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ ์ฝ๋์ ์ฅ์(GitHub)
github.com/teddylee777/langch...
โญ๏ธ ๊ฐ์ ํ๋ณด โญ๏ธ
LangChain + ChatGPT + Streamlit ๊ฐ์(VOD ๊ฐ์)
์๋์ ์ฌ์ ๋ฑ๋ก์ ํ์๋ฉด ๊ฐ์ ์คํ ํ ์๋ฆผ์ ๋ฐ์กํด ๋๋ฆด ์์ ์ด๋ฉฐ, ํ ์ธ ์ฟ ํฐ๋ ๊ฐ์ด ์ ๊ณตํด ๋๋ฆฝ๋๋ค.
๐ LangChain + ChatGPT + Streamlit ๊ฐ์ ์ฌ์ ์๋ฆผ ์ ์ฒญ ๐๐
๋งํฌ: forms.gle/buoXoiey7YHrVXVq9
#langchain
---
๐ ๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ(๋ฌด๋ฃ ์ ์์ฑ
): wikidocs.net/book/14314
๐ ํ
๋๋
ธํธ(๊นํ ๋ธ๋ก๊ทธ) : teddylee777.github.io
๐ป GitHub ์์ค์ฝ๋ ์ ์ฅ์: github.com/teddylee777
๐ฟ LLM ํ๋ก์ ํธ: llm.teddynote.com
ะัะบััะปะตั: 118
๋๋ฌด ์ ๋ดค์ต๋๋ค!!ใ ใ ์์ผ๋ก๋ ์ข์ ์์ ๋ง์ด ์ฌ๋ ค์ฃผ์ธ์! :)
@teddynote
ะะน ะฑาฑััะฝ
์์ด์ฝ์ค.. ํ์ ๊ฐ์ฌํฉ๋๋ค๐ญ๐ญ ๋ง์๋ ๊ฑฐ ์ฌ๋จน๊ฒ ์ต๋๋ค. ์ ๋ช ํ์ ๋ถ๊ป์ ์ข๊ฒ ๋ด์ฃผ์ ์ ์๊ด์ ๋๋ค๐ฅน ์์ผ๋ก๋ ์ฌ๋ฐ๋ ์ฝํ ์ธ ๋ง์ด ๋ง๋ค๊ฒ ์ต๋๋ค~!! ์๋ ์ค ์ฑ๋๋ ์์ฃผ ๋๋ฌ๊ฐ๊ป์! ๊ฐ์ฌํฉ๋๋ค๐
๋๋ฌด ๊ฐ์ฌํฉ๋๋ค! ํญ์ ๊ฐ์ฌํด์๐
@teddynote
ะะน ะฑาฑััะฝ
์์ฒญํด ์ฃผ์ ์ ๊ฐ์ฌํด์๐๐
๊ฐ์ฌํฉ๋๋ค. ์ฌ๋ฆฌ์ ์์ ๋ชจ๋ ์ ๋ณด๊ณ ์์ด์. ๋๋ถ์ ํญ์ ๋ง์ด์์๊ฐ๋๋ค. โค
@teddynote
ะะน ะฑาฑััะฝ
์ข๊ฒ ๋ด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค๐ซฐ๐ซฐ
์ด๋ฐ ์์๋ ๋ง๋์ จ๊ตฐ์. ๋๋ฌด ๊ฐ์ฌ๋๋ฆฝ๋๋ค. ์ ๋ง ์๊ณ ํ์ ๊ฒ์ด ๋๊ปด์ง๋ค์.
@teddynote
15 ะบาฏะฝ ะฑาฑััะฝ
๋ ์ฌ๋ฐ๋ ์ฝํ ์ธ ๋ ์์ผ๋ก ์ด์ฌํ ์ฐ์ด๋ณด๊ฒ ์ต๋๋ค~^^
ํญ์ ๊ฐ์ฌํฉ๋๋ค ๐๐
@teddynote
ะะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋น๐๐
๋ฉค๋ฒ์ญ ์๋๊ฑฐ ์ค๋ ์์๋ค์ ๋ฐ๋ก ๊ฐ์ ํ์ต๋๋ค ํญ์ ์ข์ ์ ๋ณด ๊ณต์ ํด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค~
@teddynote
ะะน ะฑาฑััะฝ
๊ฐ์ ๊ฐ์ฌํฉ๋๋ค~๐ ์์ผ๋ก๋ ์ด์ฌํ ์ฝํ ์ธ ์ ์ํด ๋ณด๊ฒ ์ต๋๋ค๐ซก
๋๋ฌด ์๋ดค์ต๋๋ค :) ํฐ ๋์๋์์ต๋๋ค!!
@teddynote
ะะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค๐๐ซก
๊ทํ ์ ๋ณด ๊ฐ์ฌํฉ๋๋ค. ๊ณต๊ฐํด ์ฃผ์ ์ ์ ๋ง ๊ฐ์ฌ
@teddynote
ะะน ะฑาฑััะฝ
์์ผ๋ก๋ ์ฌ๋ฐ๋ ์ฝํ ์ธ ๊ณต์ ๋ง์ด ๋๋ฆด๊ป์~ ์์ฃผ ์ค์ธ์~ ใ
ํญ์ ์ ๋ณด๊ณ , ๋ฐฐ์ฐ๊ณ ์์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค.
@teddynote
ะะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค๐
์ค ๊ฐ์ฌํฉ๋๋ค ! ์ต๊ณ ์ต๊ณ !๐ฅฐ
@teddynote
ะะน ะฑาฑััะฝ
๐๐๐
๊ณ ์ํ์ ์ฝ๋๋ฅผ ์ด๋ ๊ฒ ๊ณต๊ฐํ์ ์ ์ ๋ง ๊ฐ์ฌํฉ๋๋ค. ํ์ฌ์์ ์ ๋ง ํ์ํ๋ ๊ท์คํ ์ ๋ณด์ ๋๋ค. ๊ฐ์ฌํฉ๋๋ค. ๊พธ๋ฒ ~~^^ ๊ฐ์ข๋ ์ ์ฒญํ์ด์~~
@teddynote
14 ะบาฏะฝ ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค ์์ผ๋ก๋ ์ค์ ๋ฐ๋ก ์ ์ฉํ ์ ์๋ ๊ด์ ์์ ์ฝ๋ ๋ง์ด ๊ณต์ ํ๋๋ก ํ๊ฒ ์ต๋๋ค^^
๋ฉ์ง ๊ฐ์ ๊ฐ์ฌํฉ๋๋ค.
@teddynote
ะะน ะฑาฑััะฝ
์์ฒญํด ์ฃผ์ ์ ๊ฐ์ฌํด์๐
ํญ์ ๊ฐ์ฌํด์ !!!
@teddynote
ะะน ะฑาฑััะฝ
์์ฒญํด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค๐๐
๊ฐ์ ๋ง๋์๋๋ผ ์์ฒญ ๊ณ ์ํ์ จ๊ฒ ๊ตฐ์...! ๋ ธ๊ณ ๊ฐ ๋๊ปด์ง๋๋ค. ์ข์ ๋ด์ฉ ๊ฐ์ฌํฉ๋๋ค! (ํ๊ต ๋ชฝ์คํ์ ๊ผญ ๊ฐ๋ด์ผ๊ฒ ๊ตฐ์..)
@teddynote
ะะน ะฑาฑััะฝ
ใ ใ ์ ๋ ์ด๊ฒ ๋ ๊น? ํ๋ฉด์ ํด๋ดค๋๋ฐ..ํ๋ค๋ณด๋ ์ฌ๋ฐ์ด์ ์ด๋ป๊ฒ๋จ ๋๊ฒ๋ ํด์ผ๊ฒ ๋ค ํ๋ฉด์ ๋ง๋ค์์ด์ ใ ใ ๊ณผ์ ์ด ์ฌ๋ฐ์์ต๋๋ค^^ (ํ๊ต ๋ชฝ์คํ ๋ค์ฌ์ด ๋ง๋์๐)
์ด๋ค ํด์ ์ธ ๊ฒ์ธ์ง์ ์ค์ ์ก์ ์ ํ๋ LLM์ ๋๋ ์ ์ฒด์ธ์ ์ฎ์ผ์ ์์ด๋์ด๊ฐ ๋๋จํ์ ๊ฒ ๊ฐ์ต๋๋ค. ๋๋ฌด ์ข์ ๊ฐ์๋ค์. ๊ฐ์ฌํฉ๋๋ค!
@teddynote
ะะน ะฑาฑััะฝ
์์ด์ฟ ๊ทน์ฐฌ ๊ฐ์ฌํฉ๋๋ค~ ์ ๋ ์ฒ์ ์๋ํด ๋ณด๋๋ฐ ์คํํ๋ ๊ณผ์ ์์ ๋ง์ด ๋ฐฐ์ ๋ ๊ฒ ๊ฐ์ต๋๋ค~^^ ๊ฐ์ฌํฉ๋๋ค๐
๊ฐ์ฌํฉ๋๋ค. ๊ธฐ๋ํ๋ ์์์ด ์ฌ๋ผ์์ ๊ธฐ์ ๋ง์์ผ๋ก ๋ณด์์ต๋๋ค. ์ฝ๋ ์์ด ๋ฐ๋ผ ๊ฐ์ง ํด๋ด์ผ๊ฒ ์ต๋๋ค.
@teddynote
ะะน ะฑาฑััะฝ
๋ด์ฉ์ด ๋ง์์์~ ์ฐจ๊ทผ์ฐจ๊ทผ ํด๋ณด์ญ์ผ~ ๋ฝ์ดํ ์ ๋๋ค~
์์ฐ...๊ฐ์ฌํฉ๋๋ค!
@teddynote
ะะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค๐
๊ณ ๊ธ์๋ฃ ์ค๋ช ๊ฐ์ฌํฉ๋๋ค ^^/
@teddynote
ะะน ะฑาฑััะฝ
๋์์ด ๋์ จ์ผ๋ฉด ์ข๊ฒ ์ต๋๋ค^^
์์ฐ... ๊ฐ์ฌํฉ๋๋ค.
@teddynote
ะะน ะฑาฑััะฝ
์์ฒญํด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค^^
๊ฐ์ฌํฉ๋๋ท!!!
@teddynote
ะะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค๐
Thanks!
์ฌ๋ด์์ LLM์ ๋งก๊ฒ๋์ด์ ๋ณต์กํ๋๋ฐ ๋ง์ ๋์ ์ป์ด๊ฐ๋๋ค ์์ฑํด์ฃผ์ ์ํค๋ ์ค๋ ์ ๋ ํ๊ณ ์์ต๋๋ค ใ ใ
@teddynote
ะะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค ์์ฃผ ๋๋ฌ ์ค์ธ์~๐
๋์ , ์ปจํ ์ธ , ๋ฌด๋ฃ ๊ณต์ ๊น์ง ์ด๊ฒ ํํฉ์ด์ง
@teddynote
ะะน ะฑาฑััะฝ
์์จ์ผ~๐ซก
ํ๋ ์ฌ๋ํด์โค
@teddynote
ะะน ะฑาฑััะฝ
์คํ์ด ์๋ฝ์ ํฌ๐ซฐ
์ค ์ฌ๋ฐ๋ ํ๋ก์ ํธ๋ค์.
@teddynote
ะะน ะฑาฑััะฝ
๊ตฌํํ๋ ๋์ ์ฌ๋ฐ์์ต๋๋ค^^
์ ํฌํ๊ฒฐ๊ณผ๋ฅผ ๊ทธ์ ๋ฐ์์ ใทใท ์ํต๊ฐ์ด์ธ์๐
@teddynote
ะะน ะฑาฑััะฝ
ํฌํ ์ฌ๋ ธ๋ค๊ฐ ์ด๋ฒ์ ์ฌ๋ ๊ณ ์ํ์ต๋๋ค~ ใ ใ ๊ทธ๋๋ ๋๋ฌด๋๋ฌด ์ฌ๋ฐ๊ฒ ๋ง๋ค์ด๋ดค์ด์~ ์์ผ๋ก๋ ์ข์ ์์ด๋์ด ๋ง์ด ๋์ ธ ์ฃผ์ธ์~
๋ฐฐ๊ฒฝ์ง์์ด ๋ถ์กฑํด์ ์์ ํ ์ดํด๋ ์๋๋, ํ๋ฆ์ ํ์ ํ์ต๋๋ค. ์ฐ์ตํด๋ด์ผ๊ฒ ์ด์ ๐ ์๋ก์ด ๋ด์ฉ ๊ณ ๋ง์ต๋๋ค ๐
@teddynote
25 ะบาฏะฝ ะฑาฑััะฝ
๋ต ๋ฝ์ดํ ์ ๋๋ค^^
์ด๊ฑด ์ผ์ข ์ ๋ฉํฐ๋ชจ๋ฌ์ ๋ก์ปฌ๋ก ๊ตฌํ๊ฑฐ๊ฐ ๋๊ฒ ๋ค์ ใ ใ ์ข์ ์ ๋ณด ๋ฐ์๊ฐ๋๋ค!
@teddynote
ะะน ะฑาฑััะฝ
์บ์ฌํฉ๋๋ค~ ๐๐๐
ํญ์ ์ ๋ณด๊ณ ์์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค ใ ใ ํน์ LM Studio๋์ Ollama์ด์ฉํด๋ ๊ตฌํ์ด ๊ฐ๋ฅํ ๊น์?
@teddynote
ะะน ะฑาฑััะฝ
๊ทธ๋ผ์~ ๋ฉ์นด๋์ฆ์ ๋์ผํฉ๋๋ค~^^
์ข์ ์์ ๋๋ฌด ๊ฐ์ฌํฉ๋๋ค. ํ๊ต ๋ชฝ์คํ ๋ฉ๋ชจ..
@teddynote
6 ะบาฏะฝ ะฑาฑััะฝ
ใ ใ ใ ๋ง์ง์ ๋๋ค.... ๋ฉ๋ชจ...
๊ฐ์ฌํฉ๋๋ค!! ๊ทธ๋ฆฌ๊ณ , xionic๋ ๋๋ฌด ๊ณ ๋ง๋ค์. ๋ก์ปฌ์ ์ค์นํด๋ ์๋๋ ์๋์ค๊ณ , lamma3 ์ด๋ป๊ฒ ํด์ผ ํ๋ ๊ณ ๋ฏผ์ค์ด์๋๋ฐ์. ใ .ใ
@teddynote
ะะน ะฑาฑััะฝ
์ฌ์ด์ค๋ ๋๋ฌด ๊ฐ์ฌํ์ฃ ใ ใ
์ฃผ๋ณ์ agent ๊ฐ์๊ฐ ์์ด์ ๋ต๋ตํ๋๋ฐ ์ ๋ง ๊ฐ์ฌํฉ๋๋ค ํน์ TOOL์ Importํด์ ์ฐ๋๊ฑฐ ๋ง๊ณ ๊ฐ์ธ์ด define ํ Tool๋ฅผ ์ฌ์ฉํ ์๋ ์์๊น์?
@teddynote
23 ะบาฏะฝ ะฑาฑััะฝ
๋ค ๊ฐ๋ฅํฉ๋๋ค ์ปค์คํ ํด ์ ์ํ ์ ์์ด์~
๊ฐ์ฌํฉ๋๋ค ์ ์๋๐๐ ํ๋ ๊ถ๊ธํ๊ฒ ์๋๋ฐ, LLM์ผ๋ก ์๋ํ์ (์๋๋ถ๋ฅ) ํ์ ๊ฐ ์๋์ ๋ฐ๋ผ ๋ค๋ฅธ ์ข ๋ฅ์ ๋ฌธ์๋ฅผ ๊ฒ์(retreiver)ํ๊ณ ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ํ ๋๋ก RAG๋ฅผ ํ๋ ๊ฒ์ ๋ง๋ค๊ณ ์๋๋ฐ langchain, langchain agents๋ฅผ ์ฐ์ง์๋๋ผ๋ ๋ฌธ์ ์์ด ๋๊ธด ํฉ๋๋ค. ์ด ๊ฒฝ์ฐ์ langchain agents๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ์์ผ๋ก ๋ฐ๊พผ๋ค๋ฉด ์ฝ๋์ ํ๋กฌํํธ์ ๊ด๋ฆฌ ๋ฐ ํ์ฅ์ ์ฉ์ํ๋ค๋ ์ ์ธ์ ๋ค๋ฅธ ์ฅ์ ์ด ์์๊น์?
@teddynote
ะะน ะฑาฑััะฝ
agent ์ ๊ฐ์ฅ ํฐ ์ฅ์ ์ ๋๊ตฌ ํ์ฉ์ธ๋ฐ์. ์์ llm ๋ณด๋ค ๋๊ตฌ๋ฅผ ๊ฐ์ง agent ๋ฅผ ์ฌ์ฉํ๊ฒ ๋๋ฉด ์ ๋ณด ๊ฒ์์ ๋ ์ ์ฐํด์ง๊ฒ ๋ฉ๋๋ค. ์๋ฅผ ๋ค์ด, ๋ฌธ์ ๊ฒ์์์ ์ํ๋ ๋ด์ฉ์ด ์ถฉ์กฑ๋์ง ์๋ ๊ฒฝ์ฐ search ๋๊ตฌ๋ก ์ฐพ์์ ๋ณด์ํ ์๋ ์๊ตฌ์. ํ์ง๋ง ์ง๊ธ์ RAG ์๋ ๋ง์กฑํ๋ค๋ฉด ๊ตณ์ด agent ๋ก ๋ณ๊ฒฝํ์ค ํ์๊น์ง๋ ์์ต๋๋ค^^
@user-cc3fj9pi1h
ะะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค ์ ์๋!
์๋ ํ์ธ์~ ์ข ๋ค๋ฅธ ์ง๋ฌธ์ธ๋ฐ.. groq ์์์ฃ ? ์ ์ธ์ ์๋๋ก ๋ต๋ณ์ ๋ฑ์ด๋ด๋.. ๋ผ๋ง3 70B๋ฅผ ๋๋ ค๋ ํ๊ธ์ ์ด๋น 300ํ ํฐ ์ด์ ๋ฑ์ด๋ด๋๋ฐ์. ์์ด๋ ๋๋ฐฐ์ ๋ ๋ ๋น ๋ฅด๊ณ ์. ์ฐ๋ฆฌ ์ฑ๋ด ์๋น์ค๋ฅผ ๋ผ๋ง3 + groq๋ฅผ ์ฌ์ฉํด์ ์ด์คํผ๋๋ก ์๋น์ค ํ ์๋ ์๋๊ฑด๊ฐ์?? ์ ๊ฐ ์๋ชป์๊ฐํ๊ณ ์๋๊ฑด์ง.. groq์ด ๋ฌด์จ ๊ฐ๋ ์ด๊ณ ์ฑ๋ดRAG์ ๊ฐ๋ฐํ๊ณ ๋ฐฐํฌํ๋ ์ด๋๋จ๊ณ์ ๋ฌด์์ ๋์ฒดํด์ ๋ค์ด์ค๋๊ฑด์ง ๊ถ๊ธํฉ๋๋คใ
@teddynote
ะะน ะฑาฑััะฝ
groq์ LPU ๋ผ๋ LLM์ ์ํ์ฌ ํนํ๋ ์นฉ์ ์ ๋๋ค. ์ฆ ๋ฐ๋์ฒด์ธ๊ฑฐ์ฃ . CPU -> GPU -> LPU ์์๋ก ์ถ๋ก ์๋๊ฐ ๋นจ๋ผ์ง ๊ฒ์ด๊ณ ์. ๊ธฐ์กด์ GPU๋ฅผ ๋์ฒดํ ์ ์๋ค๊ณ ๋งํ ์ ์๊ฒ ๋ค์~ ์์ธํ ๋ด์ฉ์ ๊ตฌ๊ธ๋ง ํ์๋ฉด ๊ด๋ จ ๋ธ๋ก๊ทธ๊ธ์ด ๋ง์ด ๋์ ์์ต๋๋ค. ํ ๋ฒ ์ฐธ๊ณ ํด ๋ณด์ธ์~^^
@Dr.Ahn.
ะะน ะฑาฑััะฝ
@@teddynote ์.. API์ฒ๋ผ ์ฌ์ฉํ๋๊ฒ ์๋๋ผ.. LPU ๊ฐ๋ฐํ ์ ์ฒด์์ ์ง๊ธ์ ๋จ์ํ ์ฒดํํ ์ ์๊ฒ ํด๋์๊ฑฐ๊ตฐ์. ๊ฒฐ๊ตญ์ LPU ํ๋์จ์ด๋ฅผ ์ฅ์ฐฉํด์ผ๋๋๊ฒ์ด๊ณ ..
@teddynote
ะะน ะฑาฑััะฝ
@@Dr.Ahn. ๋ค ๋ง์น ์์ ์ ๊ทธ๋ํฝ์นด๋(GPU) ๋ฌ์ ๋๊ณ ๊ฒ์ ์ผ๋งํผ ๋ถ๋๋ฝ๊ฒ ๋์๊ฐ๋์ง ๋น๊ต ๋ฐ๋ชจ ๋ณด์ฌ์ฃผ๋ฏ์ด์^^
ํ ๋๋! ์ ๋ ํ ๋๋์ฒ๋ผ ์ฐ๊ตฌ๋ณด๋ค๋ ๊ฐ๋ฐ์ ๊ด์ฌ์ด ๋ง์ต๋๋ค! ํน์ ๊ธฐ์กด NLP ๋ ผ๋ฌธ๋ค์ ๋ง์ด ์ฝ์ผ์ จ๋์??
@teddynote
ะะน ะฑาฑััะฝ
ํ์ํ ๋ ๊ณจ๋ผ์ ์ฝ์์ต๋๋ค. ๋๋ก๋ ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ ์์์ด๋ ์ ์ ๋ฆฌ๋ ๊ธ์ ๋จผ์ ๋ณด๋ ๊ฒ๋ ๋์์ด ๋์์ด์. ์ ๋ ๊ทธ๋๋ code ์ดํดํ๋ ๊ฒ์ด ๋ ํธํ ์ฌ๋์ด๋ผ paperswithcode.com ์ ์ ์ฉํฉ๋๋ค~
@user-kj5ci9ro1p
ะะน ะฑาฑััะฝ
@@teddynote ๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค! ํ ๋๋๊ป์ ๋ฐ์ ์์ ๋ฐํํ์ จ๋ ๊ฒ์ฒ๋ผ ํ๋ก๋ํธ๋ฅผ ๋ง๋๋ ์ผ์ ํ๋๊ฒ ๋ชฉํ์ธ๋ฐ, NLP ๊ด๋ จ ๋ ผ๋ฌธ์ ์ญ ์ดํดํด๋ณด๋๊ฒ ์ผ๋ง๋ ๋์์ด ๋ ์ง ๊ถ๊ธํฉ๋๋ค..! ์ฐ์ ์์๋ฅผ ์ ๋ชจ๋ฅด๊ณ์ต๋๋ค
@teddynote
ะะน ะฑาฑััะฝ
@@user-kj5ci9ro1p LLM ์ชฝ ๊ฐ๋ฐ์ ์ ์ผ ์ด๋ ค์ด ์ ์ด ๊ฐ๋ฐ & ๋ ผ๋ฌธ & ์ํ ๋ชจ๋ ๋ค ์ํด์ผ๋๊ณ , ๊ฒ๋ค๊ฐ ๋(GPU) ๋ ๋ง์์ผ ๋๋ค๋ ์ ์ธ ๊ฒ ๊ฐ์์ ใ ใ ๊ทธ๋ฐ๋ฐ ์ ๋ ์ฐ์ ์์๋ฅผ ๋๊ณ ๊ณต๋ถํด ๋๊ฐ๊ธฐ ๋ณด๋ค "ํ๋ก์ ํธ" ๋ฅผ ๋จผ์ ์ก๊ณ ์ด๋ฅผ ํด๋๊ฐ๋ ํ์ํ ๊ฐ๋ฐ ์ง์์ ์ต๋ํ๊ณ , ์ฑ๋ฅ ๊ฐ์ ์ ์ํ ๋ ผ๋ฌธ์ ๋ณด๊ณ , ์ํ์ด ์ด๋ ค์ฐ๋ฉด ์ํ ๊ด๋ จ ์ง๋ฌธ๋ ํ๊ณ GPT ๋ ์ฌ์ฉํด ๋ณด๊ณ ํด๋๊ฐ๋ฉด์ ์์ผ๋ก ์กฐ๊ธ์ฉ ์ ์งํ๋ค๋ณด๋ฉด ์ด๋ ์ ํ๊ณ๋จ ์ฌ๋ผ์์๋ ๋๋์ ๋ฐ์์ต๋๋ค. ์ด ๊ณผ์ ์ 10๋ฒ 100๋ฒ ๋ฐ๋ณตํ๋ค๋ณด๋ฉด ์์ฐ์ค๋ฝ๊ฒ balance ์๊ฒ ์ฑ์ฅํ์ง ์์๊นํฉ๋๋ค. ๊ทธ์น๋ง ์ด๊ฑด ์ ์๊ฒ ๊ฐ์ฅ ์ ๋ง๋ ๋ฐฉ์์ด๊ตฌ์. ์ฌ๋๋ง๋ค ๋ณธ์ธ์๊ฒ ์ ๋ง๋ ๋ฐฉ์๊ณผ ๊ฒฌํด๊ฐ ๋ค๋ฅด๊ธฐ ๋๋ฌด์ ์ฌ๋ฌ ๋ช ์ ์๊ฒฌ์ ํ ๋ฒ ๋ค์ด๋ณด์๊ณ ๊ฒฐ์ ํ์๋ ๊ฒ์ด ์ ์ผ ์ข์ต๋๋ค^^
@user-kj5ci9ro1p
ะะน ะฑาฑััะฝ
@@teddynote ์ ์ฑ์ค๋ฐ ๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค!
์๋ ํ์ธ์ ํ ๋๋ ธํธ๋ ์ข์ ์์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค! 4:29 ๋ฅผ๋ณด๋ค ์ง๋ฌธ์ด ์๊ฒจ์ ์ฌ์ญ๊ณ ์ํฉ๋๋ค. ์ด ์น๊ฒ์์ ํ๋ ์์ด์ ํธ์ ํฌ๋กค๋ฌ์ ์ฐจ์ด๋ฅผ ๋ง์ฐํ๊ฒ ์๊ฒ ๊ฐ์ต๋๋ค. ์ด ๋๊ฐ์ ์ฐจ์ด๋ฅผ ๋ ๋ช ํํ๊ฒ ์๊ณ ์ถ์๋ฐ ์๊ฐ ๋์๋ฉด ๋ต๋ณ ๋ถํ๋๋ ค๋ ๋ ๊น์?
@teddynote
16 ะบาฏะฝ ะฑาฑััะฝ
ํฌ๋กค๋ง์ ์ฃผ์ด์ง ์ ๋ณด๋ง ์กฐํํ๋ ค ๊ฐ์ ธ์ต๋๋ค. ์ ๋ณด๋ฅผ ํ์ฉํ์ฌ ๊ฐ๊ณตํ์ง๋ ์๊ณ ์ ๋ณด๋ฅผ ๊ฐ์ ธ์ค๋ ํ์๊น์ง๊ฐ ํฌ๋กค๋ง์ ๋๋ค. ์น๊ฒ์ ์์ด์ ํธ๋ ์น ๊ฒ์์ ํตํด ์ค์ค๋ก ํ๋จํ์ฌ ๋์์ด ๋๋ ์ ๋ณด๋ฅผ ๊ฐ์ ธ์ต๋๋ค. ์ฌ๊ธฐ์ ์ ๋ ฅํ๋ ๊ฒ์์ด๋ AI๊ฐ ์ค์ค๋ก ์ ์ํฉ๋๋ค. ๊ฒ๋ค๊ฐ ์กฐํํ ์ ๋ณด๋ฅผ ๋ฐํ์ผ๋ก ์ฌ์ฉ์์ ์ง๋ฌธ์ ๋ํ ๋ต๋ณ์ ์์ฑํฉ๋๋ค. ์์ด์ ํธ๋ ๋จ์ ์น๊ฒ์์ ๋์ด์ ๋ฐ์ดํฐ ๋ถ์์ ํ๊ฑฐ๋ ๋ณด๊ณ ์๋ฅผ ์์ฑํ๊ฑฐ๋ ๋ฑ๋ฑ์ ์ง๋ฅ์ ๊ฒธ๋นํ ์์ ์ ์ํํ ์ ์๋ค๋ ๊ฒ์ด ๊ฐ์ฅ ํฐ ์ฐจ์ด์ ์ ๋๋ค^^
@1st_meme_shorts
16 ะบาฏะฝ ะฑาฑััะฝ
@@teddynote ํจ์ฌ ๋ ๋ฅ๋์ ์ด๋ผ๋๊ฒ ์์ด์ ํฌ์ ํน์ง์ด๊ฒ ๋ค์ ํ๋ฒ์ ์ดํดํ์ต๋๋ค ๋ต๋ณ ๊ฐ์ฌ๋๋ ค์!
๊ฐ์ฌํฉ๋๋ค. ์์คํ ๋ด์ฉ ์ ๋ณด๊ณ ๋ฐ๋ผ ํด ๋ณด๊ณ ์๋๋ฐ.. ์ ๋ ์ด์ํ๊ฒ ๊ฒฐ๊ณผ๊ฐ ๋ค๋ฅด๊ฒ ๋์ค๋ฉด์ ๋ํ llm์์ ๋ฉ์ถ์ง ์๊ณ ํด์ ์คํํด์ ๋ต๋ณ์ ์ฃผ๋ค์.. ๋ํ llm ๊ธฐ๋์์ ์ค์ ๊ฐ์๊ฒ ๋ฌธ์ ๊ฐ ๋ ๊น์?
@teddynote
ะะน ะฑาฑััะฝ
ํน์ LM Studio ์์ ๋ชจ๋ธ์ temperature ๊ฐ์ ์ค์ ํ ์ ์๋๋ฐ์. 0 ์ด๋ 0.1 ๋ก ์ค์ ํ ํ ๋ฒ ๋๋ ค๋ณด์๊ณ ์๋์๋ฉด ๋ง์ํด ์ฃผ์ธ์^^
@taekjinjun
ะะน ะฑาฑััะฝ
@@teddynote ๋ต๋ณ ๋๋ฌด ๊ฐ์ฌํฉ๋๋ค. LM Studio์์ temperature๊ฐ์ 0์ผ๋ก ํด๋ ๊ฒฐ๊ณผ๋ ๋น์ทํ ๊ฒ ๊ฐ์ต๋๋ค ^^; ์คํ๊ฒฐ๊ณผ๋ฅผ ์ฌ๊ธฐ์ ๋จ๊ธฐ๋ ค ํ๋๋.. ๊ธ์ ์ ํ์ ๊ฑธ๋ฆฌ๋ ๊ฒ ๊ฐ๋ค์..
์ฒ์์ LM Studio ๋์ Ollama๋ฅผ ์ฌ์ฉํด์ ๊ตฌํํ๋ ค๊ณ ํ๋๋ฐ llama3๋ก response๋ฅผ ๋ฐ์์ฌ๋ Observation์์ ๋ฉ์ถ๋๊ฒ ์๋๋ผ Action์ ๋ฆฌํดํ๊ณ "Invalid or incomplete response"๋ฅผ ๋ฆฌํดํ๋ค์ ๋ค์ Chain์ ์์ํ๋ค์ ํน์ ๋ฉ์ถ๊ฒ ํ๋ ๋ฐฉ๋ฒ์ด ๋ฐ๋ก ์์๊น์?
@teddynote
21 ะบาฏะฝ ะฑาฑััะฝ
Ollama ๋ฅผ ์ฌ์ฉํ์ค๋ ํ ํ๋ฆฟ์ ๋จผ์ ์ ์ค์ ๋์ด ์๋์ง ํ ๋ฒ ํ์ธํด ์ฃผ์๊ธฐ ๋ฐ๋๋๋ค. ํ ํ๋ฆฟ์ด ์ด๋ป๊ฒ ์ค์ ๋์๋๊ฐ์ ๋ฐ๋ผ ์ฌ๋ฐ๋ฅด๊ฒ ๋์ํ์ง ์์์ ์์ด์!
15:20 ์ ๋์ค๋ tool ์ด๋ฆ์ด ์ด๋ป๊ฒ ๋ ๊น์..? ๋ญ์ฒด์ธ ๋ก๊ณ ๊ฐ ์๋๊ฑธ๋ด์ ๋ญ์ฒด์ธ ๋ด์ฅ ๊ธฐ๋ฅ ์ผ๊น์? ์ปคํผ๊ฐ ์กฐ๊ธ ํ์ํ์ต๋๋ค ใ ใ
@teddynote
ะะน ะฑาฑััะฝ
์์ด์ฝ... ํ์ ๊ฐ์ฌํฉ๋๋ค... ํฐ ๊ธ์ก์ ํด์ฃผ์ จ๋ค์...๊ฐ์ฌํ ๋ง์์ผ๋ก ๋ง์๋ ๊ฒ ์ฌ๋จน๊ฒ ์ต๋๋ค! tool ์ ๋ญ์ฒด์ธ์ ํตํฉ๋ ๋ด์ฅ ํด์ด๊ณ ์ ์์์์๋ ์ธํฐ๋ท ๊ฒ์ ๋๊ตฌ์ธ tavily search ์ ๋ฌธ์ ๊ฒ์ ๋๊ตฌ์ธ retrieval ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ต๋๋ค^^
์๋ ํ์ธ์ !! ์์ ๋๋ฌด ๊ฐ์ฌํฉ๋๋ค!! ํน์ GGUFํ์ผ ๋ณํ์ ์ด๋ป๊ฒ ํ ์ ์์์ง ์ ์ ์์๊น์? FINE TUNINGํ ํ์ llama.cpp๋ก ์ฒ๋ฆฌํ๋ ค ํ๋ฉด ์ด๋ฏธ ์์ํ ๋์ด์์ด์ ์ฒ๋ฆฌํ ์ ์๋๊ฑธ๋ก ๋์ต๋๋ค ใ
@teddynote
ะะน ะฑาฑััะฝ
convert hf to gguf ๋ก ๋ณํํ์ค ์ ์์ด์!
@user-ny2qv7zq2b
ะะน ะฑาฑััะฝ
@@teddynote ๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค! ํด๋น colab ํ๊ฒฝ์์ llama3๋ฅผ qlora๋ก fine tuningํ ํ, model.save_pretrained(๊ฒฝ๋ก), tokenizer.save_pretrained(๊ฒฝ๋ก) ํ์ ์๋์ ๊ฐ์ด ์์ฑํ๋๋ฐ, ''PreTrainedTokenizerFast' object has no attribute 'added_tokens_decoder''์ค๋ฅ๊ฐ ๋ฐ์ํฉ๋๋ค..ใ ํน์ ๋ก์ปฌ์์ ์งํํ์ ๋ฐฉ๋ฒ์ด ์์ผ์ ์ง ๊ถ๊ธํฉ๋๋ค!! (tokenizer.model์ด ์๋ค๊ณ ๋ ๋จ๋ค์...!!) !python /convert-hf-to-gguf.py Llama-pdf-Ko-3-8B \ --outfile llama3-custom-Q8-v1.gguf \ --outtype q8_0
@teddynote
ะะน ะฑาฑััะฝ
@@user-ny2qv7zq2b finetuning ํ์ ๋ค์์ merge ํด์ huggingface repo ์ ๋จผ์ ์ ๋ก๋๋ฅผ ํด์ฃผ์๊ณ ์. ๊ทธ ๋ค์์ ํด๋น ํ์ผ์ convert hf to gguf ๋ก ๋ณํํ์ค ์ ์์ด์~ (์ ๋ฌผ๋ก ๊ผญ huggingface ์ ์ ๋ก๋๋ฅผ ํด์ผ ํ๋ ๊ฒ์ ์๋๊ณ ์. ์ผ๋จ ๋ฐฑ์ ์ฐจ์์์ ์ ๋ก๋ ํด๋๊ณ ์งํํด ๋ณด์๋ ๊ฒ์ ์ถ์ฒ ๋๋ฆฝ๋๋ค)
Taskํด๋ง ๋ถ์ด๋ฉด AGI ๋๋ ๊ฑด๊ฐ์?ใ ใ
@teddynote
ะะน ะฑาฑััะฝ
ใ ใ ๊ถ๊ทน์ ์ธ ๋ชฉํ์ ๋๋ค
xionic-ko-llama-3-70b๋ฅผ ์ฌ์ฉํ๋๊ฒ ์๋ llama3-70B ๋ชจ๋ธ์ ๋ฐ๋ก ์ฌ์ฉํด์ ์งํํ๋ ๋ฐฉ๋ฒ์ ์์๊น์..? APIํค๋ก ๊ณต๊ฐ๋ ๋ชจ๋ธ์ด๋ผ ์ง์ ์๋น์ค๋ฅผ ๋ง๋ค๊ฑฐ๋ ํ ๋๋ ์ฌ์ฉํ ์ ์๋ค๋ณด๋ ์์ฝ๊ฒ ๋๊ปด์ ธ์ ์ฌ์ญค๋ด ๋๋ค.
@teddynote
ะะน ะฑาฑััะฝ
๋ฐ๋ก ์ฌ์ฉํ์ค๋ ค๋ฉด GPU๊ฐ ์ฌ๋ฌ์ฅ ์์ด์ผ ์ํํ ์ถ๋ก ์ด ๊ฐ๋ฅํด์(์์ํ๊ฐ ์๋๋ผ๋ ๊ธฐ์ค) GPU ๊ฐ ์๋ค๋ฉด 70B ๋ชจ๋ธ์ ๋ค์ด๋ก๋ ๋ฐ์์ ํ์ธํ๋ํ์ฌ ์ฌ์ฉํ์ค ์ ์์ต๋๋ค^^
@meca_p
ะะน ะฑาฑััะฝ
@@teddynote quantized ๋ชจ๋ธ์ ollama๋ก ์๋นํด์ ChatOpenAI jsonํ์์ผ๋ก ๋ฐ์์ ํด๋ณด๊ณ ์๋๋ฐ json parsing๋ฌธ์ ๋๋ฌธ์ Modelfile template์ ๊ฑด๋๋ ค์ผํ๋๋ผ๊ตฌ์.. ๋ก์ปฌ์์ ๊ตฌํํด๋ณด๋ ค๋ค๋ณด๋ ์๊ฐ๋ณด๋ค ๋งํ๋ ๋ถ๋ถ์ด ๋ง๋ค์
@teddynote
ะะน ะฑาฑััะฝ
@@meca_p json parsing ๋ฌธ์ ๋ ์์ฝ๊ฒ๋ ๋ก์ปฌ ๋ชจ๋ธ์ ํํ ๋ฐ์ํ๋ ๋ฌธ์ ์์. ์ ๋ง ํ๋กฌํํธ ์ ๊ตํ๊ฒ ํ๋ํด์ผ ํด๊ฒฐ ๋๋ ์ฌ๋ก๊ฐ ์๊ณ , ๋๋ ๋ชจ๋ธ์ ์ธํ ๋ฆฌ์ ผ์ค ๋์ผ๋ฉด ์ ๋ฆฌํ๋ฐ, 70B ์์ํ ํ ๋ชจ๋ธ์ ์ ๋ณด loss ๊ฐ ์ปค์ ์ต๋ํ ์์ํ๊ฐ ๋ ๋๊ฑฐ๋ ํน์ ์์ ์ํ ๋ชจ๋ธ๋ก ๋๋ ค์ผ ํ๋ ๊ฒ์ด ๊ถ์ฅ๋ฉ๋๋ค. ๊ทธ๋ฐ๋ฐ ๊ทธ๋ฐ GPU ์์์ด ๋ณดํต ๊ฐ์ธ์ด ์๊ธฐ ๋๋ฌธ์ ํ๋ ๊ฒ์ด ํ์ค์ด์ฃ . ๋ฐ๋ผ์ ๊ฐ์ฅ ํ์ค์ ์ธ ๋ฐฉ์์ json parsing ์ ์ ํ๋๋ก ํ์ธํ๋์ ํ๋ ๊ฒ์ด ๊ทธ๋๋ง ํ์ค์ ์ผ๋ก ์ฐ๋ฆฌ ๋ ธํธ๋ถ์์ ๋๋ฆด ์ ์๋ ๋ฐฉ๋ฒ ๊ฐ์์. ์์ผ๋ก ์ด ๋ถ๋ถ์ ์ ๋ ์ฃผ์ํ๋ฉด์ ์๋ก์ด ๋ด์ฉ ์์ผ๋ฉด ๊ณต์ ๋๋ฆด๊ป์^^
์ ๋ง ๋ง์ ๋์์ด ๋๊ณ ์์ต๋๋ค. ๊ทธ๋ฐ๋ฐ ์ค๋์ ๋ง์ด ๋๋ฌด ๋น ๋ฅด๋ค์ ์๋๋ฅผ 0.9์ ๋๋ก ์ค์ฌ์ ๋ค์ผ๋ ๋ค์๋งํ๋ฐ ์๋๋ฅผ ์ค์ด๋ ์๋ฆฌ๊ฐ ๋๊ฒจ์ ์ข ์์ฌ์์. ํญ์ ๊ฐ์ฌํฉ๋๋ค!
@teddynote
ะะน ะฑาฑััะฝ
๋ค์๋ถํฐ๋ ๋ง์ ์ข ๋ ์ฒ์ฒํ ํด๋ณด๊ฒ ์ต๋๋ค๐ ์ค๋ช ํ๋ค๋ณด๋ ์๊พธ ๋ง์ด ๋นจ๋ผ์ง๋ค์ ใ ๐ฅน
dolphin~~
๋ํ์ด 6๋ฒ์์ ์์ ์คํ์ด ์๊ฑธ๋ฆฌ๊ณ ๊ณ์ ํผ์ ๋ฌดํ๋ฃจํ ๋์์ 4๋ฒ์์ ์ xionic๋์ ์ ๋ํ์ผ๋ก ๋ฐ๊พธ๋๊น ์ ๋์ํฉ๋๋ค!
@teddynote
ะะน ะฑาฑััะฝ
์์ฐ ๊ฟ์ ๋ณด ๊ฐ์ฌํฉ๋๋ค!!
@cccccccccccccccccc
ะะน ะฑาฑััะฝ
@@teddynote ์ง๊ธ ๊ณ์ ํด๋ณด๊ณ ์๋๋ฐ agent_scratchpad๋ฅผ ์ฌ์ฉํ ์ค ๋ชจ๋ฅด๋ ๊ฒ ๊ฐ์ต๋๋ค..ใ ใ
@teddynote
ะะน ะฑาฑััะฝ
@@cccccccccccccccccc ๋ํ์ด ๋ฌธ์ ๋ผ๋๊ฑฐ์ฃ ? ํน์ ๋ํ ์์ํ ๋ฒ์ ๋ญ ์ฐ์ธ์?
@cccccccccccccccccc
ะะน ะฑาฑััะฝ
@@teddynote Q6_K์ฐ๊ณ ์์ต๋๋ค. ์ ์๊ฐ์๋ ์๋ง ๋ฒ์ ์ ๋ฐ๋ผ ๋์์ด ๋ฌ๋ผ์ง๋ ๋ฏ ํฉ๋๋ค.
@cccccccccccccccccc
ะะน ะฑาฑััะฝ
์ง๋ฌธ์ ํ๋ฒ์ ์ฌ๋ฌ๊ฐ ๋์ง๋ฉด ๋ชจ๋ ๊ฒฐ๊ณผ๊ฐ ๋์ฌ ๋๊น์ง ์ฌ๋ฌ๋ฒ ํ์์ํ๊ณ ํด ํ๋ฒ๋ง ์ฌ์ฉํด์ ๊ฒฐ๋ก ์ ๋ด๋ฆฌ๋ค์.
๋ชฝ์คํ์์ ๊ด๊ณ ๋น ๋ฐ์ผ์ ๋ ๋ ๋ฏ์.
@teddynote
ะะน ะฑาฑััะฝ
์๋ฌด๋๋ ๊ทธ๋์ผ๊ฒ ์ฃ ? ใ ใ
๋์ค์ฝ๋ ์ด๋์ฅ ๋ง๋ฃ๋์์ต๋๋ค ใ ๐ข
@teddynote
ะะน ะฑาฑััะฝ
์ฃ์กํฉ๋๋ค ์ด๋์ฅ ๋งํฌ ์ ๋ฐ์ดํธ ํด๋์์ด์!!๐
๋ฐ๋ผํ ์์์์ง ใ ๐
@teddynote
ะะน ะฑาฑััะฝ
์ด์ฐ ๊ทธ๋ผ์ ์คํ ๋ฐ์ด์คํ ์ผ๋ก ์ฐฌ์ฐฌํ~~