#llama3
๐ ๋ฉ๋ด์ผ:
github.com/teddylee777/langse...
๐ป ์ฝ๋:
github.com/teddylee777/langse...
๐ ๋ญ์ฒด์ธ ํํ ๋ฆฌ์ผ ๋ฌด๋ฃ ์ ์์ฑ
(wikidocs)
wikidocs.net/book/14314
โ
๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ ์ฝ๋์ ์ฅ์(GitHub)
github.com/teddylee777/langch...
โญ๏ธ ๊ฐ์ ํ๋ณด โญ๏ธ
LangChain + ChatGPT + Streamlit ๊ฐ์(VOD ๊ฐ์)
์๋์ ์ฌ์ ๋ฑ๋ก์ ํ์๋ฉด ๊ฐ์ ์คํ ํ ์๋ฆผ์ ๋ฐ์กํด ๋๋ฆด ์์ ์ด๋ฉฐ, ํ ์ธ ์ฟ ํฐ๋ ๊ฐ์ด ์ ๊ณตํด ๋๋ฆฝ๋๋ค.
๐ LangChain + ChatGPT + Streamlit ๊ฐ์ ์ฌ์ ์๋ฆผ ์ ์ฒญ ๐๐
๋งํฌ: forms.gle/buoXoiey7YHrVXVq9
#ollama #langchain
---
๐ ๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ(๋ฌด๋ฃ ์ ์์ฑ
): wikidocs.net/book/14314
๐ ํ
๋๋
ธํธ(๊นํ ๋ธ๋ก๊ทธ) : teddylee777.github.io
๐ป GitHub ์์ค์ฝ๋ ์ ์ฅ์: github.com/teddylee777
๐ฟ LLM ํ๋ก์ ํธ: llm.teddynote.com
ะัะบััะปะตั: 104
์ต๊ณ ์ ๋๋ค!! ์ข์ ๊ฐ์ ๊ฐ์ฌํด์!
@teddynote
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค โบ๏ธ
๊ธฐ๋ค๋ ธ์ด์!
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ฆ์ง ์๊ฒ ๋ค๊ณ ์์ต๋๋ค~!
๊ฐ์ฌํฉ๋๋ค!! ์ต๊ณ ์ ๋๋ค
@teddynote
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค~๐ซก๐ซฐ๐
๊ฐ์ฌํด์ ๋์ ๋ง์ด ๋์์ต๋๋ค
@teddynote
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค๐๐
๊ถ๊ธํ๋์ฐจ์ ์ ๊ธฐ์ ์ฌ๋ ค์ฃผ์ จ์ด์. ๊ฐ์ฌํฉ๋๋ค.
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ฆ ๋๋ฌด ๋นจ๋ฆฌ๋นจ๋ฆฌ ๋์์ ์์ ๋ง๋ค๊ธฐ ํ๋ญ๋๋ค๐ญ๐ญ๐ญ๐ญ๐ญ
๊ฐ์ฌํฉ๋๋ท!!
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ ์์ํด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค!!
๊ฐ์ฌํจ์ ๋ด์์ ๊ฐ์ ํ์ต๋๋ค
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ด์ฟ ~ ๊ฐ์ ๊ฐ์ฌํฉ๋๋ค~ ๐๐๐
์ข์์! ๋๋ฅด๊ณ ์์ฒญ ํฉ๋๋ค. ^^
@teddynote
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค!! ๐๐๐
์ค๋ ์๋ฒฝ์ ๋์๋๋ฐ ๋น ๋ฅด์๊ตฐ์!! ใ ใ ใ
@teddynote
2 ะฐะน ะฑาฑััะฝ
ํธ๋ ๋์ ์ฌ๋ผ ํ์ผ์ฃ ๐คค
ํ์ฌ์์ ์ง์ํด์ฃผ๋ ํ ๋๋ ํ์ด์ฌ๊ฐ์ ๋ฃ๊ณ ์ ๋ฌธํ์๋๋ฐ.. ์ฐ์ฐํ ์ ํ๋ธ ์๊ณ ๋ฆฌ์ฆ์ ๋ฏ์ต์ ๋ชฉ์๋ฆฌ๊ฐ ๋ค๋ ค ํ ๋๋์ ์์๋ดค์ด์ ใ ใ ์ ํ๋ธ๋ ์ ๋ณด๊ณ ์์ด์ ์ข์ ๊ฐ์ ๊ฐ์ฌํด์๐๐๐โคโคโค
@teddynote
2 ะฐะน ะฑาฑััะฝ
์~~~~์ฐ ๋ฐ๊ฐ์ต๋๋ค๐ ์ข์ ํ์ฌ ๋ค๋์๋๋ด์๐ ์์ฒญํด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค๐๐
์ข์์!
@teddynote
2 ะฐะน ะฑาฑััะฝ
๐๐๐
ใ ใ ใ ใ ์ฑ๋ฅ ๋ง์ ๋ญ๋๋ค... ์ ๋ ์ค๋ ์์นจ์ ๋ฐ๋ก ๋๋ ค๋ดค์ด์
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ค์ฐ ๋น ๋ฅด์๋ค์ ใ ใ ์ ๋ ๊ถ๊ธํ๊ฒ ์๋๋ฐ์. ์ต์๋์ธ copilot ์ ์ฌ๋ผ๋ง ๋ถ์ฌ์ ์ฌ์ฉํ๊ณ ์๋๋ฐ์. vaultQA ๋ต๋ณ ํ์ง์ด ์ข ์์ฌ์ด๋ฐ ํน์ ์ฝ๋๋ก ๋ฌธ์ ๊ฒ์ํ๋ ๋ก์ง์ ์์ ํ๋ ๊ฒ๋ ๊ฐ๋ฅํ๊ฐ์?
@brain.trinity
2 ะฐะน ะฑาฑััะฝ
@@teddynote ํ ... ๊ทธ๊ฑด ํ๋ฌ๊ทธ์ธ main.js ํ์ผ์ ์์ ํด์ผํ ๋ฏ ํ๋ฐ์
@teddynote
2 ะฐะน ะฑาฑััะฝ
@@brain.trinity ํ๋ฌ๊ทธ์ธ์ main.js ํ์ผ์ ์์ ํ ์ ์๋ ๋ณด๊ตฐ์~ ๊ฐ์ฌํฉ๋๋ค. ์์ ํด์ ์ปค์คํ ํด์ ์ฌ์ฉํด ๋ด์ผ๊ฒ ๋ค์! ๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค!
๋๋ถ์ Ollama์ ๋ํด์ ์๊ฒ ๋์๋ค์.
@teddynote
27 ะบาฏะฝ ะฑาฑััะฝ
์ฌ๋ผ๋ง ์ข์ฃ ! ๋ก์ปฌ ๋ชจ๋ธ ํ ์ ๋ค์ด ๋ฐ์ ๋๋ ค๋ณด์ธ์ ใ
Many Thanks
@teddynote
2 ะฐะน ะฑาฑััะฝ
๐๐๐
Mac์์ LM Studio๊ฐ UIDX์ ์ผ๋ก ์์ฆ ๊ฐ์ฅ ๊ด์ฐฎ์๊ฒ ๊ฐ์ต๋๋ค.๋ชจ๋ธ๋ค์ด๋ก๋๊ด๋ฆฌ,์ฑํ ํ ์คํธ๋ชจ๋,๋ชจ๋ธ ๋ก์ปฌServer์์ฑ๋ฑ๋ฑ..
@teddynote
2 ะฐะน ะฑาฑััะฝ
LM Studio ๊ฐ ChatGPT ์ธํฐํ์ด์ค ๋น์ทํ๊ฒ ์ ํด์ฃผ๋ ๊ฒ ๊ฐ์ต๋๋ค! ใ ใ
์ ๋ณด๊ณ ์์ต๋๋ค. ์ ์ฉํ ์ ๋ณด ๊ฐ์ฌ๋๋ฆฝ๋๋ค. ํ๊ฐ์ง ์ง๋ฌธ ๋๋ฆฝ๋๋ค. ollama create ํ๊ณ run ๋๋ ๊ฒ ํ์ธํ ๋ค์์, ๋ค์ด๋ฐ์ gguf ํ์ผ๊ณผ modelfile ํ์ผ์ ์ญ์ ํด๋ ๋๋์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ค ์ญ์ ํ์ ๋ ๋ฉ๋๋ค~
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ชจ๋ธ ํ์ผ์ ์ฌ๋ผ๋ง ์ ์ฅ์์ ๋ฐ๋ก ์ ์ฅํ๊ฒ ๋ฉ๋๋ค(์จ๊นํด๋ ๋ด)
@duchulyoun4757
2 ะฐะน ะฑาฑััะฝ
@@teddynote ๊ฐ์ฌํฉ๋๋ค. ^^
์ข์ ์์ ๊ฐ์ฌํฉ๋๋ค~~ ์์์ ๋ณด๋ ๋ต๋ณ ์๋๊ฐ ์๋นํ ๋น ๋ฅธ๋ฐ ์ฌ์์ด ์ด๋ป๊ฒ ๋๋์.? ์ ๊ฐ ์ด๋ณด์์ธ๋ฐ~ CPU๋ก๋ ์ด๋ฐ์๋๊ฐ ์๋์ค๋๊ฑฐ์ฃ . ? GPU16G๋ 32G๋ก ์์๊ณผ ๊ฐ์ ์๋๊ฐ ๋์ฌ๊น์? ์ด๋์ ๋ ํ์ํ์ง ๊ฐ์ด ์์์์์
@teddynote
ะะน ะฑาฑััะฝ
์ ๋ ๋งฅ๋ถํ๋ก๋ฅผ ์ฌ์ฉํ๊ณ ์์ด์~ CPU๋ก๋ ์ด๋ ต๊ณ ์ NVidia ๊ณ์ด์ GPU๋ฅผ ๊ถ์ฅํฉ๋๋ค! 30xx ์๋ฆฌ์ฆ๋ฅผ ์ถ์ฒ๋๋ ค์~
โคโคโคโคโคโคโคโคโคโคโคโคโคโคโคโค
@teddynote
2 ะฐะน ะฑาฑััะฝ
๐โ๏ธ๐๐๐
์๋ ํ์ธ์. ์ด๋ฒ์ ๋ผ๋ง3๊ฐ ๋์ค๋ฉด์ ๊ทธ๋ฆผ๋ ๊ทธ๋ฆด ์ ์๋ค๊ณ ๋ค์๋๋ฐ, ๊ทธ๊ฑด ์ข ๋ค๋ฅธ๊ฑด๊ฐ์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์~ ์ ๊ฐ ์ฌ์ฉํ llama3๋ ํ ์คํธ๋ง ํฉ๋๋ค~ ์ด๋ฏธ์ง ์์ฑ ๋ชจ๋ธ์ด ๋ฐ๋ก ์๋์ง๋ ๋ชจ๋ฅด๊ฒ ์ด์~
์ ๋ชฐ๋ผ์ ๋ฌธ์๋๋ฆฝ๋๋ค. ๋ง์ง๋ง์ ์ฝ๋ ๋ถ๋ถ์ local ํ๊ฒฝ์์ ๋๋ฆฌ๋ ๊ฒ์ธ์ง์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ ๋ง์ต๋๋ค ๋ก์ปฌ ํ๊ฒฝ์ ๋๋ค~
๊ถ๊ธํ๋ด์ฉ์ด ์์ต๋๋ค. llama ์ฌ์ดํธ์ llama3๋ชจ๋ธ์ด ์๋๋ฐ ๊ตณ์ด ํ๊น ํ์ด์ค์ ggufํ์ผ์ ์ฌ์ฉํ๋ ์ด์ ๊ฐ ์๋์? ๊ฐ์ ๋น์ ์ฌ๋ผ๋ง์ ๋ชจ๋ธ์ด ๋ฑ๋ก ์๋์ ์ธ๊ฐ์?
@teddynote
22 ะบาฏะฝ ะฑาฑััะฝ
์ฌ๋ผ๋ง์ ๋ชจ๋ ๋ชจ๋ธ์ด ์ ๋ก๋ ๋์ด ์๋ ๊ฒ์ ์๋์์. ์๋ฅผ ๋ค์ด ํ๊ตญ์ด ํ์ธํ๋๋ ๋ชจ๋ธ์ ๋ฑ๋ก์ด ์๋์ด ์์ฃ . ์ฌ๋ผ๋ง์๋ ๋ฑ๋ก์ด ์๋์ด ์์ง๋ง ํ๊น ํ์ด์ค ๋ชจ๋ธ์ ์ฌ์ฉํ๊ณ ์ถ์๋ gguf ๊ฐ์ ธ์ค์ ์ ๋ก๋ํ์๋ฉด ๋ฉ๋๋ค~
์์ ์ ๋ดค์ต๋๋ค! ๊ทผ๋ฐ ํ๊ธ์ ์ํด ์๋์ผ๋ก ๋ฒ์ญ๊ธฐ๋ฅผ ๋๋ฆฌ๋ ์์คํ ์ ๋ง๋ค ์๋ ์์๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ค์ฐ ์ถฉ๋ถํ ๊ฐ๋ฅํฉ๋๋ค~^^ ๋ฒ์ญ์ ์ด์ ๊ทธ๋ ๊ฒ ์ด๋ ค์ด task ๊ฐ ์๋๊ฒ ๋์์ต๋๋ค!
@user-bf8nq3xt7t
2 ะฐะน ะฑาฑััะฝ
@@teddynote ์ฌ๋ ค์ฃผ์ ์ฌ๋ผ๋ง ํ์ผ๊ฐ์ ๊ฒฝ์ฐ์๋ ์ด๋ฏธ ์ฌ๋ผ์ ์๋ ์ ๋ณด๋ค์ ์ ๋ฆฌํ ํ์ผ์ธ๊ฐ์? ์๋๋ฉด ์ง์ ๋ง๋์ ๊ฑด๊ฐ์??
@teddynote
2 ะฐะน ะฑาฑััะฝ
@@user-bf8nq3xt7t ์ ๋ก๋ ๋์ด ์๋ ํ์ผ์ ๋ด๋ ค๋ฐ์ ๋ก๋ํ์์ต๋๋ค. ์ง์ ๋ง๋๋ ๊ฒ๋ ๊ฐ๋ฅํด์!
๊ฐ์ฌํฉ๋๋ค. ์ ๋๋๋ค. ์ง๋ํธ์ RAG ์๋ค๊ฐ ์ ์ฉํด ๋ดค๋๋ฐ, ๋ฌธ์๋ฅผ ์๋ฃ๊ณ ๊ทธ๋ฅ ์๋ฌธ์ง๋ฌธ์๋ ๋ต๋ณ์ ์ํ๋๋ฐ์, ์๋ฌธ pdf ๋ฅผ ๋ฃ๊ณ ํ๋ฉด ์๊ฐ ์๊พธ "I'm here to help! What's on your mind? Do you have a specific question or topic you'd like to discuss?" ์ด๋ ๊ฒ ๋๋ตํฉ๋๋ค. ์ฐธ๊ณ ๋ฌธํ์ ํ์ํด ๋ดค๋๋ ์ ์ฐพ๋๊ฑฐ๋ ๊ฐ๊ตฌ์. ํด๊ฒฐํ๊ณ ์ถ๋ค์. 70b ํ๊ธ์ด ollama๋ก ๋์ค๋ฉด ์ข๊ฒ ์ต๋๋ค. ๐คฉ๐คฉ๐คฉ
@teddynote
2 ะฐะน ะฑาฑััะฝ
RAG ์ ์ ์ํ๋ ๋ชจ๋ธ์ ์ ๋ ฅ์ผ๋ก ๋ค์ด๊ฐ๋ context length ๊ฐ ๊ธธ์ด์ผ ํจ๊ณผ์ ์ ๋๋ค. context length ๊ฐ ์ด๋์ ๋ ๋๋ ๋ชจ๋ธ์ ํ ๋ฒ ์จ๋ณด์ธ์~^^
@nbright3700
2 ะฐะน ะฑาฑััะฝ
@@teddynote ๊ฐ์ฌํฉ๋๋ค. ๋ค์ ํด๋ณด๊ฒ ์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค. ํน์ ์์์์ ์ฌ์ฉ๋ ์ปดํจํฐ ์ฌ์์ ์์์์๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ต! Apple M3 Max์นฉ(16์ฝ์ด CPU, 40์ฝ์ด GPU, 16์ฝ์ด Neural Engine) 64GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ 2TB SSD ์ ์ฅ ์ฅ์น
์ ๋ RTX-4060 8GB GPU๋ฅผ ๋ธ ๋ ธํธ๋ถ์์ ์ฌ์ฉํ๊ณ ์์ด์. ollama3 8b๋ชจ๋ธ์ ์คํํ๊ณ prompt๋ฅผ ์ ๋ ฅํ์๋ง์ GPU์ฌ์ฉ๋ฅ ์ด 99%๊ฐ ๋๋ฉด์ ์๋ํ๋ ๊ฒ์ด, GPU๋ฅผ ์ ์ฌ์ฉํ๋ ๊ฒ ๊ฐ๊ธดํฉ๋๋ค. ๊ทธ๋ฐ๋ฐ ์ฌ๊ธฐ์ 8GB ์ฌ์ด์ฆ๋ ํ๋๋๋ผ์ด๋ธ ์ฌ์ด์ฆ์ผ ๋ฟ, GPU์ ๋จ ์ฉ๋๊ณผ๋ ๊ด๋ จ์ด ์์ ๊ฒ ๊ฐ์๋ฐ์. ๊ทธ๋ฌ๋ฉด ๋ณดํต 8GB์ ๋๋๋ 8b๋ชจ๋ธ์ GPU์ ๋จ์ด ์ผ๋ง๋ฅผ ์ฐจ์งํ๋ ๊ฑฐ๋ผ๊ณ ๊ณ์ฐ? ์ฐพ์๋ณผ ์ ์์๊น์?
@teddynote
ะะน ะฑาฑััะฝ
8GB ๊ฐ 4060 ์ VRAM ์ฉ๋์ ์๋ฏธํ๊ณ ์ ํ๋๋๋ผ์ด๋ธ ๋์คํฌ ์๋ ๋ฐ๋ก ์ ๋๋ค. ์ ๋ฆฌํ์๋ฉด Ollama ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์ถ๋ก ํ ๋๋ ํ๋๋๋ผ์ด๋ธ ๋์คํฌ ๊ณต๊ฐ์ ์ฌ์ฉํ๋ ๊ฒ์ด ์๋ GPU VRAM ๋ฉ๋ชจ๋ฆฌ์ธ 8GB ๋ฅผ ํ๋ก ์ฌ์ฉํ์ฌ ์ถ๋ก ํ๊ณ ์๋ค๊ณ ๋ณผ ์ ์์ต๋๋ค. ์ผ๋ง๋งํผ์ VRAM ๊ณต๊ฐ์ด ํ์ํ๋๋๋ ๊ฐ์ 8B ๋ชจ๋ธ์ด๋๋ผ๋ ์์ํ ์์ค์ ๋ฐ๋ผ ๋ค๋ฅผ ์ ์์ด์. Q4 ๋ Q5๋ Q8์ด๋์ ๋ฐ๋ผ ๋ค๋ฅผ ์ ์์ต๋๋ค ์๋์ ๊ณต์์ ๋ฃ๊ณ ๊ณ์ฐํ์๋ฉด ํ์ํ VRAM ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋์์! www.substratus.ai/blog/calculating-gpu-memory-for-llm
๋ชฉ์๋ฆฌ ์ง์ง ์ข๋ค
@teddynote
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค๐
ํ์คํ ๋ฐ๋ก ํ์ธํ๋ ์ํ๊ฑด ํ๊ตญ์ด ์ฑ๋ฅ์ด ๋ง์ด ๋จ์ด์ง๋ค์. ์ ๊ฐ "ํ๊ตญ์ด๋ก ์๋ฅผ ์จ์ค" ํ๋๋ 8b๋ ์์ ์์จ์ง๊ณ 70b์ง๋ฆฌ๋ ํ๋ ๋ง๋๋๋ฐ 30๋ถ ๊ฐ๊น์ด ๊ฑธ๋ฆฌ๋ค์. GPT 3.5๋ ํ๊ตญ์ด๋ก ์ ์ฐ๋๋ฐ ์ผ๋ง ์ ๊ฑธ๋ฆฌ๋๊ฑธ๋ก ์๋๋ฐ ๋ฉํ์์ ๋จ์ธํ๋งํผ ๋ฉํฐ๋ง๊ท์ผํ์ง๋ ์์๊ฑธ๊น์?
@teddynote
ะะน ะฑาฑััะฝ
ํ๊ตญ์ด ํ์ธ ํ๋ ์๋ ๋ ๊ฒ์ ๋ชจ๋ธ์ "ํ๊ตญ์ด๋ก ์๋ฅผ ์ฐ๋" ๋ต๋ณ์ ๋ํ ํ์ง์ด ๋จ์ด์ง ์ ์์ต๋๋ค. ๊ทธ๋์ ํ๊ตญ์ด ํ์ธ ํ๋๋ ๋ชจ๋ธ๋ก ํ ์คํธ ํด๋ณด์๋ ๊ฒ์ ๊ถ์ฅ ๋๋ฆฝ๋๋ค. ์๊ฐ์ด ์ค๋ ๊ฑธ๋ฆฌ๋ ๋ฌธ์ ๋ ๋ชจ๋ธ ์ฌ์ด์ฆ๊ฐ ํฐ ๊ฒ๋ ๋ฌธ์ ์ง๋ง ์ธํ๋ผ์ ๊ด๋ จ์ด ์์ต๋๋ค. ์๊ฐ์ ๋ฌธ์ ์ ํ์ง์ ๋ฌธ์ ๋ ๋ณ๊ฐ๋ก ๋๊ณ ๋ต๋ณ ์๊ฐ์ ์ค์ด๋ ค๋ฉด ๋ ๋ง์ GPU ์์์, ํ์ง์ ํ๊ตญ์ด ํ์ธํ๋๋ ๋ชจ๋ธ๋ก ํ ์คํธํด๋ณด์๋ ๊ฒ์ ์ถ์ฒ ๋๋ฆฝ๋๋ค.
์ฒจ๋ถํด์ฃผ์ gguf ๋ชจ๋ธ ๋ค์ด๋ก๋ ๋งํฌ๊ฐ ์๋ค์ด๊ฐ์ง๋๋ฐ ํ๊น ํ์ด์ค ์์ฒด์ ์ง๊ธ ๋ฌธ์ ๊ฐ ์๋๊ฑธ๊น์?..503 Hugging Face is currently experiencing infrastructure issues, we are working on it. ๋ผ๊ณ ๋จ๋ค์
@jhc123
2 ะฐะน ะฑาฑััะฝ
๋ค์ ํด๋ณด๋๊น ๋ค์ด๊ฐ์ง๋ค์
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ค๋ ์ผ์์ ์ค๋ฅ๊ฐ ์์๋ค๊ณ ํ๋๋ผ๊ตฌ์ ใ
70B ๋ชจ๋ธ์ ๋๋ฆฌ๊ธฐ ์ํด์๋ ํ๋์จ์ด ์ธํ๋ผ๊ฐ ์ด๋ ์ ๋๋ฉด ๊ฐ๋ฅํ ๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ํ ๋ชจ๋ธ์ A100์ผ๋ก๋ ๋๋ฆด ์ ์๋ค๊ณ ํ๋๋ผ๊ตฌ์~^^ ์์ํ ์๋ ๋ชจ๋ธ์ ์ ๋ ๋๋ ค๋ณผ ์๊ฐ์กฐ์ฐจ ์ํด์ ์ ๋ชจ๋ฅด๊ฒ ์ต๋๋ค ใ ใ
@user-ft4zh7np9z
2 ะฐะน ะฑาฑััะฝ
4๋นํธ ์์ํ๊น์ง ๋ด๋ฆฌ๋ฉด 4090 2GPU๋ก ๊ฐ๋ฅํ ๊ฒ๋๋ค
๋งฅ๋ถ์ ์ค์นํด๋ณด๋ ค๋ฉด ์ด๋ ์ ๋ ์ฌ์ ์ด์์ด ์ข์๊ฐ์?
@teddynote
ะะน ะฑาฑััะฝ
M1 ์ด์์ด๋ฉด ๊ฐ๋ฅํฉ๋๋ค!
@teddynote
ะะน ะฑาฑััะฝ
์์ํ ๋ชจ๋ธ์ Q4~ Q5 ์ ๋๋ฉด ๋ฌด๋ํ๊ฒ ๋์๊ฐ๋๋ค!
์๋์ฐ์์๋ ์ ๋๋ ๊ฑด๊ฐ์? ๋ฆฌ๋ ์ค, MAC ์์๋ง ๋๋ ๊ฑด์ง ํ์ธ ๋ถํ๋๋ฆฝ๋๋ค.
@teddynote
2 ะฐะน ะฑาฑััะฝ
์๋์ฐ๋ ๋ฉ๋๋ค~^^
@user-hn3kq5dq5t
ะะน ะฑาฑััะฝ
โ@@teddynote Modelfile: The system cannot find the file specified. ๋ญ๊ฐ ์๋ชป๋ฌ๋์ง ๋ชจ๋ฅด๊ฒ ๋ค์.
ํ๋ ์ด๋ชจ๋ธ๋ก gpt api์ฒ๋ผ function call ๊ฐ๋ฅํ ๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ฝ๊ฒ๋ ๊ทธ๊ฑด โ ์๋ฉ๋๋ค๐ญ
@mingyukang6592
2 ะฐะน ะฑาฑััะฝ
@@teddynote ๊ถ๊ธํด์ ๊ทธ๋ฌ๋๋ฐ, ์ ์๋๋๊ฑด๊ฐ์? Llama3๊ฐ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ง ์๋๊ฑด๊ฐ์? ์๋๋ฉด 7B ๋ชจ๋ธ์์๋ ์๋๋ ๊ฑด๊ฐ์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
@@mingyukang6592 80B ๋ชจ๋ธ์์๋ ๋ ์ ์๋๋ก ์ธ์ฅ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ค์นํ์ฌ ์งํํ ์ ์๋ค๊ณ ํฉ๋๋ค. ์ ํฌ๊ฐ ํ์ฉํ๋ 8B์์๋ ์์ง ์ง์์ ์ํ๋ ๊ฒ ๊ฐ์์. ์ถํ์๋ ์ง์ํ ์๋ ์์ด๋ณด์ ๋๋ค~
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ ๊ฐ ์๋ชป๋ ์ ๋ณด๋ฅผ ๋๋ฆฐ ๊ฒ ๊ฐ์. ์ ์ ๋๊ธ ๋จ๊น๋๋ค.. ์ ๋ ๊ถ๊ธํ์ฌ ์ฐพ์๋ณด๋ 8B ๋ชจ๋ธ๋ Agent ๋ฅผ ๋ง๋ ์ฌ๋ก๊ฐ ์์ต๋๋ค. openai_functions ๋ก ๋ํํ์ฌ ํธ์ถ ํ๋๋ผ๊ณ ์~ ๊ด๋ จ ์์ ๋งํฌ๋ ๊ฐ์ด ์ฒจ๋ถํด ๋๊ฒ ์ต๋๋ค. ํผ๋์ ๋๋ ค ์ฃ์กํฉ๋๋ค. kzread.info/dash/bejne/ommDj8F6ma6qj7Q.html
LM_Studio์์ ๋ llama3 ์ฌ์ฉํ๋ ๊ฑฐ ์ข ์๋ ค์ฃผ์ธ์. ์ค์ ํ๋ ๋ฐฉ๋ฒ์.
@teddynote
2 ะฐะน ะฑาฑััะฝ
kzread.info/dash/bejne/lHWCs81mXbDHqNY.html ์ด ์์์ ์ฐธ๊ณ ํด ์ฃผ์ธ์~ EEVE ๋ชจ๋ธ ๋์ Llama3 ๋ชจ๋ธ์ ๊ฒ์ํ์ฌ ๋ค์ด๋ก๋ ๋ฐ์์ ์งํํ์๋ฉด ๋ฉ๋๋ค~
์๋ ํ์ธ์? ์ข์ ์์ ์ ๋ณด์์ต๋๋ค. ํ๊ฐ์ง.. GPU๋ฅผ ์ฌ์ฉํ์ง ์๊ณ CPU๋ฅผ ์ฌ์ฉํ์ฌ LLM์ด ๋์๊ฐ๋ ๊ฒ ๊ฐ์ต๋๋ค. ์๋๋ ๋๋ฌด ๋๋ฆฌ๊ณ , GPU๋ ์ฌ์ฉ์ด ์๋๊ณ CPU ๊ฐ ์ฌ์ฉ์ด ๋๋๋ฐ์.. ์ด๋ค ์ธํ ์ ํด์ค์ผ GPU๋ฅผ ์ฌ์ฉํ ์ ์์๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
GPU ์ฌ์ฉํ ๋ ์๋น๋์ ๊ณ์ด GPU ๋ง ์ฌ์ฉ ๊ฐ๋ฅํฉ๋๋ค! ๊ทธ๋ฆฌ๊ณ ์๋น๋์ ๊ณ์ด GPU ๊ฐ ์๋ค๋ฉด CUDA ๊ฐ ์ค์น ๋์ด ์์ด์ผ ํ๊ตฌ์! CUDA ์ค์น๊ฐ ๋ณต์กํ๊ธด ํ๋ฐ ๊ตฌ๊ธ ๊ฒ์ ํด๋ณด์๋ฉด CUDA ์ค์น ๊ฐ์ด๋ ์๋๋ฐ์ ํ ๋ฒ ๋ฐ๋ผํด ๋ณด์๊ณ ์ ์๋๋ฉด ๋๊ธ ๋จ๊ฒจ์ฃผ์ธ์^^
@heejuneAhn
2 ะฐะน ะฑาฑััะฝ
์ ๋ GPU์์ ์ ๋์ ํฉ๋๋ค. RTX4090 8GB ๋จน๋ค์. OLLAMA๊ฐ ์ด์ ๋ AMD GPU์์๋ ์ง์์ด ๋๋ค๊ณ ํ๋๊ฒ ๊ฐ๊ตฌ์. +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.171.04 Driver Version: 535.171.04 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA GeForce RTX 4090 Off | 00000000:01:00.0 Off | Off | | 0% 42C P8 28W / 450W | 8901MiB / 24564MiB | 0% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | 0 N/A N/A 1278 G /usr/lib/xorg/Xorg 56MiB | | 0 N/A N/A 1616 G /usr/bin/gnome-shell 12MiB | | 0 N/A N/A 81097 C ...unners/cuda_v11/ollama_llama_server 8816MiB | +---------------------------------------------------------------------------------------+ (base) gpt@SeoulTech4090:~$
์์ ์ ๋ดค์ต๋๋ค. ๊ถ๊ธํด์ ๊ทธ๋ฌ๋๋ฐ.. ํ์ด๋ฐ์ด์ ๋ชจ๋ธ์ ๋๋์ฒด ๋ฌด์์ธ๊ฐ์? ์ง๊ธ llma3 8b๋ก๋ ์ถ๋ก ์ ํ์ ๊ฑด๊ฐ์? ๊ทธ๋ฆฌ๊ณ ์ ์ฑ GPT4๊ฐ ๋น์ผ๊ฐ์? ๋น์ธ์ง๋ง ์ฌ์ฉํ๋ ์ด์ ๋ ์ ํ์ฑ์ด ๋์์ ์ธ๊ฐ์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
ํ์ด๋ฐ์ด์ ๋ชจ๋ธ์ ๊ธฐํ์ด ๋๋ ๋ชจ๋ธ์ด๊ณ ๋ฐฉ๋ํ ๋ฐ์ดํฐ์ ์ ํ์ตํ ๋ชจ๋ธ์ ๋๋ค. ํ์ด๋ฐ์ด์ ๋ชจ๋ธ์ ์ฌ์ฉ์๊ฐ ์ํ๋ ์ฉ๋๋ ๋ชฉ์ ์ ๋ง๊ฒ ๋น๋ก์ ๋ฏธ์ธ ์กฐ์ ๋๊ฑฐ๋, ๋ฌธ๋งฅ ๋ด ํ์ต ๋ฑ๊ณผ ๊ฐ์ ๊ณผ์ ์ ๊ฑฐ์น๊ฒ ๋ฉ๋๋ค. Llama3 8B ๋ก ์ถ๋ก ํ์ต๋๋ค. GPT4 ๊ฐ ์ฑ๋ฅ์ด ์ข์ ๊ฒ์ ์ฌ์ค์ ๋๋ค. ๊ทธ๋์ ๋น์ผ ๊ณผ๊ธ์ ๋ฐ์ ์๋ ์๋ ๊ฒ์ด๊ณ ์. ๋ง์ฝ ์ฑ๋ฅ์ด ์ข์ง ๋ชปํ๋ฉด ๊ตณ์ด ๋น์ผ ๋์ ๋ด๋ฉด์ ์ฌ์ฉํ ์ด์ ๊ฐ ์๊ฒ ์ฃ . ์ฑ๋ฅ ์ธ์๋ ํธ์คํ ํ์ง ์๊ณ API ๋ฐฉ์์ผ๋ก ์ธ์ ์ด๋์๋ ์์ฝ๊ฒ ํธ์ถํ ์ ์๋ค๋ ์ฅ์ ๋ ์์ต๋๋ค.
@user-rt5hu7zm2r
2 ะฐะน ะฑาฑััะฝ
@@teddynote ๋ต๋ณ๊ฐ์ฌํฉ๋๋ค.
ํน์ 4070ti 8gb์ธ๋ฐ ๋ก์ปฌ๊ตฌ๋๋ ๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ค ๊ฐ๋ฅํ ๊ฒ ๊ฐ์๋ฐ์~ ํน์ Q8 ์ด ์๋ ๊ฒ ๊ฐ์ผ๋ฉด Q5๋ Q4 ๋ชจ๋ธ๋ก ์ ํํ์๋ฉด ์ถฉ๋ถํ ๊ฐ๋ฅํ ๊ฒ ๊ฐ์์~
@sdfasdfsdfds
2 ะฐะน ะฑาฑััะฝ
@@teddynote ๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค ๋ด์ผ ํ๋ฒ ๋์ ํด๋ด์ผ๊ฒ ๋ค์ ใ ใ
@sdfasdfsdfds
2 ะฐะน ะฑาฑััะฝ
@@teddynote ๋ผ๋ง3์ ๋ญ์ฒด์ธ์ ์ด์ฉํ ํ๋ก๋ํธ๋ฅผ ๋ง๋ค์๋ ์์๊ฑฐ ๊ฐ์๋ฐ ํ ๋๋ ธํธ๋๊ป์ ๋ญ์ฒด์ธ ์ํค๋ ์ค๋ฅผ ์ ๊ณตํด์ฃผ์๋๋ผ๊ณ ์. openai๊ธฐ์ค์ผ๋ก ๋ง๋์ ๊ฑฐ๊ฐ์๋ฐ ๋ผ๋ง3๋ ๋น์ทํ๊ฒ ์ ์ฉํ ์ ์์๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
@@sdfasdfsdfds ๊ธฐ ์์ฑ๋ ์ฝ๋์ llm ๋ถ๋ถ๋ง ๋ณ๊ฒฝํ๋ฉด ์์ฝ๊ฒ ์ ์ฉ ๊ฐ๋ฅํฉ๋๋ค~
๋๊ฐ์ ๋ชจ๋ธ์ ์ผ๋๋ฐ ์ ์ ๋ ์ด์ํ ๋ต๋ณ์ด ๋ท๋ถ๋ถ์ ๋์ฌ๊น์ ใ ใ GPU๊ฐ ์์ด์ ๊ทธ๋ด ์๋ ์๋์? "You're asking about NewJeans! NewJeans is a South Korean girl group formed by ADOR (Ador Entertainment) in 2022. The group consists of five members: Minji, Hanni, Danielle, Haerin, and Hyein. NewJeans debuted on July 22, 2022, with their single "Attention" and have since released several successful singles and (ADOR Entertainment) New Je Attention Attention Attention Attention Attention Attention Attention. ADOR Entertainment ( Ador Entertainment) "
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ง๋ฌธ์ ์ด๋ป๊ฒ ํ๋๋์ ๋ฐ๋ผ ๋ต๋ณ์ด ์ ๋๋ก ์๋์ฌ ์๋ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋ ์ค์ํ ๊ฒ์ Template ์ ๋๋ค. ์ด ๋๊ฐ์ง๊ฐ ๋ณดํต์ ์ค์ํ๋ฐ, ๊ทธ๋ผ์๋ ์์ํ ๋ชจ๋ธ์ ์ ๋๋ก ์๋์ฌ ์๋ ์์ต๋๋ค. ๊ฐํน ์ ๋๋ก ์๋์จ๋ค๋ฉด ๊ทธ๊ฑด ๋ชจ๋ธ์ ๋ฌธ์ ์ผ ์ ์๊ณ ์ ๋งค๋ฒ ์ ๋๋ก ์๋์ค๋ฉด ํ ํ๋ฆฟ ์ค์ ์ ๋ณด์๋ ๊ฒ์ด ์ข์ต๋๋ค. GPU ์๋ ๋ฌด๊ดํฉ๋๋ค
@user-le8jx5mb6j
2 ะฐะน ะฑาฑััะฝ
@@teddynote ์ ์๋์ด ์ฌ๋ ค์ฃผ์ ๊ฑธ ๊ทธ๋๋ก ๋ฐ๋ผํ์ด์ ์ง๋ฌธ๋ ๋๊ฐ์ด ํ์ด์ ๊ทธ๋ฐ๋ฐ๋ ๊ฒฐ๊ณผ๊ฐ ๋ค๋ฅด๊ฒ ๋์์ ๋นํฉ์ค๋ฝ๊ตฐ์
๋ญ๊ฐ ๋จผ์ง ํ๋๋ ์๋๋ค์...ใ ใ
@user-cf9zi2gp2s
13 ะบาฏะฝ ะฑาฑััะฝ
Error: pull model manifest: file does not exist ์๋ฌ๊ฐ ๋จ๋๋ฐ ์ด๋ป๊ฒ ํด์ผ๋ ๊น์??
@teddynote
13 ะบาฏะฝ ะฑาฑััะฝ
์ด๋ค ๋ถ๋ถ์ด ์๋์ธ์?
@user-cf9zi2gp2s
13 ะบาฏะฝ ะฑาฑััะฝ
โ@@teddynote ์ฒ์ํ๋ ๋ง์ด ์ด๋ ต๋ค์ ^^ ์ฌ๊ธฐ ์์์ 11๋ถ๊น์ง๋ ์ฒ์๋ถํฐ ๋ค์ ํ๋ผ๋๋ฐ๋ก ํด์ ๋์์ต๋๋ค 12๋ถ์ ๋์ค๋ example ํด๋์ ์ฌ๋ผ๋งํ ์คํธ ํ์ผ์ ๋ฉ๋ชจ์ฅ์ผ๋ก ์ด์๋๋ฐ์ 12:00๋ถ ์ดํ์ ํ์๋ ๊ฒ๋ค์ ํ ์๊ฐ ์๋๋ผ๊ตฌ์ ์ ๊ทธ๋ํฝ์นด๋๊ฐ rx5700xt์ธ๋ฐ ai์ฉ ๊ทธ๋ํฝ์นด๋๋ก ์๋น๋์ vs ๋ผ๋ฐ์จ ์ค์ ์ด๋ค๊ฑฐ ์ถ์ฒํ์๋์??
@teddynote
13 ะบาฏะฝ ะฑาฑััะฝ
@@user-cf9zi2gp2s AI ์ฉ ๊ทธ๋ํฝ์นด๋๋ ์ ํ์ ์ฌ์ง๊ฐ ์์ต๋๋ค ใ NVidia ๊ณ์ด ๊ทธ๋ํฝ ์นด๋ ์ธ์๋ ๋์ํ์ง ์๋๋ค๊ณ ์๊ฐํ์๋ฉด ๋ฉ๋๋ค. ๋ฐ๋ผ์ ๊ตฌ๋งค๋ฅผ ํ์ ๋ค๋ฉด ๋ฌด์กฐ๊ฑด NVidia ๊ณ์ด์ ๊ทธ๋ํฝ์ ๊ตฌ๋งคํ์ ์ผ ํฉ๋๋ค. RTX 30xx, VRAM ํฌ๋ฉด ํด์๋ก ์ข์ต๋๋ค. ๋ ๋ ์ฌ์ ๋์๋ฉด A100 ์ด๋ผ๋ ์ต์ ๋ ์์ด์!
@user-cf9zi2gp2s
13 ะบาฏะฝ ะฑาฑััะฝ
@@teddynote ์ปดํจํฐ ์กฐ๋ฆฝ๊ณผ ๊ฒ์๋ง ํ ์ค ์๋๋ฐ ์ต๊ทผ์ ai์ชฝ์ ๊ด์ฌ์ด ์๊ธฐ๋๋ผ๊ตฌ์ ๊ทธ๋ํฝ์นด๋๋ ์๋น๋์๋ก ์์๋ด์ผ๊ฒ ์ต๋๋ค ์๋ ค์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค