๐ฅ์ฑ๋ฅ์ด ๋๋ผ์์๐ฅ ๋ฌด๋ฃ๋ก ํ๊ตญ์ด๐ฐ๐ท ํ์ธํ๋ ๋ชจ๋ธ ๋ฐ์์ ๋๋ง์ ๋ก์ปฌ LLM ํธ์คํ ํ๊ธฐ(
ํ๊ตญ์ด ๋ชจ๋ธ์ ํ๊น
ํ์ด์ค์์ ๋ค์ด๋ก๋ ๋ฐ์ Ollama ์ ์น๊ณ , LangServe ๋ฅผ ์ฌ์ฉํ์ฌ ๋ฌด๋ฃ ํธ์คํ
๊ทธ๋ฆฌ๊ณ ๋ง์ง๋ง์ผ๋ก RAG ๋ฐ๋ชจ๊น์ง ์งํํฉ๋๋ค.
๐ป ์์ค์ฝ๋: github.com/teddylee777/langse...
๐ค EEVE Korean Instruct 10.8B V1.0
huggingface.co/yanolja/EEVE-K...
๐ค EEVE Korean Instruct 10.8B V1.0(gguf)
huggingface.co/heegyu/EEVE-Ko...
๐ ๋ญ์ฒด์ธ ํํ ๋ฆฌ์ผ ๋ฌด๋ฃ ์ ์์ฑ
(wikidocs)
wikidocs.net/book/14314
โ
๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ ์ฝ๋์ ์ฅ์(GitHub)
github.com/teddylee777/langch...
โญ๏ธ ๊ฐ์ ํ๋ณด โญ๏ธ
LangChain + ChatGPT + Streamlit ๊ฐ์(VOD ๊ฐ์)
์๋์ ์ฌ์ ๋ฑ๋ก์ ํ์๋ฉด ๊ฐ์ ์คํ ํ ์๋ฆผ์ ๋ฐ์กํด ๋๋ฆด ์์ ์ด๋ฉฐ, ํ ์ธ ์ฟ ํฐ๋ ๊ฐ์ด ์ ๊ณตํด ๋๋ฆฝ๋๋ค.
๐ LangChain + ChatGPT + Streamlit ๊ฐ์ ์ฌ์ ์๋ฆผ ์ ์ฒญ ๐๐
๋งํฌ: forms.gle/buoXoiey7YHrVXVq9
#yanolja #eeve #huggingface
---
๐ ๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ(๋ฌด๋ฃ ์ ์์ฑ
): wikidocs.net/book/14314
๐ ํ
๋๋
ธํธ(๊นํ ๋ธ๋ก๊ทธ) : teddylee777.github.io
๐ป GitHub ์์ค์ฝ๋ ์ ์ฅ์: github.com/teddylee777
๐ฟ LLM ํ๋ก์ ํธ: llm.teddynote.com
ะัะบััะปะตั: 189
00:00 ์ธํธ๋ก 00:57 ๋ก์ปฌ ๋ชจ๋ธ ์ฌ์ฉ ์ ๊ฑฑ์ ๊ฑฐ๋ฆฌ 02:21 EEVE ๋ชจ๋ธ ์๊ฐ(์ผ๋์ ์ค๋ผ์) 02:43 ๊ตฌ์กฐ ์๊ฐ 04:00 GGUF ํ์ผ 04:49 ์ผ๋์ ์ค๋ผ์2 05:15 Heegyu๋ GGUF 06:25 ๋ค์ด๋ก๋ ๋ฐ๊ณ modelfile 09:28 EEVE ๋ชจ๋ธ ์ค์น 10:42 Ollama์ ์ฌ๋ฆฐ ๋ชจ๋ธ ํ ์คํธ 11:34 LangServe ์ค์ 12:30 ์ค์ ์ค๋ช 13:01 ์๋ฒ ๊ตฌ๋ 13:35 asitop (GPU ๋ชจ๋ํฐ๋ง) 16:45 ๋ค์ ๋จ๊ณ(ํ์ฉ) 17:44 Remote Chain(LCEL) 18:52 ์๋ฒ์ ์ธํ ํ๊ธฐ 20:14 ngrok ํฌํธ ํฌ์๋ฉ 23:01 llm runnable 24:18 ๋ฒ์ญ๊ธฐ 25:05 remote runnable RAG 26:01 Streamlit ํ ์คํธ 26:44 pdf RAG ํ ์คํธ
@teddynote
ะะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค๐ฑ๐
์์ค์ฝ๋๋ ์ ๋ฆฌํด์ 3์๊ฐ ๋ด๋ก ์ ๋ก๋ ํด๋๋ฆด๊ป์~ ์ข์ ๋ฐค ๋์ธ์.
์ค~~~ ์ข์ ๋ด์ฉ ๊ฐ์ฌํฉ๋๋ค. ์ด๋ฐ๊ฑธ ์ฐพ๊ณ ์์๋๋ฐ์..
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ ๋์~ ์ด๋ฐ๊ฑธ ์ฐพ๋ค๊ฐ ์์์ผ๋ก ๋ง๋ค์์ต๋๋ค ใ
๋ด์ฉ์ด ๋๋ฌด ์ข์์ ๋ฐ๋ก ๋ฉค๋ฒ์ฝ ๊ฐ์ ํ์ต๋๋ท!! ๊ฐ์ฌํด์~ ํ ๋๋!
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ด์ฟ ๋ฉค๋ฒ์ญ ๊ฐ์ ๊ฐ์ฌํฉ๋๋ค ์์ผ๋ก๋ ์ข์ ์ฝํ ์ธ ์ ๋ก๋ ํ๊ฒ ์ต๋๋ค๐
์ข์๊ฐ์ ์ฌ๋ฐ๊ฒ ์ ๋ณด์์ต๋๋ค. ์ค๋๋ ๋ง์ ๊ณต๋ถ๊ฐ ๋์์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค.
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋์์ด ๋์ จ๋ค๋ ๋คํ์ ๋๋ค. ๊ฐ์ฌํฉ๋๋ค ๐
๋๋ฌด๋๋ฌด ์๋ดค์ต๋๋ค. ์ข์ ์์ ๊ฐ์ฌํฉ๋๋ค.
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ค ์์ฒญํด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค๐๐
์ ํธ๊ธฐ์ฌ์ ๋ฐ๋ผํด๋ดค๋๋ฐ ๊ฒ๋ ์๋๋ค์ ์ข์ ์๋ฃ ๊ฐ์ฌํฉ๋๋ค ๐๐
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋์์ด ๋์ จ๋ค๋ ๋คํ์ ๋๋ค. ๊ฐ์ฌํฉ๋๋ค~!
์ค๋ช ๋๋ฌด ์ ๋ค์์ต๋๋ค. ๋ฉ์ง ๊ฐ์์ ๋๋ค!
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ ๋์ ์์ฌํ์ต๋๋ค! ์กด๊ฒฝํ๋ ๊ต์๋๊ป์ ๋๊ธ ๋ฌ์์ฃผ์๋ ์๊ด์ ๋๋ค. ๊ต์๋์ ๋ชจ๋๋ฅผ ์ํ ๋ฅ๋ฌ๋ ๋ฃ๊ณ ๋ง์ด ๋ฐฐ์ ์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค๐๐
@user-qn8kp6mj8f
2 ะฐะน ะฑาฑััะฝ
์ค ์ด ๋๊ธ์ ์ ๋ง ๊ทํ๋ค์
์ข์ ์์ ๋๋ฌด ๊ฐ์ฌํฉ๋๋ค!
@teddynote
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค~^^
ํ๋ฅญํ ๊ฐ์ ๊ณ ๋ง์ต๋๋ค. ๋๋ถ์ ๋งฅ๋ถ์ผ๋ก ๋ก์ปฌ์์ ๋น ๋ฅด๊ฒ ํ ์คํธํด๋ณผ ์ ์์์ต๋๋ค!
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ถํ๋๋ฆฝ๋๋ค!!๐
์ด๊ฑธ ํ ๋ ค๊ณ ํ์๋๋ฐ ์ ๋ง ๊ฐ์ฌํฉ๋๋ค.^.^
@teddynote
2 ะฐะน ะฑาฑััะฝ
๐๐ ๊ฐ์ฌํฉ๋๋ค~
๊ฐ์ฌํฉ๋๋ค!!
@teddynote
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค~๐
์ ๊ฐ ์ฐพ๋ ๋ด์ฉ์ด๋ค์ ๐ ๐ ๐ ์ ๋๋ค
@teddynote
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋น๐๐
16:00 ๋ถํฐ ๋งฅ๋ถ์ด ๋ฒ๊ฑฐ์ ํด์ ์บ ๋ ๋๊ธฐ๋๊ฒ ์๊ธฐ๋ค์ ใ ใ ์์ ํญ์ ์ ๋ณด๊ณ ์์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค~~!
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋งฅ๋ถ์ด ๋๋ฌด ํ๋ค์ด ํฉ๋๋ค๐ญ๐ญ๐ญ ์์ฒญ ๊ฐ์ฌํฉ๋๋ค๐๐
๊ฐ์ ๋๋ฌด ์ํ์๋ค์. ํฐ ๋์์ด ๋์์ต๋๋ค.
@teddynote
3 ะบาฏะฝ ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค๐๐ ์์ผ๋ก๋ ์ด์ฌํ ํ๊ฒ ์ต๋๋ค!
์ญ์ ํ๊ตญ์ด sllm ์ค์์๋ eeve ๋ชจ๋ธ์ด ์์ฆ ์ธ๊ธฐ๊ฐ ์๋ค์~ ์ข์ ๊ฐ์ ๊ฐ์ฌํฉ๋๋ค!
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ธ๊ธฐ๊ฐ ์๋๋ฐ์๋ ์ด์ ๊ฐ ์๋๋ผ๊ตฌ์! ๊ฐ์ฌํฉ๋๋ค๐
๊ฐ์ฌํฉ๋๋ค :)
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ค ์ ๋ ๊ฐ์ฌํฉ๋๋ค ๐
๋ญ์ผ ๋น์ ์๋์์ด ์ฃผ๋ ๋๋ฌด...? ๋๋ฌด ๊ฐ์ฌํฉ๋๋ค...
@teddynote
ะะน ะฑาฑััะฝ
์ด๋ฉ?! ๋ค ๊ฐ์ ธ๊ฐ์ธ์๐คค
๊ฐ์ฌํฉ๋๋ค.
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ด์ฟ ์ด๋ ๊ฒ ํฐ ๊ธ์ก์...๐ญ ๊ฐ์ฌํฉ๋๋ค. ๋ง์๋ ๊ฑฐ ์ฌ๋จน๊ฒ ์ต๋๋ค๐
์๋ ollama๋ก ํ์ ํ๋ฉด์ ๋๋๋๊ณ ์์๋๋ฐ ใ ใ ใ ใ ใ ใ ใ ใ ใ ใ ใ ใ ใ ใ ใ ๊ณ ๊ตฌ๋ง์ ์ฌ์ด๋ค ์ค์ก์ต๋๋ค...
@teddynote
2 ะฐะน ะฑาฑััะฝ
ใ ใ ใ ใ ใ ๊ฐ์จํฉ๋๋ค.
์์ ๋๋ ๋๊ธฐ๋ฉฐ.. ๋ก์ปฌ์์ ์ ์ฆ..
@teddynote
2 ะฐะน ะฑาฑััะฝ
๐ญ
์๋ดค์ต๋๋ค. m3 max ์ฑ๋ฅ๋ ์๋นํ๋ค์!
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ง์กฑ์ค๋ฝ์ต๋๋ค๐
์ฌํ๋ฐฉ๋ฒ: ollama create ์คํ์ ์๋ฌ๋ฐ์: Error: unknown parameter 'TEMPERATURE' ํด๊ฒฐ: Modelfile-V02์ ์ฐธ๊ณ , Modelfile์ TEMPERATURE์ temperature ๋ก ๋ณ๊ฒฝ
@teddynote
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค๐
์ฑ UI๋ก๋ง LLM์ ์ฌ์ฉํ๋ค๊ฐ ์ด๋ ๊ฒ ํ์ด์ฌ ๊ฐ๋ฐํ๊ฒฝ์์ ์ฌ์ฉํ๋ ๋ฐฉ์์ ์ฒ์ ์ ํ๋ค์. ํ์ด์ฌ ์ฝ๋ฉ์ ๊ฐ๋ฏธํ๋ฉด LLM์ ์ด์ฉํด์ ์๋ง์ ํ์ฉ๋ฒ์ ์ฐพ์ ์ ์์ ๊ฒ ๊ฐ๊ตฐ์. ํฅ๋ฏธ์ง์ง ํฉ๋๋ค.
@teddynote
22 ะบาฏะฝ ะฑาฑััะฝ
์ ๋ง ํ์ฉํ ์ ์๋ ๋ฐฉ๋ฒ๋ค์ด ๋ง์ด ์์ต๋๋ค~^^ ๋ค์ํ ์คํ์ ํด๋ณด์ธ์!!
๋๋ฌด ์ข์๊ฐ์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค. ์๊ฒฉ์ผ๋ก ์๋น์ค ํ๋ ๋ฐฉ๋ฒ์ ๋ํด์ ๊ณ ๋ฏผํ๋๋ฐ ํฐ ๋์์ด ๋์์ต๋๋ค. ์ด ๊ตฌ์ฑ์ผ๋ก ํ์๋ง์์ ํ์๋ง ๋ด๋ถ๋ก ์๋น์ค๊ฐ ๊ฐ๋ฅํ ๊น์?( ์ด๊ฑด ๋น์ฐํ ์ ๊ฐ ํ ์คํธ ํด๋ด์ผ ํ๋๊ฑด๋ฐ ์์ง ์ค๋ ฅ์ด ์๋์ด์ ์ง๋ฌธ๋๋ฆฌ๋ค์ ...) ๊ทธ๋ฆฌ๊ณ M3 ์ฌ์์ด ์ด๋ป๊ฒ ๋๋์? ์๊ฐ๋ณด๋ค ์๋ต ์๋๊ฐ ๋๋ฌด ๋น ๋ฅธ๋ฐ์!!
@teddynote
2 ะฐะน ะฑาฑััะฝ
ํ์๋ง๋ผ๋ฆฌ๋ ์๋ก ํต์ ์ด ๋๋ฉด ๋ฌธ์ ์์๊ป๋๋ค. ๋ค๋ง ์ด๋ ngrok ๋์ ๋ด๋ถ ์์ดํผ๋ฅผ ์ฌ์ฉํด์ผ ํ๊ณ ์ ๋ฐฉํ๋ฒฝ์ด ํด๋น ํฌํธ์ ๋ํด ์ด๋ ค ์์ด์ผ ํฉ๋๋ค. M3 ์ ๋ง ๋น ๋ฅด๋๋ผ๊ตฌ์! ๋งฅ๋ถ ํ๋ก M3 gpu ์ ๊ทธ๋ ์ด๋ ํ CTO ์ฌ์์ ๋๋ค. ๊ตณ์ด ๋งฅ๋ถ ์๋๋๋ผ๋ ์์ํ ๋ชจ๋ธ์ด๋ผ์ GPU ๋ฌ๋ฆฐ ๋ ธํธ๋ถ์ด๋ผ๋ฉด ์ด๋์ ๋ ๋ต๋ณ ์๋๋ ๋น ๋ฅธํธ์ ๋๋ค^^
์ค ์ฃผํผํฐ ๋์ปค ๊ฐ๋ค์ผ์๋๋ฐ ์ต์ํ ๋๋ค์์ด๋ค ์ถ์๋๋ฐ ํ ๋๋์ด ๋ง๋์ ๊ฑฐ์๊ตฐ์! ์ปค์คํ ํด์ ์ ์ฐ๊ณ ์์ต๋๋ค llm๊น์ง ใ ใ ๊ฐ์ฌํฉ๋๋ค gpt api์ฝ ๋น์ฉ ์๋์๋ ์์ผ๋ ค๋์ 4090 ์ ๊ธฐ์ธ๋ ๋น๊ต๋ฅผ ํด๋ด์ผ ๊ฒ ๋ค์ ใ ใ ํน์ ํ ํฐ ์ต๋ ์ธํ ์์ํ ๊ธธ์ด๊ฐ ์ด๋ป๊ฒ ๋๋์ง ์์ค๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ ๋ ์ด๋ถ๋ถ์ ์ฐพ์๋ด์ผ ํ๋๋ฐ์. ๋ฒ ์ด์ค ๋ชจ๋ธ์ธ SOLAR ๊ฐ ์ ์ถ๋ ฅ 4096๊ฐ ์๋ ๊ฒ์ผ๋ก ๊ธฐ์ตํฉ๋๋ค. ๋ฐ๋ผ์, ์๋ง๋ 4096๊ฐ์ผ ๊ฒ ๊ฐ์ต๋๋ค. ์ด๊ฑด ์ ๋ ์ ํํ์ง ์์ผ๋ ํ ๋ฒ ํ ์คํธํด ๋ด์ผ์ง ์ ํํ ์ ์ ์์ ๊ฒ ๊ฐ์์! ์ฌ๊ธฐ llm.extractum.io/model/upstage%2FSOLAR-10.7B-Instruct-v1.0,5KwUWNTl8dKlCxQ8QeQtzZ ์์ SOLAR ๋ชจ๋ธ์ ์คํ์ ํ์ธํด ๋ณด์ค ์ ์์ด์~
@Happybitman
ะะน ะฑาฑััะฝ
@@teddynoteโค
15:56 ์์ ๋๊ธฐ๋๊ฒ๋ง ๋ด๋ ๋ก์ปฌ ๋ฐ์คํฌํ์์ ์ ๋์๊ฐ๊ณ ์์์ด ๋๊ปด์ง๋๋ค. ๐
@teddynote
ะะน ะฑาฑััะฝ
์ปดํจํฐ๊ฐ ๋ง์ด ํ๋ค์ด ํ๋๋ผ๊ณ ์๐ญ๐ญ
์ข์๊ฐ์ ์ ๋ดค์ต๋๋ค!! ๋ณด๋์ค ๊ถ๊ธํ๊ฒ ์๊ฒผ๋๋ฐ aws์ ๊ฐ์ด ๋ฆฌ๋ ์คํ๊ฒฝ์์๋ ์ด ์์๊ณผ ๊ฐ์ด ๋๊ฐ์ด ๋ฐ๋ผํ๋ฉด ์น์๋ฒ๋ฅผ ๊ตฌ์ถํ ์ ์์๊น์??
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ต ๊ฐ๋ฅํฉ๋๋ค! ๋ฐฉํ๋ฒฝ ์ค์ ์ ์ถ๊ฐ๋ก ํด์ผํ ์๋ ์์ต๋๋ค!
์ค๋๋ ์ข์ ๋ด์ฉ์ด๋ค์. ๊ฐ์ฌํฉ๋๋ค. ํน์ ํ๋ก์ ํธ ํ์ค ์ํฅ์ ์์ผ์ ๊ฐ์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ด๋ค ํ๋ก์ ํธ์ธ์ง ๊ฐ๋ตํ๊ฒ ๋ง์ํด ์ฃผ์ค ์ ์์ผ์๋ค๋ฉด teddylee777@gmail.com ์ด์ชฝ์ผ๋ก ๋ณด๋ด์ฃผ์๋ฉด ๊ฐ์ฌ๋๋ฆฌ๊ฒ ์ต๋๋ค๐๐
@changjunlee2759
2 ะฐะน ะฑาฑััะฝ
@@teddynote ์ ์ ํ ์์ ์ ์ฐ๋ฝ๋๋ ค ๋ณด๊ฒ ์ต๋๋ค.
ํ ๋๋! ์์๋ณด๋ฉฐ ๋ค๋ฅธ ๋ชจ๋ธ๋ ์ ์ฉํด ๋ณด๊ณ ์์ต๋๋ค. ์ํ์ฝ๋๋ณด๋ ๋ผ๋ง3๋ ์ ์ฉํด ๋ณด์ ๊ฑฐ ๊ฐ์๋ฐ ํน์ ํ๊ธ๋ฌธ์ ์์ผ์ จ๋์? ํ๊ธ๋ต๋ณ์ด ์๋์ค๋๊ฑด ์๋๋ฐ ๋ญ๊ฐ ํ์ง์ด ๋จ์ด์ง๊ธฐ๋ ํ๊ณ ์์คํ ํ๋กฌํํธ๋ฅผ ์ค๋ ์์ด๋ก ๋ต๋ณํ๊ธฐ๋ ํ๊ณ ๊ทธ๋ฌ๋ค์^^;
@teddynote
2 ะบาฏะฝ ะฑาฑััะฝ
์์ด์ ํธ ์ฌ์ฉํ๋ฉด ํ๊ธ ๋ต๋ณ์ ๋ํ์ฌ ์ข ํ์ง์ด ๋จ์ด์ง๋ ๊ฑด ์ฌ์ค ์ธ๊ฒ ๊ฐ์ต๋๋ค. 8B์์๋ ํ์คํ ๊ทธ๋ ๊ตฌ์ 70B ์ฌ์ฉํ๋๊น ํ์คํ ์ข์ต๋๋ค!
ํ ๋๋ ๋ ์ข์ ๊ฐ์ ๊ฐ์ฌ ๋๋ฆฝ๋๋ค. ํ ๊ฐ์ง ์ง๋ฌธ์ด ์์ด ๋ฌธ์ ๋๋ฆฝ๋๋ค. Streamlit ๋ก์ปฌ ์์ ๊ตฌํ ์, ํน์ ํ๊ธ ์๋ฒ ๋ฉ ๊ด๋ จํด์ ํ์๋ง์ธ๊ฒฝ์ฐ ์ถ์ฒ ํด์ฃผ๋งํ๊ฒ ์์๊น์?? ๋ฐ์์๋ ์ ๋์๋๋ฐ ํ์๋ง์ธ ๊ณณ์์๋ PDF๋ฑ๋ก์์ ๊ณ์ ์ค๋ฅ๊ฐ ๋ฐ์๋์ด์์
@teddynote
ะะน ะฑาฑััะฝ
์๋ ํ์ธ์! ํน์ langserve github์ ์ ๋ก๋๋ streamlit ์์ ์์ bge-m3 ์๋ฒ ๋ฉ ์ฌ์ฉํ๋ ์์ ๊ฐ ์๋๋ฐ์. ํ์๋ง์์๋ ๋ฌธ์ ์์ด ์ ๋์ํ๊ณ pdf ๋ ๋ฌธ์ ์์ด ์ ์๋ฒ ๋ฉ ๋๋๋ฐ์. ํ ๋ฒ ํ์ธํด ๋ณด์๊ฒ ์ด์? ์์ค์ฝ๋ ๋งํฌ ๋จ๊ฒจ๋๋ฆฝ๋๋ค. github.com/teddylee777/langserve_ollama/blob/main/example/main.py
@teddynote
ะะน ะฑาฑััะฝ
๋ง์ฝ์ ํ์๋ง์์ ์๋๋ ์ด์ ๋ฅผ ์ฐพ์๋ฉด ํ๊น ํ์ด์ค์์ ๋ชจ๋ธ ๋ค์ด๋ก๋ ํ ๋ ๋งํ์์ ์๋ ์์ ๊ฒ ๊ฐ์ต๋๋ค. ์ด ๋ถ๋ถ์ ์ธ๋ถ๋ง์์ ๋ค์ด๋ก๋ ๋ฐ์ ๋์ผ์๊ณ ๊ทธ ๋ค์๋ถํฐ๋ ํ์๋ง์ผ๋ก ์งํํด ๋ณด์ญ์ผ~!!
๊ฐ์ ์ ๋ง ์ ๋ดค์ต๋๋ค. ๋ง์ง๋ง streamlit ์์ ๊ตฌ๋ํ ๋ ๋ต๋ณ์ด ๋ค ์์ฑ๋ ํ์ ๋์ค๋ ๊ฒ ๋ง๊ณ stream ํ์์ผ๋ก ๋์ค๊ฒ ํ๋ ๋ฐฉ๋ฒ๋ ์ค๋ช ํด ์ฃผ์๋ฉด ๊ฐ์ฌ๋ผ๊ฒ ์ต๋๋ค(runnable ํํ์์์)
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ค์ฝ๋์ ๋ฐ๋ก ์ ๋ฐ์ดํธ ํด๋จ์ต๋๋ค^^
@user-be7rz5ir6j
2 ะฐะน ะฑาฑััะฝ
Expected response header Content-Type to contain 'text/event-stream', got 'application/json' ๋ณ๊ฒฝํ์ ์ฝ๋๋ก ํด๋ณด๋ ์ด๋ฐ ๋ฉ์์ง๊ฐ... ๋จ๋ค์ใ ใ
@teddynote
2 ะฐะน ะฑาฑััะฝ
์๋ง ๋๋ฉ์ธ๋์ llm ์ ๋ถํ์ ๊ทธ๋ฐ ๊ฒ ์๋๊น์? llm๋ถ์ฌ๋ณด์ธ์~
@teddynote
2 ะฐะน ะฑาฑััะฝ
@@user-be7rz5ir6j ๋ฐฉ๊ธ ์์ค์ฝ๋์ ์ฃผ์ ์์ธํ ๋ถ์ฌ์ ์ฝ๋ ์ ๋ฐ์ดํธ ํด๋จ์ผ๋ ์ฐธ๊ณ ํด ๋ณด์ธ์~
@user-be7rz5ir6j
2 ะฐะน ะฑาฑััะฝ
@@teddynote ๋ฆ์์๊ฐ๊น์ง ๋ต๋ณ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค โบ๏ธ
์ ๋ง ๊ฐ์ฌํฉ๋๋ค. ๋ณด์ฌ์ฃผ์ ๋๋ก ๋ฐ๋ผํ๊ธฐ ์ฝ๋ฉ ํ์ฌ ์งํํ์์ต๋๋ค.!!! ๋ค์ ํ๋ฒ ํ ๋ ๋๊ป ๊ฐ์ฌ ๋๋ ค์!! ๋ค๋ฅธ ๊ฒ๋ค์ ์ ์งํ ๋์์ต๋๋ค. ์ต์ข ์ผ๋ก streamlit ์์ ์๋๊ณ ์์ด์. ์๋์ฐ ํ๊ฒฝ์์ ์งํํด์ ๊ทธ๋ฐ์ง ์ต์ข streamlit ์์ pdf ๋ฌธ์๋ฅผ ๋ฑ๋กํ๋ "PDFInfoNotInstalledError: Unable to get page count. Is poppler installed and in PATH?" ์๋ฌ๊ฐ ๋ฐ์ํ์ฌ poppler ๋ฅผ ์ค์น ํ๊ณ ํ๊ฒฝ๋ณ์์ ๋ฑ๋ก ํ์ง๋ง ์์ง ์ค๋ฅ๋ฅผ ํด๊ฒฐ ๋ชปํ๊ณ ์์ต๋๋ค. ๋ค๋ฅธ ์๋์ฐ ํ๊ฒฝ์์ ์์ ํ๋ ๋ถ๋ค์ ์ ๋์๋์?
@teddynote
ะะน ะฑาฑััะฝ
poppler ์๋์ฐ ์ค์น ๊ฐ์ด๋ ์๋ ๋งํฌ ํ ๋ฒ ์ฐธ๊ณ ํด ๋ณด์ธ์!! blog.naver.com/kiddwannabe/222464734713
์์ ๋ช ์ผ ๋์ ๋๋ ค๋ณด๋ฉด์ ๊ฐ์ ํ ๋ฐ๋ผํด๋ณด์์ต๋๋ค. ์ ๋ง ํ๋ฅญํ ๊ฐ์ ๊ฐ์ฌํฉ๋๋ค. ^^ ํน์ ๊ฐ์ ์ดํ์ ํ๊ธ embedder๋ก rag ์ฑ๋ฅ ๋น๊ต๋ฅผ ํด๋ณด์ ์ ์ด ์์๊น์? embedder๋ฅผ ๋ณ๊ฒฝํ๋ ๊ฒ์ผ๋ก๋ ์ฑ๋ฅ์ฐจ์ด๊ฐ ๋ง์ด ๋์ง๋ ์์๊น ๊ถ๊ธํด์ ์ง๋ฌธ๋๋ ค ๋ด ๋๋ค. ๊ทธ๋ฆฌ๊ณ ํน์ ํ๊ตญ์ด embedder๋ก ์ถ์ฒํด์ฃผ์ค ๋งํ ๊ฒ์ด ์์๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์๋ฒ ๋๋ฅผ ์ด๋ค ์๋ฒ ๋๋ฅผ ์ฌ์ฉํ๋๋์ ๋ฐ๋ผ์ ์ฑ๋ฅ ์ฐจ์ด๊ฐ ์์ ์ ์์ต๋๋ค. ๋ฐ๋ผ์, ์ง์ ๋ณ๊ฒฝํด ๋ณด์๋ฉด์ ํ ์คํธ ํด๋ณด์๋ ๊ฒ์ด ์ค์ํ ๊ณผ์ ์ค์ ํ๋๋ผ๊ณ ๋ณผ ์ ์์ต๋๋ค. ๊ณต๊ฐ๋ ๋ฌด๋ฃ ์๋ฒ ๋ ์ค์์๋ BGE-M3 ์๋ฒ ๋ฉ ๊ด์ฐฎ์ ๊ฒ ๊ฐ์ต๋๋ค!
@plannedhappenstance7594
ะะน ะฑาฑััะฝ
@@teddynote ๊ฐ์ฌํฉ๋๋ค. ๋ง์ํด์ฃผ์ ์๋ฒ ๋๋ฅผ ํฌํจํด์ ๋ค์ํ๊ฒ ์๋ํด๋ณด๊ฒ ์ต๋๋ค^^
@SeunggeunBaeck-ou4qf
4 ะบาฏะฝ ะฑาฑััะฝ
โโโ@@teddynote๋ง์ํด์ฃผ์ bge-m3 ๋ก ๊ณ์ ์๋ฒ ๋ฉ ํด์ ๋ ๊ทธ ๊ตฌ์ฑ ์ค์ ๋๋ค. ์๋ฒ ๋ฉ์ ์ ํ๋ ๋ฌธ์ ๋ ์ ์๋๊ปด์ง๋๋ฐ ๋งค๋ฒ ์ง๋ฌธ ํ๋ ์ ๋ ฅํ ๋ ๋ง๋ค ๋ต๋ณ์ ์์ฑ ์ค์ ๋๋ค๋ผ๋ ๋ฌธ๊ตฌ๊ฐ ๋ํ๋๊ธฐ ์ ๊น์ง 5์ด ๊ฐ๋ ๋ก๋๋ฅผ ๊ณ์ ํฉ๋๋ค. ๋ง์น ๋งค๋ฒ ์ง๋ฌธ ํ ๋๋ง๋ค ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ๋ก๋ํ๋ ๋๋์ด ๋๋๋ฐ ๋ญ๊ฐ ๋ฌธ์ ์ผ๊น์? ์๋ฒ ๋ฉ์ cpu์ cuda๋ก ๋ฐ๊ฟ ๋ด๋ ๊ฐ์ ์๋๊ฐ ๊ฑธ๋ฆฝ๋๋ค. ใ ใ gpu๋ 3090์ ์ฌ์ฉํฉ๋๋ค.
@SeunggeunBaeck-ou4qf
4 ะบาฏะฝ ะฑาฑััะฝ
์๋ฌด๋๋ open ai ์ฒ๋ผ ์๋ฒ ๋์ ์ถ๋ก ๋ชจ๋ธ์ด ๊ฐ์ด ์๋ ์์คํ ์ด ์๋๋ผ์ ์ผ๊น์?
@teddynote
4 ะบาฏะฝ ะฑาฑััะฝ
@@SeunggeunBaeck-ou4qf ์ง๋ฌธ๋ ์๋ฒ ๋ฉ์ ํด์ผํ๊ธฐ ๋๋ฌธ์ ์ง๋ฌธ์ ๋ํ ์๋ฒ ๋ฉ ์๊ฐ๋ ๊ณ ๋ คํด์ผ ํฉ๋๋ค! gpu ์ฌ์ฉ๋ฅ ์ฒดํฌํด ๋ณด์๋ฉด์ ์ง์ง gpu๋ฅผ ํ์ฉํ ์ถ๋ก ํ๊ณ ์๋์ง๋ ํ ๋ฒ ์ฒดํฌํด ์ฃผ์ธ์^^
local์์ ollama๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ์๋ ๋น์ฉ์ด ๋ฐ์ํ๋ ๊ฑด๊ฐ์? ๋ง์ฝ ๋น์ฉ์ด ๋ฐ์ํ๋ค๋ฉด, ๋น์ทํ ํ์์ผ๋ก ํ๊ธ ๊ธฐ๋ฐ ์๋น์ค๋ฅผ ํ๊ณ ์ ํ ๋ license free๋ก ์ฌ์ฉํด๋ณผ๋งํ ๋ชจ๋ธ ์ถ์ฒ ๋ถํ๋๋ ค์.
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋น์ฉ์ด ๋ฐ์ํ์ง ์๊ธฐ ๋๋ฌธ์ Ollama ์ ์ฌ๋๋ค์ด ๊ด์ฌ์ ๋ง์ด ๊ฐ์ง๋๋ค. ์คํ๋์ด ์๋ ๋ชจ๋ธ์ ๋ค์ด๋ก๋ ๋ฐ์์ ๊ตฌ๋ํ๋ ๊ฐ๋ ์ด๊ตฌ์. ๋ค๋ง, ์ปดํจํฐ์์ ๋๋ฆฌ๊ฒ๋๋ฉด ์ ๊ธฐ๋ฅผ ๋ง์ด ์ก์๋จน์ด์ ์ ๊ธฐ๋ฃ ์ ๋? ๋ฐ์ํ๋ค๊ณ ๋ณด์๋ฉด ๋ฉ๋๋ค. ์ค๋ ๊ณต์ ๋๋ฆฐ EEVE ๋ชจ๋ธ ์ถ์ฒ ๋๋ฆฝ๋๋ค. ๊ฐ์ธ์ด ์ฌ์ฉํ๋ ๊ฒ์ ์์ ๋กญ๊ณ , Apache-license ๋ก ํ๊ธฐ๋์ด ์๊ธฐ๋ ํ๋ฐ์. ์์ ์ ์ธ ์ด์ฉ์ด ๊ถ๊ธํ์๋ฉด ์ด ๋ถ๋ถ์ ์์ ์์์ธ yanolja ๊ฐ๋ฐํ์ ๋ฌธ์ํด๋ณด์๋ ๊ฒ์ด ์ ํํ ๊ฒ ๊ฐ์ต๋๋ค~
๋ชจ๋ธ์ ollama์์ runํ๊ณ serveํ๋ฉด ์ต์๋์ธ์ Text Generator์ด๋ Copilot๊ฐ์ ๊ณณ์์๋ ๋ชจ๋ธ ์ด์ฉํ๋๊ฒ๋ ํด๋ณด์ จ๋์!
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ค ๋ฐฉ๊ธ ๋ง์ํด ์ฃผ์ ์ ํด๋ดค๋๋ฐ~ ๊ฝค๋ ์ ๋์ํฉ๋๋ค! ์์ด๋์ด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋ธ๋ผ์ด์ธ๋ ๋๋ถ์ ์ต์๋์ธ ์ ๋ฌธํด์ ๋๋ฌด๋ ์ ํ์ฉํ๊ณ ์์ต๋๋ค~ ์์ผ๋ก๋ ๊ฟํ ์ป์ผ๋ฌ ์์ฃผ ๊ฐ๊ฒ ์ต๋๋ค~^^
์๋ ํ์ธ์ ์์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค.^^ EEVE ๋ชจ๋ธ์ ์์ ์ฉ์ผ๋ก ์ฌ์ฉํด๋ ๋๋์?
@teddynote
ะะน ะฑาฑััะฝ
apache 2.0 ๋ผ์ด์ผ์ค๋ฅผ ๋ฐ๋ฆ ๋๋ค. ์์ ์ฉ ์ฌ์ฉ์ด ๊ฐ๋ฅํ๋ ์ ์ฝ์ด ์์ผ๋ ์ฌ์ ์ ํ์ธํด ๋ณด์ธ์^^
์๋ ํ์ธ์! ์ข์ ์์ ์ ๋ดค์ต๋๋ค ์ด๋ ๊ฒ ํ๋ฉด ์ฌ๋ด ์๋ฒ์ ์ค์น๋ ์ฌ๋ผ๋ง๋ฅผ ํตํด์๋ง ๋์ํ๋๊ฑฐ์ฃ ? ์ธ๋ถ์์ ์ฐ๊ฒฐ์ (๋ณด์์ ๋ฌธ์ ๊ด๋ จ)์ ์๋๊ฑฐ์ฃ ?
@teddynote
28 ะบาฏะฝ ะฑาฑััะฝ
๋ค ์ฌ๋ด์์ ๋์ ๊ฐ๋ฅํ๊ตฌ์ ํ๋ก์๋ ์ค์ ๊ฐ๋ฅํฉ๋๋ค~ ๋ณด์์ ๋ชจ๋ธ ์์ฒด์ ๋ฌธ์ ๋ณด๋ค๋ ์ฐ๊ฒฐ์ ๋ณด์ ์ค์ ๋ง ์ ํด์ฃผ์๋ฉด ๋ฌธ์ ์์ ๊ฒ ๊ฐ์ต๋๋ค^^
์ข์ ๊ฐ์ ๋๋ถ์ ๋ก์ปฌ RAG์์คํ ์ ๊ตฌ์ถํ์์ต๋๋ค. ์ง๋ฌธ์ด ์๋๋ฐ์. Runnable์ ์ธ๋ , ๋ต๋ณ์ผ๋ก ์ฐธ์กฐ ๋ฌธ์๋ฅผ ๋ฐ์ ์ ์๋ ๋ฐฉ๋ฒ์ด ์๋์? ConversationalRetrievalChain์์ return_source_documents=True ์ ์ต์ ์ผ๋ก result['source_documents'] ์ด๋ ๊ฒ ๋ฐ์์๋๋ฐ Runnable์์ PromptTemplate์ ์ถ๊ฐ๋ฅผ ํด์ค ๋ดค๋๋ฐ, ์๊พธ ์๋ฌ๊ฐ ๋ ์ ์ด๋ค ์ฐธ๊ณ ํ ๋งํ ๋ฐฉ๋ฒ์ด ์์๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ต๋ณ์ ์ฐธ์กฐ ๋ฐ์ ์ ์์ด์. ํ๋กฌํํธ์ ๋ต๋ณ์ ์ฐธ์กฐ๋ฅผ ํฌํจํด ๋ฌ๋ผ๋ ์์ฒญ์ ํ๊ฒ ๋๋ฉด ๋ต๋ณ ๋ฌธ์์ด์ ์ฐธ์กฐ๊ฐ ํฌํจ๋์ด์ ๋์ค๊ธฐ๋ ํ๊ตฌ์. key ๊ฐ์ผ๋ก ๋ฐ๊ณ ์ ํ๋ค๋ฉด, json output parser ๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ๋ ์์ต๋๋ค. ์ํค๋ ์ค์ json output parser ๋ก ๊ฒ์ํด์ ํํ ๋ฆฌ์ผ ์ฐธ๊ณ ํ์๋ฉด ์ข์ ๊ฒ ๊ฐ์์~!
@nbright3700
2 ะฐะน ะฑาฑััะฝ
๊ฐ์ฌํฉ๋๋ค. ์ผ๋จ ๋ฐ๋ก ์ฟผ๋ฆฌ ๋ ๋ ค์ ๊ฒ์ํด์ ์ฐพ์ ๋ด์์ต๋๋ค. ์๋ ค์ฃผ์ ๋ถ๋ถ๋ ํด๋ณด๊ฒ ์ต๋๋ค.
์ข์ ๊ฐ์ ๊ณต์ ํด ์ฃผ์ ์ ๋๋ฌด ๊ฐ์ฌํฉ๋๋ค. ์ ํ์ฉํ๊ณ ์๋๋ฐ์. ํ ๊ฐ์ง ๊ถ๊ธํ ๊ฒ์ด ์์ต๋๋ค. lang serve๋ฅผ ๊ตฌ๋ํ ํ์ ์ฒ์ ์ง๋ฌธํ ๋ ์๊ฐ์ด ์ข ๊ฑธ๋ฆฌ๋ฐ, ํน์ cold start ๋ฌธ์ ์ผ๊น์? ๋๋ฒ์งธ๋ถํฐ๋ ์๋ต์ด ๋๋ฆฌ์ง ์์ต๋๋ค.
@teddynote
13 ะบาฏะฝ ะฑาฑััะฝ
๋ก์ง์์ ์ฒ์ ์ฒด์ธ์ ๋ง๋ค๋ ์๊ฐ์ด ๊ฑธ๋ฆด ์ ์์ต๋๋ค. ์๋ฒ ๊ตฌ๋ํ๋ฉด์ ์ฒด์ธ ๋ง๋ค์ด ๋์ผ์๋ฉด ์ง์ฐ์๊ฐ์ ์ค์ฌ๋ณด์ค ์ ์์ต๋๋ค^^
์ผ๋์์ ํ๊ธ๋ชจ๋ธ๋ก ๋ฒ์ญํ๋ฉด ๋ฅ์๊ณผ ๋น๊ตํด์ ์ด๋ค๊ฐ์? ใ ใ
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ผ๋ฐ ๋ฒ์ญ ์์ค์ ํ๋ฅญํฉ๋๋ค. ์ ๋ ๋๋ฆ ๋ง์กฑํ๋ฉด์ ์ฌ์ฉํ๊ณ ์์ด์!
ํ ๋๋ ์์๋ณด๋ฉฐ ์ ์ธ๊ณ๋ฅผ ๊ฒฝํํ๊ณ ์์ต๋๋ค. ollama create ์ Error:command must be one of "from", "license", "template", "system", "adapter", "parameter", or "message" ๋ฐ์ํด์ temperature ๋ถ๋ถ ์ ๊ฑฐ ํ ์์ฑํ์์ต๋๋ค. ๊ฐ์ ๋ฌธ์ ๋ ์์ผ์ จ๋์ง์?
@teddynote
24 ะบาฏะฝ ะฑาฑััะฝ
๋ง์ต๋๋ค ๋ฌธ์ ์์ต๋๋ค ์ฝ๋ ์์ ํด ๋๊ฒ ์ต๋๋ค^^
์๋ ํ์ธ์ ๋ก์ปฌ ์๋น์ค ์ธํ ํ ์๋์ฐ์์ ๋ก์ปฌ, ๋ฆฌ๋ชจํธ ์ ์ํด์ ์ง๋ฌธ์ 1๊ฐ๋งํด๋ ์๋๊ฐ ์์ฒญ ๋๋ฆฝ๋๋ค. ์ง๋ฌธ๊ณผ ๋์์ cpu 99%, ๋ฉ๋ชจ๋ฆฌ full, gpu๋ ๊ฑฐ์ ์๋จน์ต๋๋ค. (๋ ธํธ๋ถ ์ฌ์ : i7 12์ธ๋, 16g, ๋ด์ฅ๊ทธ๋ํฝ) ํน์ ์ด์ ๊ฐ ์์๊น์?
@teddynote
ะะน ะฑาฑััะฝ
๋ค ์ธ์ฅ ๊ทธ๋ํฝ(์๋น๋์ ๊ณ์ด) ์ด ๋ฌ๋ ค์์ง ์์ผ๋ฉด ๋ต๋ณ์ด ๊ต์ฅํ ๋๋ฆฝ๋๋ค. ๋น ๋ฅธ ์ถ๋ ฅ์ ์ํด์๋ GPU๊ฐ ํ์ํฉ๋๋ค!!
๋จ์ ์ฑ๋ฅ๋ง ๋น๊ตํ๋ฉด ๊ทธ๋๋ gpt4 ๊ณ์ด์ ๋ชจ๋ธ์ด EEVE๋ณด๋ค ๋ง์ด ์ข์๊ฐ์? ํ๊ตญ์ด ๊ธฐ์ค์ผ๋ก์!
@teddynote
23 ะบาฏะฝ ะฑาฑััะฝ
์ฑ๋ฅ์ด ์ฌ๋ฌ ๋ถ๋ถ์ ํฌํจํ๊ณ ์์ง๋ง GPT4๋ ์ ๋ ฅ์ผ๋ก ๋ฐ๋ ์ปจํ ์คํธ ๊ธธ์ด๊ฐ 128K๋ก eeve ์ 4K๋๋น ํฌ๊ธฐ ๋๋ฌธ์ RAG๋ฅผ ํ์ค ๋๋ ์ ๋ ฅ์ ๊ธธ์ด๊ฐ ๊ธธ๋ฉด ์ข์ผ๋ฏ๋ก GPT4๊ฐ ์ข๋ค๊ณ ํ ์ ์์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค. ollama ๋ก ๋๋ฆฐ ๊ฒ์ด๋ transformer ๋ก ๋๋ฆฐ ๊ฒ์ด๋ ์ฑ๋ฅ ์ฐจ์ด๊ฐ ์ข ์๋์ง ์ฐพ์ ๋ด์ผ๊ฒ ๋ค์
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ํ ๋ชจ๋ธ์ด๊ธฐ ๋๋ฌธ์ ์์ํ ์์ค์ ๋ฐ๋ผ ์ฝ๊ฐ์ ์ฑ๋ฅ ์ฐจ์ด๊ฐ ๋ฐ์ํ ์ ์์ต๋๋ค~
์์ํ ๋ชจ๋ธ์์๋ VRAM 12G ์ ๋์์๋ ์ํํ๊ฒ ๋๋ฆด์ ์๋์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์ ๊ฐ ํ ์คํธ ํด๋ณธ ํ๊ฒฝ์ด mac ์ด๋ผ ๋จ์ ๋น๊ต๊ฐ ์ด๋ ต๊ฒ ์ง๋ง 12G์ถฉ๋ถํ ๋์๊ฐ ๊ฒ ๊ฐ์ต๋๋ค!
๋๋ฌด ์๋ดค์ต๋๋ค. ๋ค๋ฆ์ด ์๋๋ผ ๊ถ๊ธํ๊ฒ ์๋๋ฐ์... ์๋์ฐ์์๋ ๋๋ ๊ฑด๊ฐ์ฌ?
@teddynote
ะะน ะฑาฑััะฝ
๋ค ๊ฐ๋ฅํฉ๋๋ค!
@Withipad
ะะน ะฑาฑััะฝ
๋๋ฌด ์ค๋ช ์ด ์๋์ด์์ด์ rag์ ๊น์ง๋ ์ฑ๊ณต์ ํ์์ต๋๋ค. ๊ทธ rag๋ฅผ ํ๋ ค๋ฉด ์๋ฒ ๋ฉ์ openai๋ก ํ๋ค๊ณ ํ๊ณ ๋ค๋ฅธ๊ฑธ๋ก ํ ์๋ ์๋ค๊ณ ํ์ จ๋๋ฐ ์คํ์์ค๋ก ๋์ด์๋๊ฒ์ด ๋ญ๊ฐ ์์๊น์?
@teddynote
ะะน ะฑาฑััะฝ
@@Withipad ํ๊น ํ์ด์ค์ bge-m3 ์๋ฒ ๋ฉ์ด ์์ต๋๋ค~ ํ๊ธ ์ฒ๋ฆฌ ๋ฅ๋ ฅ๋ ์ฐ์ํ ํธ์ ๋๋ค
@Withipad
ะะน ะฑาฑััะฝ
@@teddynoteใ ใ กใ ๊ฐ์ฌ๋๋ฆฝ๋๋
@Withipad
ะะน ะฑาฑััะฝ
ํ๊ฐ์ง๋ง ๋ง์ง๋ง์ผ๋ก ์ง๋ฌธ๋๋ฆฌ๋ ค๊ณ ํฉ๋๋ค.. ๊ทธ ์คํ๋ผ์ธ ํ๊ฒฝ์์๋ ์ ๋ ์งํํ ์์๋ ํ๋ก์ ํธ์ธ๊ฐ์?? Server.py๋ฅผ ์คํ๋ผ์ธ์์ ์คํ์์ผฐ๋๋, ์๋ฌ๊ฐ ๋จ๋๋ผ๊ตฌ์ ๋ญ์ฒด์ธ ๋ชจ๋์์ ์จ๋ผ์ธ์ผ๋ก ๊ฐ์ ธ์ค๋๊ฒ ์๋๊ฒ ๊ฐ๋๋ฐ์ฉ..
์ง๋ฌธ ํ๋๋งํด๋ gpu๊ฐ 100%๊ฐ ๋์ด๋ฒ๋ฆฌ๋ค์ ๋ง์ฝ์ gpt3์ฒ๋ผ ์๋น์ค๋ฅผ ํ๋ ค๊ณ ํ๋ค๋ฉด ์ปดํจํฐ๊ฐ ๋ฌด์ํ๊ฒ ๋ง์ด ํ์ํ ๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
VRAM์ ๋ ํฐ GPU๋ฅผ ์ฌ์ฉํ ์ ์๊ณ ์ ์ ๋ง ์ฌ์ฉ์๊ฐ ๋ง๋ค๋ฉด ๋ ๋ง์ ์ฅ๋น๊ฐ ํ์ํ ์ ์์ด์. ํด๋ผ์ฐ๋ ์๋น์ค๋ฅผ ์ด์ฉํ๋ฉด ์์ฝ๊ฒ ํ์ฅํ ์ ์์ ๊ฒ ๊ฐ์ต๋๋ค! ๊ทธ๋ฐ๋ฐ ๋์ ๋ง์ด ๋ค์ฃ ใ
๊ฐ์ฌํฉ๋๋ค. ์๋์์ด ์ฃผ์๋ ๋๋ฌด. ๋๋ถ์ ํ ๋ฒ ๋๋ ค๋ณผ ์ ์์์ด์! ๊ทผ๋ฐ, Langserve PlayGround UI๊ฐ ํด๋์ ํ๊ธฐ์์๋ ์งค๋ฆฌ๋๋ฐ ํด๊ฒฐ๋ฐฉ๋ฒ์ด ์์๊น์?
@teddynote
6 ะบาฏะฝ ะฑาฑััะฝ
์์ฝ์ง๋ง ๋ชจ๋ฐ์ผ ๋์์ด ์์ง์ ์กฐ๊ธ ๋ถ์กฑํ ๊ฒ ๊ฐ์์ ์์ ์ ๊ฐ๋ฅํ๋ฐ์ ์๋ง css ์ชฝ์ ์ง์ ์ฝ๋๋ก ์์ ํด์ผ ํ ๊ฒ ๊ฐ์ต๋๋ค ใ ํ
@JihaoXu
6 ะบาฏะฝ ะฑาฑััะฝ
@@teddynote ๋ฐ์์ ๋ฐ ๋๊ธ ๊ฐ์ฌํด์. ์๋ฒ ๋๋ฅผ ๋ฌด๋ฃ๋ก ์ฌ๋ฌ๊ฐ์ง ๋๋ ค๋ณด๋๋ฐ segmetation falut ๊ฐ ๋๋๋ฐ, OpenAI๋ฅผ ์ ์จ์ ๊ทธ๋ฐ ๊ฑด์ง ๊ถ๊ธํฉ๋๋ค. +, .cahe/files ์์๋ ์ ๋ณด์ด๋๋ฐ, FAISS ์ ์ฅ์์ ์ ๋ค์ด๊ฐ๋์ง๋ ์ด๋ป๊ฒ ํ์ธํ๋์ง ๊ถ๊ธํ๋ค์. ์ด๋ณด๋ผ์.. ใ
@teddynote
6 ะบาฏะฝ ะฑาฑััะฝ
@@JihaoXu FAISS ์ ์ฅ์์ ์ ๋ค์ด ๊ฐ๋์ง๋ ์ผ๋จ DB INDEX ๋ฅผ ์ ์ฅํ ๋ค์์ ์์ฑ๋ INDEX ํ์ผ์ ๋ณด๊ณ ์ ์ถํ ์ ์์ด์~ ๊ทผ๋ฐ DB ํ์ผ์ด index ์ pkl ๋ก ๋์ด ์์ด ์ฐ๋ฆฌ๊ฐ ๊ทธ๋ฅ ์ด์ด๋ณด๋ ๊ฒ์ ์ด๋ ต๊ณ ์~ ์ด์ฐจํผ ์๋ฒ ๋ฉ๋ ์ซ์ ํํ์ผ๋ก ๋ค์ด๊ฐ์๊ธฐ ๋๋ฌธ์ ์ด์ด๋ด๋ ํด์์ด ์ด๋ ค์์ ๊ฒฐ๊ตญ ์ ๋ค์ด๊ฐ๋๊ฐ๋ retriever ๊ฐ์ ธ์์ ๊ฒ์์ด๋ฅผ ๋ ๋ ค์ DB ์์ ์กฐํ๊ฐ ์ ๋๋์ง๋ก ํ์ธํด ๋ณด๋๊ฒ์ด ๊ฐ์ฅ ๊ฐํธํฉ๋๋ค~
์๋์ฐ์์ cuda ์ค์ ํ๋ ๋ฐฉ๋ฒ ์ ์ ์์๊น์. main.py์์ model_kwargs = {"device": "cuda"} ๋ก ํ์ง๋ง CPU๋ฅผ ์ฌ์ฉํ๊ณ ์์ด ์ง๋ฌธ๋๋ฆฝ๋๋ค ใ ใ ใ
@teddynote
ะะน ะฑาฑััะฝ
์ฐ์ ์๋์ฐ์์ CUDA ์ค์ ์ด ๋์ด ์์ผ์ ์ผ model_kwargs = {"device": "cuda"} ์ด๊ฑธ ์ฌ์ฉํ์ค ์ ์์ด์. ๊ตฌ๊ธ์ "Windows CUDA ์ค์น" ํค์๋๋ก ๊ฒ์ํ์ ์ ์ค์น ๋จผ์ ํด๋ณด์ญ์ผ!!
@yjshon4352
ะะน ะฑาฑััะฝ
๋ต๋ณ ๊ฐ์ฌ๋๋ฆฝ๋๋ค ๋งฅ์ ๋ค๋ฅธ ์ค์ ์์ด ๊ฐ๋ฅํ๋๋ฐ ์๋์ฐ๋ฏ ๋ณ๋๋ก ์ค์น๊ฐ ํ์ํ๊ตฐ์. ์ค์น ์งํํด๋ณด๊ฒ ์ต๋๋ค.
์๋ ํ์ธ์, ์ ๋ง ์ข์ ์์ ๊ฐ์ฌํฉ๋๋ค. ๋ชจ๋ ๋ค ์ฑ๊ณตํ์ผ๋, stramlit ์คํ ํ PDF๋ถ๋ฌ์์ ์ง์ํ ๋ ๊ณ์ํด์ TypeError: 'CacheBackedEmbeddings' object is not callable ์ค๋ฅ๊ฐ ๋จ๋ค์... ํน์ ํด๊ฒฐ๋ฐฉ๋ฒ์ ์๋ ค์ฃผ์ค ์ ์์ผ์ค๊น์?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ฑํ์ ์ฝ๋๋ ๋จ๊ฒจ ์ฃผ์ค ์ ์์๊น์~?
LLM๋ชจ๋์์ Chat๋ชจ๋๋ก ์ด๋ป๊ฒ ๋ณ๊ฒฝํ๋์...?
์๋ ํ์ธ์ ํ ๋๋, OpenAI๋ก embedding ํ๋๊ฑด ์ ๋๋๋ฐ์... ์๋ฌด๋๋ ๋ณด์์ ์ธ ๋ถ๋ถ์ด ๊ณ ๋ ค๋์ด์ ๋ง๋ค์ด ๋์ผ์ ํ๊น ํ์ด์ค ์ฝ๋๋ก embedding์ ํ๊ณ ์ถ์๋ฐ, ์๋ฃ๋ฅผ ์ฌ๋ฆฌ๊ณ ์ง๋ฌธ์ ํ๋ฉด AssertionError ๊ฐ ๋์ต๋๋ค. ์งง์ ์๊ฐ์ ์์ฑ๊น์ง๋ ํ๋๋ฐ, ์ด ๋ถ๋ถ์์ ๋งํ์ ์ด๋ ๊ฒ ๋๊ธ ๋จ๊ฒจ๋ด ๋๋ค! ๊ทธ๋ฆฌ๊ณ ์๋ฒ ํ ์ OpenAI๋ก ํ๋๊ฑด ๋ณด์์ ๊ด์ฐฎ์๊น์? API๋ OpenAI๋ ํ์ต๋ฐ์ดํฐ๋ก ์ฐ์ง ์๋๋ค๊ณ ๋ ํ๋๋ฐ, ์๋ฌด๋๋ ๊ฐ์ธ์ ๋ณด๊ฐ ๋ค์ด๊ฐ๋ค๋ฉด ๋ฌด์ํ ์ ์์ ๊ฒ ๊ฐ์ ๋ถ๋ถ์ด๋ผ ์ฌ์ญค๋ด ๋๋ค.
@teddynote
ะาฏะฝ ะฑาฑััะฝ
๋ค ์ค๋ฅ๊ฐ ๋๋ ๋ถ๋ถ์ ๋์ค์ฝ๋์ ๋จ๊ฒจ์ฃผ์๋ฉด ๋ฉ์์ง ๋ณด๊ณ ๋ต๋ณ ๋๋ฆด ์ ์์ ๊ฒ ๊ฐ์์. ๋๊ธ๋ก ๋จ๊ฒจ ์ฃผ์ ๋ ์ข๊ตฌ์~ openai embedding ์ ๊ด์ฐฎ๋ค๊ณ ์๊ฐํ๋๋ฐ์. api ์จ์ ๋ชจ๋ธ ๋ต๋ณ ๋ฐ๋ ๊ฑด ์๋ฌด๋๋ ๋ณด์์ด ๊ฑฑ์ ๋์ค ์ ์์ฃ . ๋ง์ฝ ์ด ๋ถ๋ถ์ด ๊ฑฑ์ ์ด์๋ผ๋ฉด ๋ก์ปฌ ๋ชจ๋ธ๋ก(llama3, eeve korean) ๋ค์ด ๋ฐ์์ ์งํํ์ ์ผ ๋์ง๋ง GPU ์ธํ๋ผ ๊ตฌ์ถ์ ๋๋ฐ๋์ด์ผ ์ํ์๋ ์ถ๋ ฅ์ด ๋์ค์ค๊บผ์์! ์ฐธ๊ณ ํ์ญ์ผ^^
@cklee4069
22 ัะฐาะฐั ะฑาฑััะฝ
@@teddynote ์, ์ถ๊ฐ๋ก ๋ง์ ๋๋ฆฌ๋ฉด Nvidia ์นด๋๊ฐ ์์ด cuda๋ก ์ ํ ํ๊ณ ๊ณต์ ์ฃผ์ EEVE Korean์ผ๋ก ์ฌ์ฉํ์ต๋๋ค. ์๋ต์ ํ๋ฆฌํฐ๊ฐ ์๊ฐ๋ณด๋ค๋ ์ข์์ ๋ ์ฌ์ฉํด๋ณด๊ณ ์ถ์์ต๋๋ค. ๋ค๋ง embedding์ OpenAI๋ก ํ๋ฉด ์ฌ๋ฆฌ๋ ๋ฐ์ดํฐ๊ฐ ๋๊ฐ์ด OpenAI๋ก ๋์ด๊ฐ๋ ๊ฒ ๊ฐ์ ๊ฑฑ์ ๋์ด์ ๋ง๋ค์ด๋์ผ์ USE_BGE_EMBEDDING = True๋ก ํ๊ณ ์ฌ์ฉํ๋๋ ์๋ฌ๊ฐ ๋๊ฑฐ์์ต๋๋ค!
@teddynote
21 ัะฐาะฐั ะฑาฑััะฝ
@@cklee4069 ๋ค~ ๊ทธ๋ฌ์๊ตฐ์. ์ดํดํ์ต๋๋ค. ์ค๋ฅ๋ ์ธ๋ถ๋ก๊ทธ๊ฐ ์์ผ๋ฉด ๊ตฌ์ฒด์ ์ผ๋ก ์์ธ์ ์๊ธฐ๊ฐ ์ด๋ ต์ต๋๋ค. ์ ์ถํด๋ณด์๋ฉด VRAM ๋ฉ๋ชจ๋ฆฌ ๋ถ์กฑ์ผ ์ ์์ ๊ฒ ๊ฐ์์ ์๋๋ฉด BGE ๋ชจ๋ธ๋ GPU์ ์ฌ๋ ค์ผ ํ๋๋ฐ์ ๊ธฐ์กด LLM๊ณผ ๋์์ ์ฌ๋ผ๊ฐ๋ ค๋ฉด ๋ฉ๋ชจ๋ฆฌ ๋ถ์กฑ์ด ๋ฐ์ํ ์ ์์ ๊ฒ ๊ฐ์ต๋๋ค~
@cklee4069
18 ัะฐาะฐั ะฑาฑััะฝ
@@teddynote CPU๋ก ๋ฐ๊ฟ๋ ๋๊ฐ์ ์๋ฌ๊ฐ ๋์ค๋ค์, ์ฌ๊ธฐ๊น์ง ๋ง์กฑํ๊ฒ ์ต๋๋ค. ํจ์คํธ ์บ ํผ์ค ๊ฐ์ ๋ณด๋ฉด์, ํ๋ํ๋ ๊ณต๋ถ ํด๋ณด๊ฒ ์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค. ์๊ฐ ๋ผ์ด๋ธ๋ ์ํ์ธ์~
@teddynote
18 ัะฐาะฐั ะฑาฑััะฝ
@@cklee4069 ๋ต! ๋์ค์ ๋์ค์ฝ๋์ ์๋ฌ ๋จ๊ฒจ์ฃผ์ฌ ํ ๋ฒ ๋ณผ๊ฒ์~^^ ๊ฐ์ฌํฉ๋๋ค
10B์ด๋ฉด ์๋นํ VRAM์ด ๋ง์ด ํ์ํ ํ ๋ฐ ์ด๋ป๊ฒ ๋งฅ๋ถ์์ ๋์๊ฐ๋์? ์๋ฌด๋ฆฌ MAX๋ผ๊ณ ํด๋?
@teddynote
2 ะฐะน ะฑาฑััะฝ
์์ํ ๋ชจ๋ธ์ด๋ผ์ ๊ฐ๋ฅํฉ๋๋ค!
cuda๋ ๋ฏธ๋ฆฌ ์ค์นํด์ผ gpu๊ฐ ์๋ํ๋๊ฑด๊ฐ์? cuda์ค์น์์ผ๋ gpu๊ฐ์๋๋๊ฑฐ๊ฐ์์์
@teddynote
ะะน ะฑาฑััะฝ
๋ง์ต๋๋ค cuda๋ ์ค์น๋์ด์ผ gpu ์ก์์ ๋์ํฉ๋๋ค!
--local-dir-use-symlinks ๊ฐ ๊ธฐ๋ณธ๊ฐ์ด True์ด๊ธฐ๋๋ฌธ์ False๋ฅผ ๋ช ์ํด์ผํ๋๊ฑด๊ฐ์? ๊ทธ๋ฅ ๋ค์ด๋ก๋ํ๋๊ฑด๋ฐ ์ฌ๋งํฌ๊ฐ ๊ตณ์ด ์ด๋ป๊ฒ ์ ์ฐ๊ฒฐ๋๋๊ฑด๊ฐ์ฉ?
@naratteu
ะะน ะฑาฑััะฝ
์์ผ๋ฉด ์ผ๋จ ~/.cache/~ ๊ฒฝ๋ก๋ก ๊ฐ ํ์ ์ฌ๋งํฌ๋ฅผ ๊ฑฐ๋๊ตฐ์ฉ
@teddynote
ะะน ะฑาฑััะฝ
True๋ก ์ค์ ํ๋ฉด ํ์ผ ํฌ๊ธฐ์ ๊ด๊ณ์์ด ์ฌ๋ณผ๋ฆญ ๋งํฌ๊ฐ ์์ฑ๋ฉ๋๋ค. False๋ก ์ค์ ํ๋ฉด ํ์ผ์ด ์บ์์์ ๋ณต์ ๋๊ฑฐ๋(์ด๋ฏธ ์กด์ฌํ๋ ๊ฒฝ์ฐ) ํ๋ธ์์ ๋ค์ด๋ก๋๋์ด ์บ์๋์ง ์์ต๋๋ค!
์ฌ๋ ค์ฃผ์๋ ๊ฐ์๋ฅผ ํตํด ์ ๋ง ๋ง์ ๋์์ ๋ฐ๊ณ ์์ต๋๋ค. ๊ทธ๋ฐ๋ฐ ํ ๊ฐ์ง ๊ถ๊ธํ ๊ฒ์ด ์์ต๋๋ค. rag chain ๊ณผ MessageHistory๋ฅผ ํจ๊ป ์ฌ์ฉํ๋ ค๊ณ ํ๋๊น ์๋ฌ๊ฐ ๋๋๋ฐ์. ์ฌ์ฉ๋ฒ์ ์ ๋ชฐ๋ผ์ ์ด๋ ๊ฒ ๋ฌธ์๋๋ฆฝ๋๋ค. ์์ค ์ฝ๋๋ ์๋์ ๊ฐ์ต๋๋ค. chain = ( { "context": retriever | format_docs, "question": RunnablePassthrough(), } | prompt | llm ) response = chain.invoke(user_input) rag ์ฒด์ธ์ ์ถ๊ฐํ๊ณ message history๋ ์ถ๊ฐํ์ง ์๋ ๊ฒฝ์ฐ- ์ ๋์ํฉ๋๋ค. ๊ทธ๋ฐ๋ฐ, ์๋์ ๊ฐ์ด message history๋ฅผ ์ถ๊ฐ ํ๋ฉด ์๋ฌ๊ฐ ๋๋๋ผ๊ตฌ์... chain = ( { "context": retriever | format_docs, "question": RunnablePassthrough(), } | prompt | llm ) chain_with_memory = ( RunnableWithMessageHistory( # RunnableWithMessageHistory ๊ฐ์ฒด ์์ฑ chain, # ์คํํ Runnable ๊ฐ์ฒด get_session_history, # ์ธ์ ๊ธฐ๋ก์ ๊ฐ์ ธ์ค๋ ํจ์ input_messages_key="question", # ์ ๋ ฅ ๋ฉ์์ง์ ํค history_messages_key="history", # ๊ธฐ๋ก ๋ฉ์์ง์ ํค ) ) response = chain_with_memory.invoke( {"question": user_input}, config={"configurable": {"session_id": "abc123"}} )
@teddynote
11 ะบาฏะฝ ะฑาฑััะฝ
ํน์ chatprompttemplate ๋ ์ฌ๋ ค์ฃผ์ค ์์๋์?
@teddynote
11 ะบาฏะฝ ะฑาฑััะฝ
์ฐธ๊ณ ๋ก ๋์ค์ฝ๋ ์ฑ๋์ ์ง๋ฌธ ๋จ๊ธฐ์๋ฉด ๋ ๋นจ๋ฆฌ ๋ต๋ณ ๋ฐ์ผ์ค ์ ์์ด์^^
@Enosh6079
11 ะบาฏะฝ ะฑาฑััะฝ
@@teddynote prompt = ChatPromptTemplate.from_messages( [ ( "system", """You are an expert in perfumes. Use the following pieces of retrieved context to answer the question. If you don't know the answer, just say you don't know: {context} """, ), # ๋ํ ๊ธฐ๋ก์ ๋ณ์๋ก ์ฌ์ฉ, history ๊ฐ MessageHistory ์ key ๊ฐ ๋จ MessagesPlaceholder(variable_name="history"), ("human", "{question}"), # ์ฌ์ฉ์ ์ ๋ ฅ์ ๋ณ์๋ก ์ฌ์ฉ ] ) ์์ ๊ฐ์ต๋๋ค.
@teddynote
10 ะบาฏะฝ ะฑาฑััะฝ
@@Enosh6079 chain = ( { "context": itemgetter("question") | retriever | format_docs, "history": itemgetter("history"), "question": itemgetter("question")), } | prompt | llm ) ๋ก ๋ฐ๊ฟ์ฃผ์๊ณ from operator import itemgetter ์๋จ์ ์ถ๊ฐํด ์ฃผ์๊ณ ์. ์คํํด ๋ณด์ธ์~^^
@Enosh6079
4 ะบาฏะฝ ะฑาฑััะฝ
@@teddynote ๋์ค์ฝ๋ ์ฑ๋์ด ์ด๋์ง ์๋ ค์ฃผ์ธ์~
ํ์ดํผ ํด๋ก๋ฐ X๋ฅผ ์ ๋ฃ ์ฌ์ฉ์ค์ ๋๋ค. ํด๋น LLM์ api ์ฐ๋ํด์ RAG๋ก ๋๋ฆฌ๋ ์์คํ ์ ๋ง๋ค๋ ค๊ณ ํ๋๋ฐ ์ฌ๋ผ๋ง๋ก ๋ก์ปฌ ์๋ฒ ๊ตฌ๋ํ๊ณ AnythingLLM์ผ๋ก RAG ์ฐ๋ ๊ฐ๋ฅํ ๊น์? ํน์ ์๋ฐ ํ๋ก์ธ์ค ์๊ฐํด ๋ณด์ค์ ์์ผ์ค๊น์~?
@teddynote
18 ะบาฏะฝ ะฑาฑััะฝ
api๋ก ์ฐ๋ํ์๋ฉด ๋ญ์ฒด์ธ์ผ๋ก ๋ชจ๋ธ๋ง ํ์ดํผํด๋ก๋ฐ๋ก ๊ฐ๋จํ๊ฒ ๊ต์ฒด ๊ฐ๋ฅํฉ๋๋ค :) GPT๋์ ํ์ดํผ ํด๋ก๋ฐ๋ฅผ ์ฌ์ฉํ๋ ๊ฐ๋ ์ด์์. anythingLLM์ผ๋ก๋ ์ด๋ ค์ธ ์ ์์ต๋๋ค. ํด๋ก๋ฐ๊ฐ ์ฐ๋์ด ์๋์ด ์๊ธฐ ๋๋ฌธ์์~
@user-jangsahara
18 ะบาฏะฝ ะฑาฑััะฝ
@@teddynote ์ค, ๋ต๋ณ ๊ฐ์ฌ๋๋ฆผ๋๋คใ ก ํ ๋๋, ๊ทธ๋ฌ๋ฉด ํน์ ๋ญ์ฒด์ธ์ผ๋ก๋ ํ์ดํผํด๋ก๋ฐ ๋ชจ๋ธ๋กRAG๋ฅผ ์์ฑํด ๋ณผ์ ์์๊น์?
@teddynote
18 ะบาฏะฝ ะฑาฑััะฝ
@@user-jangsahara ์ ๋ง์ต๋๋ค. GPT4 ๋์ ํ์ดํผํด๋ก๋ฐ๋ก ๋ฐ๊พธ๊ธฐ๋ง ํ๋ฉด RAG ๊ฐ๋ฅํฉ๋๋ค. ๊ฐ์ ์๋ฆฌ๋ก anthropic ์ ํด๋ก๋ ๋ชจ๋ธ, ๋ฏธ์คํธ๋, ๋ผ๋ง ๋ฑ ์๋ฐฑ๊ฐ์ง ๋ชจ๋ธ์ ๊ต์ฒดํ์ฌ ํ ์คํธ๋ ๊ฐ๋ฅํฉ๋๋ค~
gguf ํ์ผ๊น์ง ๋ค์ด ๋ฐ์๊ณ Modelfile ๋ง๋๋๊ฒ ๊น์ง๋ ํ๋๋ฐ ollama create๋ฅผ ํ๋๊น Error: command must be one of "from", "license", "template", "system", "adapter", "parameter", or "message" ๊ฐ ๋ฐ์ํ๋๋ฐ ์์ธ์ด ๋ญ๊น์?
@user-bj9lt7fg8c
ะะน ะฑาฑััะฝ
TEMPERATURE๋ฅผ ์์ ๋๊น ํด๊ฒฐ๋์์ต๋๋ค
@teddynote
ะะน ะฑาฑััะฝ
์ ์ข์ต๋๋ค ์ ๊ฐ temerature ๋นผ๊ณ ์ ๋ฐ์ดํธ ํด๋์๊ป์^^
@jkim6881
ะะน ะฑาฑััะฝ
@@user-bj9lt7fg8c ๊ณ์ ์๋์ ๋๊ธ ๋ณด๊ณ ํด๊ฒฐ ํ์ต๋๋ค!!! ใ ใ
์๋์ฐ ์ฌ์ฉ์์ ๋๋ค. ollama run EEVE-Korean-10.8B:latest์ ์คํํ๋ฉด llama runner process no longer running: 1 error:failed to create context with model ์ด๋ผ๋ ์ค๋ฅ๊ฐ ๋จ๋๋ฐ, ๋ญ๊ฐ ๋ฌธ์ ์ผ๊น์?ใ ใ
@teddynote
ะะน ะฑาฑััะฝ
ollama ๊ฐ ๊ตฌ๋ ์ค์ด์ด์ผ ํ๋๋ฐ ์ด๋ค ์ด์ ์์ ์ง ์คํ์ค์ด ์๋๋ผ๋ ๋ฉ์์ง ๊ฐ์์. ๋จผ์ ollama serve ๋ก ๊ตฌ๋์์ผ ๋๊ณ ์๋ก์ด ํฐ๋ฏธ๋์์ ollama run ๋ช ๋ น์ด ์คํํด ๋ณด์ธ์!
@user-bg7yw4yz5x
ะะน ะฑาฑััะฝ
โ@@teddynote ollama serve ๊ตฌ๋ ํ์ ollama run์ ์คํํด๋ดค๋๋ ollama serve๋ฅผ ๊ตฌ๋ํ๋ ํฐ๋ฏธ๋์ ์๋์ ๊ฐ์ ์ค๋ฅ ๋ฉ์์ง๊ฐ ๋น๋๋ค..ใ ใ ggml_backend_cuda_buffer_type_alloc_buffer: allocating 384.00 MiB on device 0: cudaMalloc failed: out of memory llama_kv_cache_init: failed to allocate buffer for kv cache llama_new_context_with_model: llama_kv_cache_init() failed for self-attention cache llama_init_from_gpt_params: error: failed to create context with model 'C:\Users\Commeci\.ollama\models\blobs\sha256-2ede7a0e79157cecbdd6f6890d6a463e73d8b05040330bfd2fce53bb39b47e28' {"function":"load_model","level":"ERR","line":410,"model":"C:\\Users\\Commeci\\.ollama\\models\\blobs\\sha256-2ede7a0e79157cecbdd6f6890d6a463e73d8b05040330bfd2fce53bb39b47e28","msg":"unable to load model","tid":"19392","timestamp":1714406828} time=2024-04-30T01:07:08.795+09:00 level=ERROR source=routes.go:120 msg="error loading llama server" error="llama runner process no longer running: 1 error:failed to create context with model 'C:\\Users\\Commeci\\.ollama\\models\\blobs\\sha256-2ede7a0e79157cecbdd6f6890d6a463e73d8b05040330bfd2fce53bb39b47e28'" ๊ตฌ๊ธ๋ง ํด๋ด๋ ํด๊ฒฐ๋ฒ์ด ๋์ค์ง ์๋ค์..ใ ใ
@teddynote
ะะน ะฑาฑััะฝ
@@user-bg7yw4yz5x ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋ถ์กฑํ๋ค๋ ์๋ฌ์ธ ๊ฒ ๊ฐ์์. ์ด๋ฏธ GPU ๊ฐ ๋ค๋ฅธ ํ๋ก์ธ์ค์์ ์ฌ์ฉํ๊ณ ์์ด์ ๊ฐ์ฉํ ์ ์๋ ๋ฉ๋ชจ๋ฆฌ๊ฐ ์์์ ์๋ฌ๋ฌ์ ์ ์์ต๋๋ค~
@user-bg7yw4yz5x
ะะน ะฑาฑััะฝ
@@teddynote ์์..ใ ใ ใ ใ ใ ์ง์ง์ง์ง ๊ฐ์ฌํฉ๋๋ค!!!!!!!! ๋๋ถ์ ํด๊ฒฐํ์ต๋๋ค!!!!!!! ๋ฆ์ ์๊ฐ๊น์ง ๋์์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค ใ ใ ใ ใ ใ ํญ์ ๋ง์ ๋์ ๋ฐ๊ณ ์์ด์!ใ ใ
ํน์ EEVE-Korean๊ณผ LLaMA3ํ๊ณ ์ฐ๋ํ ์ ์๋ ๋ฐฉ๋ฒ์ด ์์๊น์??
@teddynote
2 ะฐะน ะฑาฑััะฝ
๋ชจ๋ธ์ ๋ณดํต ๋ ์ค ํ๋๋ฅผ ํ1 ํ์ฌ ์ ํํ์ฌ ์งํํ๋ ๊ฒ์ ์ผ๋ฐ์ ์ ๋๋ค. ๋ณดํต์ ๋ ๋ค ํ ์คํธ ํด๋ณด๊ณ ๋ ๋์ ๋ชจ๋ธ์ ํ 1 ํฉ๋๋ค๋ง, LLM ๋ผ์ฐํ ์ด๋ผ๋ ๋ฐฉ์๋ ์์ต๋๋ค. ์ฝ๋์ ๊ด๋ จํ ๋ด์ฉ์ llama ๊ฐ ํ๊ตญ์ด ์ง๋ฌธ์ eeve ๊ฐ ๋ต๋ณํ ์ ์๋๋ก ํ ์ ์์ด์~
๋ฉ์ง๋ค์. ๊ทธ๋ฐ๋ฐ, cmd์์ ์คํํ๋ฉด ํ์คํ ๋น ๋ฅด๊ณ gpu 100% ๋จน๋๋ฐ, python server.js ํ๋ฉด ๋๋ต๋ ๋๋ฆฌ๊ณ gpu ์ฌ์ฉ๋๋ ์์ฌ๋ผ๊ฐ๋๋ฐ ์ด์ ๊ฐ ๋ฌด์์ผ๊น์?
@netan81
ะะน ะฑาฑััะฝ
์ ์ ๋ ์ด๊ฑฐ์ ๋งํ์ ์ด๊ฒ์ ๊ฒ ์ฐพ์๋ณด๋ ์ค์ธ ใ _ใ CUDA ์ค์ server.py์ ํ์ํ๊ฑฐ ๊ฐ์๋ฐ ์ด๋๋ค ํด์ผํ ์ง ๋ชจ๋ฅด๊ฒ ๋ค์;;
@teddynote
ะะน ะฑาฑััะฝ
cuda ์ค์ ์ด ์ ๋์ด ์๋์ง ํ์ธํด ๋ณด์๊ฒ ์ด์?
@netan81
ะะน ะฑาฑััะฝ
์ ์ด๊ฒ์ ๊ฒ ํ๋ค๊ฐ ํด๊ฒฐ๋์๋ค์. 1. CUDA์ฌ์ค์น(์ค์น๋ด์ฉ ์์ธํ ๋ณด๋ 1๊ฐ๋ง ์ค์น์๋ฃ๋๊ณ ๋๋จธ์ง ์ ๋ถ ์คํจ์์;;;) 2. ๋ด์ฅ๊ทธ๋ํฝ์นด๋ ๋ฐ์ด์ค์ค ์์์ ์ฌ์ฉ ์ํจ ๊ทธ๋์ ๋ ํน์ดํ๊ฒ CMD์์์ llama3:70B๋ cpu๋ก ๋์ํ๋ค์. ์์๋ชจ๋ธ์ GPU๋ก ๋์ํ๋๋ฐ;;;
@teddynote
ะะน ะฑาฑััะฝ
@@netan81 70B ์ด๋ค ์์ํ ๋ชจ๋ธ์ ์ฌ์ฉํ์๋์ง๋ ๋ชจ๋ฅด๊ฒ ์ง๋ง vram ๋ฉ๋ชจ๋ฆฌ๊ฐ GPU 1์ฅ์ผ๋ก๋ ๊ฐ๋นํ๊ธฐ ์ด๋ ค์ด ์ฌ์ด์ฆ๋ผ๋ฉด ๋ชป ์ฌ๋ฆด๊ป๋๋ค ใ
์์ง ์ค๋ฅ๊ฐ ๋๋ฌด ๋ง๋ค์
AI ์ด๋ณด์ธ๋ฐ์, Ollama๊ฐ LLM์ธ๋ฐ EEVE ๋ชจ๋ธ์ด ์ ํ์ํ์ง ๊ถ๊ธํ๋ค์
@teddynote
27 ะบาฏะฝ ะฑาฑััะฝ
๋ค~ ollama๋ llm์ด ์๋๊ณ llm์ ๊ตฌ๋ํ๋ ํ๋ก๊ทธ๋จ ์ ๋๋ค. EEVE๊ฐ llm์ ๋๋ค~
@user-ke7lf1gk6r
26 ะบาฏะฝ ะฑาฑััะฝ
@@teddynote ์~~๊ฐ์ฌํฉ๋๋ค
์๋ ํ์ธ์ ์์ ๊ฐ์ฌํฉ๋๋ค. ์ ์ด๋ณด๊ฐ ๋ฐ๋ผํ๋ ค๊ณ ํ๋๋ฐ, ์ธ์ดํธ์์ GGUF ํ์ผ ๋ฐ์, Modelfile ๋ง๋๋ ค๋๋ฐ, ์๊พธ ์๋ฌ๊ฐ ๋๋ค์ modelfile ํ์ฅ์๊ฐ yaml ๋ง๋์? ๋ฉ๋ชจ์ฅ์์ ํ์ฅ์๋ฅผ yaml๋ก ์ ์ฅํ์ต๋๋ค. cmd ์ฐฝ์์ Modelfile ์๋ ํด๋๊ฐ์ "ollama create EEVE -f Modelfile ๋ก ํ๋ฉด ํ์ผ์ ๋ชป์ฐพ๊ฒ ๋ค๊ณ ํ๊ณ , Modelfile.yaml ๋ก ์น๋ฉด "no FROM line for the model was specified" ๋ผ๊ณ ํ๋ ์๋ฌ๊ฐ ๊ณ์ ๋จ๋ค์.
@teddynote
2 ะฐะน ะฑาฑััะฝ
1. Modelfile ์ ๋ณ๋ ํ์ฅ์๊ฐ ์์ต๋๋ค ๊ทธ๋ฅ ํ์ฅ์ ์์ด Modelfile ์ด๋ผ๊ณ ๋ง๋์๋ฉด ๋ฉ๋๋ค~ 2. Modelfile ์์ ๋ด์ฉ์ ์ ๋ ฅํด ์ฃผ์ ์ผ ํฉ๋๋ค ๋ด์ฉ์ github.com/teddylee777/langserve_ollama/blob/main/ollama-modelfile/EEVE-Korean-Instruct-10.8B-v1.0/Modelfile ๋งํฌ์ ํ์ผ์ ๋ณด์๊ณ ์ ๋ ฅํ์๋ฉด ๋๋๋ฐ์. ๋งจ ์์ FROM ๋ค์์ ๋์ค๋ ํ์ผ์ ๊ฒฝ๋ก๋ง ๋ณธ์ธ์ด ์ ์ฅํ ๊ฒฝ๋ก๋ก ๋ณ๊ฒฝํด ์ฃผ์๋ฉด ๋ฉ๋๋ค!
@hyunbaek4917
2 ะฐะน ะฑาฑััะฝ
@@teddynote ๊ฐ์ฌํฉ๋๋ค. modelfile ์ ํ์ฅ์ ์์ด ๋ง๋ ๋ค๋ ๋ง์ ์ดํด๋ชปํ์๋๋ฐ, ๋ฉ๋ชจ์ฅ์ด ์๋๋ผ ํด ์ด์ฉํด์ ๋ง๋๋๊น ๋๋ค์!
์๋ ํ์ธ์. ํญ์ ์๋ฃ ๊ฐ์ฌํ ๋ณด๊ณ ์์ต๋๋ค! ๋๋ถ์ LLM ๋ ์์ฝ๊ฒ ํธ์คํ ์ด ๊ฐ๋ฅํ๋ค๋๊ฑธ ์๊ฒ ๋์๋๋ฐ์. ํน์ ์๋ฒ ๋ฉ ๋ชจ๋ธ๋ ollama - langserve ์กฐํฉ์ผ๋ก remote ๊ฐ ๊ฐ๋ฅํ ๊น์? ๊ฐ๋ฅํ๋ค๋ฉด ํ๊ตญ์ด๊ฐ ์๋๋ ์๋ฒ ๋ฉ ๋ชจ๋ธ๋ก ์์) db = Chroma(..., embedding_function=RemoteEmbedding("์ฃผ์/embedding/", ...)
@teddynote
ะะน ะฑาฑััะฝ
๊ฐ๋ฅํด์. ์๋์ ์ฝ๋๋ฅผ ์ฐธ๊ณ ํด ์ฃผ์ธ์ from langchain_core.runnables import RunnableLambda embedder = HuggingFaceEmbeddings(...) runnable_embedder = RunnableLambda(afunc=embedder.aembed_documents) add_routes(app, runnable_embedder) ๊นํ ์ด์์ ์ฌ๋ผ์จ ๋ด์ฉ๋ ๊ฐ์ด ์ฐธ๊ณ ํ์๋ฉด ์ข์์ github.com/langchain-ai/langserve/discussions/383
@user-cg2kw2dt8k
ะะน ะฑาฑััะฝ
์ ๋ง ๊ฐ์ฌํฉ๋๋คใ ์ ํ๋ ํ๊ฒฝ์ด๋ผ api ๋ฐฉ์ ๋ฐ์ ์ฌ์ฉ ๋ชปํ๋๋ฐ ๋๋ถ์ ์ฌ๋ฌ๊ฐ์ง ๋ก์ปฌ๋ชจ๋ธ๋ ์๋ํด๋ณผ์ ์๊ฒ ๋ค์!!๐
ํน์ ollama ์๋ ์๋ฌ๋ ์ ๋จ๋๊ฑด์ง ์์ค๊น์? ๊ตฌ๊ธ๋งํด๋ ์์๋์ค๋ค์ ValueError: Ollama call failed with status code 500. Details: {"error":"llama runner process no longer running: -1 CUDA error: the provided PTX was compiled with an unsupported toolchain. current device: 0, in function ggml_cuda_compute_forward at /root/parts/ollama/build/llm/llama.cpp/ggml-cuda.cu:2212 err GGML_ASSERT: /root/parts/ollama/build/llm/llama.cpp/ggml-cuda.cu:60: !\"CUDA error\""}
@teddynote
ะะน ะฑาฑััะฝ
llama cpp ๋ก ์คํํ์ จ๋์?
@JeongminYoo-rc5bl
ะะน ะฑาฑััะฝ
@@teddynote ์๋จ ์ฒ์์ ollama pull๋ก ๋ก๊ฒจ์ค๋ค๊ฐ ์ ์๋ฌ๊ฐ ๋จ๊ธธ๋ ์์ ๋ฐฉ์๋๋ก GGUF์์ ๊ฐ์ ธ์๋๋ฐ ๋๊ฐ์ ์ํฉ์ ๋๋ค. CUDA ๋ฒ์ ๋ฌธ์ ์ผ๊น์? ์ฐธ๊ณ ๋ก 12.2 ๋ฒ์ ์ ๋๋ค.
@teddynote
ะะน ะฑาฑััะฝ
@@JeongminYoo-rc5bl CUDA ๋ฒ์ ๋ฌธ์ ์ผ ์ ์์ด์. ์ง์ํ๋ CUDA ๋ฒ์ ํ ๋ฒ ํ์ธํด ๋ณด์๊ณ ์ง์ํ๋ ๋ฒ์ ์ผ๋ก ํ ๋ฒ ์ค์นํด ๋ณด์๊ฒ ์ด์?