Bllossom 창조주입니다! 빵형에게 소개받다니 영광입니다 ㅋㅋ

우와!! 감사합니다!👍🙏

만드신거 구경하는데 '안녕' 한 마디 쳤는데 애가 미쳐버렸어요

개ㅃㅏ르네 ㄷㄷㄷ

빵형님 안녕하세요. 저 혹시 A6000, A100도 써보셨나요? llm모델 응답속도와, 파인튜닝 훈련에 H100에 비해서 엄청 오래 걸릴까요?

언어모델은 정교함보단 가벼움에 집중해야 할때!!

잘 봤습니다. 실행방법보다 모델별 한국어 성능이 궁금한데 그 부분 분량이 조금 아쉽습니다.

혹시 70b모델 돌린 pc 성능 알 수 있을까요? 제 pc에서 돌려보려 했는데 gpu는 거의 사용하지 않고 cpu만 사용하는 듯 한 모습을 해서 궁금합니다.

@loganlee7510

2 ай бұрын

160기가바이트 필요하대요. 그래서 메모리 오프로드로 올라간대요 돌릴라면 4090 8장 필요하다고 들었어요

colab 말고 vscode에서 api처럼 사용하는 방법도 있을까요? 일반 라마3는 api를 활용해서 사용할 수 있는데, 시스팀에 한글로 답변 해주라는 프롬프트를 추가해도 가끔 영어로 답변할때가 잇네요..

@Ndex00

2 ай бұрын

플러그인 중에 continue 라고 있는데 ollama 를 로컬 서버 사용해서 커스텀 모델을 붙일 수는 있는데 모든 모델을 바로 붙일수있는지는 확인해봐야되요

오

open webui 어떻게 추가할 수 있나요?

70bn 모델중에 한국어 제일 잘하는 건 뭔가요?

음 접속자가 많아서 그런지, 실행결과가 나오지 않았다. H100을 느껴보고 싶었으나 느낄수 없었다. H100이 80GB제품으로 알고 있어서, 72기가 정도의 모델이 올라가 있을줄 알았으나, 37.8기가 모델이 올려져 있어서, 내가 쓰고 있는 40기가 모델과 비교할수 없었다. 72기가 모델의 성능을 보고 싶었음. 확인했으면, 141기가 모델을 구성하기 위해 시스템 투자 해봤을수도. 72기가 모델 올려주세요 .ㅠ.

@user-nr7kc1hn9e

2 ай бұрын

32K라서 그런듯 . 80GB gpu가 필요했던듯.

이게 모하는 거져?