Персональный бесплатный наставник по программированию | Ollama - Windows preview + Code Llama
Приглашаю в Телеграм общаться по это теме: t.me/AiExp01
Чат находится здесь: t.me/AiExp02
Приглашаю в Телеграм общаться по это теме: t.me/AiExp01
Чат находится здесь: t.me/AiExp02
Пікірлер: 9
Все ссылки см. здесь: t.me/AiExp01/81
GPU тут не использовалась, это видно было в диспетчере зпдач на первой вкладке
Спасибо) Что думаешь по поводу разработки от NVidia ChatWithRTX? У меня карта 3080 - работает ооооочень бодро.
@mr.grixakrushkas5667
3 ай бұрын
Но сам чат очень слабый, это скорее прокачанный поисковик по локальным файлам. Лучший вариант это oobabooga и интерфейс к нему типа SillyTavern. Да конечно она скорее для РП предназначенная, но функционала в ней больше всего. Можно вырубить все РП штуки и толкать бота в нужном направлении, через авторские заметки и другие инструменты.
@user-vz2pz8bd5q
3 ай бұрын
Не заработала Заcтопорилась на with rtx
@kvoloshenko
3 ай бұрын
Возможно будет интереснее дождасться в продаже LPU (Language Processing Unit) типа Groq, см. t.me/AiExp01/83
@mr.grixakrushkas5667
3 ай бұрын
@@kvoloshenko Это же серверное решение. И там сами блоки малую часть модели вмещают и их нужно в кластеры собирать. На редите считали и там огромная стоимость для 70b модели вышла, больше ляма баксов.
как установить в нее модель с huggingface?
@kvoloshenko
3 ай бұрын
см. инструкцию здесь: t.me/AiExp01/84