像用GPT一样使用开源大模型
Ғылым және технология
在本地跑开源大模型，如果只是用来简单对话，那就没什么意思了。我们肯定是希望像用GPT一样，通过Python脚本，借助LangChain、Llama Index等框架、工具，对大模型进行增强和限制，比如：
- 增强：通过搭载知识库、搜索引擎，提升大模型信息的及时性，补充某个领域的知识。
- 限制：根据给定的工作流程、思考路径来处理任务，而非随意发挥。
OpenAI提供API接口，让这一切变得简单许多。其实通过LM Studio这类软件，也可以在开源大模型的使用上，达到同样的效果。
在上期视频中，我介绍了LM Studio的基本用法。
你可以把它简单理解为：就像国内的游戏模拟器平台，把模拟器、游戏库全都打包好了。不需要做复杂的调试，下载好了直接可以玩。
在此基础上，LM Studio还提供了进阶用法：
作为本地服务器，提供类似于OpenAI的API接口服务。
视频号：黄益贺
KZread：huangyihe
公众号：newtype 超级个体
BGM from Musicbed: Showtime - Instrumental
Пікірлер: 20
Patreon已上线，欢迎加入：www.patreon.com/newtype_ai newtype是我创建的社群。之前开通了知识星球，面向国内小伙伴，已经运营三个月。现在有了Patreon，海外的小伙伴也可以加入讨论了。
宝藏频道！
@huanyihe777
2 ай бұрын
被你发现了😉
KZread: huangyihe 微信视频号：黄益贺 视频是主要内容形式，文字来自视频脚本。 KZread是主阵地，国内平台不值得投入，顺手一发。 欢迎关注！
有没有更简单的（最好可视化的）微调方法？比如我想让llama3训练成一个文学性作品生成专家，lm studio好像没法投喂。
@huanyihe777
2 ай бұрын
油管有很多教程，不难。但是特定训练数据的准备很麻烦
@DonaldTrum2806
2 ай бұрын
@@huanyihe777 好像没有，油管上大多数只是教lm studio的部署，没有微调，或者要用maxkb或者open webui的知识库，我去在docker试了maxkb结果maxkb我不知道怎么调用gpu，cpu太慢了
从开发的角度来讲，是否使用 LLM Studio部署本地大模型比使用Ollama + AnythingLLM更为方便，直接使用OpenAI的API接可以了，我浅尝了以下OLLama，发现Ollama有自己的一套API
@huanyihe777
2 ай бұрын
LM Studio和Ollama都行，都有服务器模式。如果你是开发Agent的话，用LM Studio，可以同时运行多个大模型。
@HongjiLiu
2 ай бұрын
@@huanyihe777 感谢
server模式可以在lobe-chat之类的前端应用中使用吗？我在lobe-chat里填了key和endpoint，但是显示错误
@huanyihe777
4 ай бұрын
没用过lobe chat，回头我试试
@daqincha
4 ай бұрын
@@huanyihe777 感谢回复
macOS 系统和终端都设了代理，LM Studio搜索和下载还是提示失败怎么办？
@huanyihe777
2 ай бұрын
换个机场吧
在油管看你的视频，经常听你说到你的上一期视频如何如何，可是在你的油管主页，从视频列表中找不到关联的上期视频
@HongjiLiu
2 ай бұрын
sorry！是我太心急了，这个问题解决了！
@huanyihe777
2 ай бұрын
回头我把关联视频在当期视频里加上，右上角就有提示了
能告诉我你的电脑的配置吗？
@huanyihe777
4 ай бұрын
CPU是i7-9700K，显卡是3060，都是好多年前的配置了