hello, 大家好,今天跟大家分享一个非常好用的开源项目max k b。那本周呢它也是登上了github rending的总榜,火爆程度啊可见一斑。这里是它的github地址,那作者对它的一个定位呢是一款基于l l m大语言模型的这个知识问答系统。max k b呢就是max knowledge base啊的一个简写,它旨在呢成为企业的一个最强大脑。
为什么要给大家推荐这个项目呢?其实是因为我前一段时间做了一个商家内部培训助手的啊这个需求,然后用到了它。可以说整个项目从上手到落地呢都是非常的顺畅啊,目前在生产环境也是相对来讲比较稳定的那接下来呢我们就演示一下如何使用这个max k b搭建一个属于你自己的智能问答系统。首先呢我们需要安装max k b,那安装的方式呢也是非常的简单,直接使用这个one panel来安装就可以了。很多朋友可能对这个one panel还不太熟悉,我这里做一个简单介绍吧。
它是新一代的服务器运维面板,和这个x k b一样,都是非智云家的产品。啊,还有这个jump server啊,这个我说出来大家可能会相对熟悉一点。那我之前呢也是出过one panel的一个相关的视频啊。感兴趣的同学呢可以去自行看一下。
那我们现在呢就来到了one panel的面板啊,接下来我们进入它的这个应用商店,这里大家可以自己去搜索或者说点击这边的a i大模型分类。我们今天主要去依赖两款应用啊,首先是这个max k b,另外是这个奥拉玛。首先来说的话呢,奥拉玛是一个开源的大语言模型服务,它提供了类似open a i的这个a p i接口和聊天界面。啊,同时呢欧拉a也是支持部署一些比较主流的语言模型。
那我们现在呢点击安装,然后进入安装参数这个设置界面,名称、版本和端口号,我们就直接使用默认值就可以了。然后容器的一个名称呢,我这边直接给它叫奥拉玛,然后勾选一下这个允许端口外部访问c p u限制为八核,然后内存的话呢我们设置为十六g当然这些也是可以根据你自己的一个算力资源来决定的,大家自己去规划就可以了。稍微等会儿啊,我们这个奥拉玛就已经安装完成了。可以看到使用one panel做运维安装的工作真的是非常的轻松。
接下来的话呢我们安装max k b应用啊,直接搜索max k b,然后点击安装,进入安装参数的这个。设置界面名称端口,还有这个版本呢,我们依然是使用默认值。然后这边名称我们把它叫做max k b,允许外部端口访问。然后c p u我们设置两个核心内存的话呢,就给它四个g然后呢我们点击一下确认,稍等一会儿呢,这个max k b也安装完成了。
ok那么现在呢我们已经进入了这个max k b的应用系统啊。首先我们需要去输入的是默认的这个账号名和密码。这个时候呢max k b它只是一个知识问答系统的架子,它还没有真正的去接入任何的单元模型。那接下来的话呢,我们就需要去打通max k b和奥拉玛我们这里的系统设置。
然后点击模型设置可以看到这个max k b呢当前它是支持这这个a a e r的open eye和千分大模型的。然后呢,我们这个地方点击添加模型,直接选择这个奥巴马平台。然后呢,我们需要去打开奥拉玛模型的这个参数表单,这里的模型名称呢它是max k b的自定义名称啊,我我们这边是直接设置为lama二。然后模型的这个类型呢,我们直接选择大元模型,基础模型可以是下拉选择,也可以是自定义输入啊。
然后域名这一块呢,就是我们刚才部署的那。这个alama服务的一个地址。这个地方我建议大家可以去单开一个tap页。然后呢回到这个one panel的管理面板当中,点击alama的服务端口。
接下来呢我们复制这一段的服务地址,然后把它粘贴到这个a p i域名当中就可以了。那a p i k的话呢默认是可以不填的,但是你也可以去随意输入一些知识库啊,大家随意就好。然后呢我们点击添加啊,系统会自行去下载lama二的一些模型的数据啊,等待这个模型下载完毕了以后呢,我们就可以在应用中进行对话了。那么在这个模型下载的过程当中呢,我们可以先去创建一下知识库啊,这个地方我们点击知识库,然后点击创建知识库。
来到这个页面以后呢,我们输入知识库的一个名称和描述啊。知识库的名称就设置为呃商家智能问答系统,然后描述我们就给它叫做商家知识库。那知识库的一个类型呢,现在是分为通用型和web站点两种啊。首先这个通用型呢它是指啊我们可以去自行上传本地的文档这样的一个知识库。
那外部站点呢其实就是利用爬虫的技术去啊自行。爬取在线的一个文档。那因为商家的这个培训啊,规章制度啊,还有一些解释条款等等,这些都是我们内部的一些资料啊,所以说我们这里就选择一个通用型的知识库。接下来的话呢我们将文档拖拽到这个区域啊,它目前所支持的一个文档类型是markdown和text t啊,未来可能会去支持像p d f或者是dot这样更多格式的文档进行一个上传也可以的一些文档呢,我们这边也可以再去点击删除啊,最后我们点击这里的创建并导入。
接下来的话呢,我们设置分段的一个规则,它这里是有智能分段和高级分段两种类型的。不了解如何去设置你的这个分段规则的话呢啊我建议你直接使用这个智能分段就可以了。如果说你本身文档的这个分段标识还是比较规范的话呢,可以去选择这个高级的分段进行自定义的一个分段规则。这里的话呢我们可以去自定义分段的一个标识啊,分段长度呢它最大是支持到这个四零九六的一个字符长度。
那设置完毕了以后呢,我们就可以来预览一下。如果你觉得某些分段内容不太合适,也可以在这个地方进行二次的一个编辑或者。是删除。那全部调整完毕了以后呢,我们这个地方点击开始导入。
在创建成功的页面呢,可以点击前往文档,然后查看导入文档的一个详情。向量化完成的这些文件,它的一个状态会变为成功,然后我们任意点击这个地方的文件名呢,就可以去啊进入到该文件的一个分段详情的这个页面。查看和编辑分段的一个内容呢也都是支持的。并且我们可以给啊这个分段添加一些关联的问题啊,从而提高它的一个分段的命中率嘛。
那至此呢我们整个的这个知识库就配置完成了啊,接下来的话呢我们就需要去创建一个应用,应用的一个名称呢,我们就给它叫做商家智能问答助手。可以看到右侧的话呢是可以实时的来查看和预览的,就是所见即所得,我觉得是非常的方便。那应用描述呢我们就简单写一下,然后a i模型啊选择我们刚刚接入的这个拉马图的模型提示词的话呢,也可以去根据所选模型进行自定义的一个调整,也可以去使用它默认的这个提示词。这里的话呢我们将回答要求简化为请使用中文回答用户的问题。
然后。围绕我们这个商家服务的一些条款来做回答。最后呢我们点击添加这个知识库,然后关联我们刚刚创建的这个知识库。这样的话呢当用户提问的时候,就会优先在知识库当中去匹配合适的分段内容来进行回答。
开场白这一块呢也是支持自定义的啊,还可以去设置几个快捷问题、高频问题。然后呢我们点击一下创建应用就搞定了。那接下来的话呢,我们就简单演示一下这个使用的效果啊。我们点击演示进入小助手这个问答页面,然后呢我们随便选择一个快捷的问题进行提问。
可以看到他的这个回答速度还是非常快的,而且是基于自建知识库的这个范围进行回复的啊,后续自由发问也是非常的流畅,整体使用感受我个人来感觉还是非常不错的那最后的话呢,我们作为一个系统管理员,是可以去查看和分析问答系统的一个使用情况的。这里我们进入对话的日志这个地方它是存储了当前所有这个应用的一个对话记录啊,点击摘要的话呢,可以去查看对话的详情。然后在这个详情里面呢,它是有去记录用户当时的一个提问。还有a i的回答,以及用户对这个回答的一个反馈。
点击这里的引用呢可以看到a i回答时候引用的是知识库里面的哪一个分段的内容啊,就是非常的方便。那目前的话呢它这边只是支持一个界面的查看啊,如果说可以开放a p i的话呢,可玩性就更高了对吧?那接下来的话呢还有一个问题,就是我们如何把这个max k b和现有的一个系统打通啊,它这里呢是支持直接嵌入到你现在的网站当中的啊,我们可以去选择全屏和浮窗两种形式复制。对应的这个代码呢放到前端页面里面就ok了,非常的easy。那今天呢只是对这个max k b项目做一个非常简单的演示啊,相信大家也已经感受到了它的这个强大和便利,对吧?那除了本地上传文档以外呢,它还支持爬取网络的文档啊,所以说可玩性还是非常高的。
感兴趣的同学呢可以自行上手体验一下o k那以上呢就是本期视频的一个全部内容了,感谢大家的收看,我们下个视频再见peace。