如何搭建本地AI助手#Whisper.cpp+LLaMA#AI语音互动#AI助手搭建

大家好,今天给大家介绍一个本地a i助理,local a i o seasonal on mike. 可能你会有一个疑问,我们都有chat g p t可以随时随地用呢,为什么还需要一个本地a i助理呢?发现主要有以下几个原因啊。首先的话,本地a i助理是不需要联网的,也就是说你一旦设置好在任何环境下你都可以使用。其次呢,你不需要担心数据安全的问题,你有任何问题都可以放心的问他,而这些问题呢也不会被发送到互联网上。第三的话,你的本地a i助理也是完全免费的,而且你有他所有的源代码,懂一些基础的小伙伴呢也可以对它做定制化。嗯,好,我们接下来给大家看一个demo。

好,这些命令已经都写好了,lets go. 加载中啊。你好,请介绍一下你自己。hello, i'm samantha. you're personally i assistant. how can i help you today? semana, 你好,我现在打算做一个youtube的视频,视频的主题是在mac电脑上运行一个ai助手。short thing to get started, you may want to consider the following steps. 嗯,好的,感谢您的建议。you're welcome. if you need any further assistance, feel free to ask me any time. have a great day. 嗯,我打算学习英文,有什么建议吗?请用中文回答我。

当然,以下是一些可以帮助您学习英文的建议。嗯,推荐一些课程吧,也用中文回答。当然,以下是一些可以帮助您学习英文的课程建议。一。我现在心情不是太好。

非常抱歉,寇,你可以告诉我更多关于你的感受吗?最近压力比较大,睡眠不是很好。那么我建议您尝试一下深度呼吸练习或者身体松弛技巧,来帮助您放开压力和提高睡眠质量。做冥想有帮助吗?当然做冥想也是一个很好方法来减轻压力和提高睡眠质量。它可以让你清除思维中的杂乱想法,并帮助你进入休息状态。一般你建议在什么时间做冥想?一次做多久?通常建议每天早上或晚上做冥想,每次长度至少十至二十分钟,但是根据个人喜好和需求而异。

推荐一个关于冥想的视频吧。当然,我可以为您推荐一些关于冥想的视频,这里有几部非常受欢迎的一二三,请告诉我你喜欢哪一部?啊,你得告诉我这个些视频的具体名字吧。好吧,换一个话题,你如何看待美国的经济形势?美国的经济形势因时间而异,但根据最近的研究和数据,美国的经济正在持续增长,unemployment rate降低了很多,g d p growth也比上一年高了不少。但是同时也存在一些挑战,例如税收问题、环境问题等等。好,你觉得美国哪一个城市最有意思啊?美国有许多非常有趣的城市,每个都有自己的特点和风格。

如果你喜欢人口较少且自然环境良好的地方,我建议您考虑去colorado o springs或者border。如果您喜欢文化丰富且历史深刻的地方,我建议您考虑去new york city或者washington d c。请告诉我您喜欢哪个城市,我会尽力为您提供更详细的信息。啊,我还蛮喜欢new york city的,我去过那里一次。很抱歉,co我不知道您已经在过去了,但是如果您还有机会再去纽约城市,我可以为您提供更具体的推荐,例如哪些景点餐厅等等。

接下来我们聊聊如何搭建这个本地a i这里的话有一个流程图给大家介绍一下。呃,首先我们会发现刚刚的这个系统的话,它是完全语音交互的。那么在这个系统的最前面,就是我作为一个用户,那我会把我的一些问题然后转换成嗯通过语音,通过讲话的方式表达出来。那这里首先就有一个语音转文字的过程。那语音转文字的话,这里的话我们使用到了也叫做wish for点c b p它这样一个退役的框架,然后这里面的话它会加载w e e f f的model。

那wish f l的这个model的话是有open a i他们开发,然后并且公开出来给大家用的。那再到这里面会呃云转文字之后,下一步它就得到了文字的问题。那在之后他这个文字问题会被送给a i模型去回答这个问题。那在a i模型这边的话,使用到了拉曼顶c p p的这个推理框架。那这里张大雷是拉曼系列的这样一个模型。

对那模型回答完这个问题,那得到回答的文字,这个文字会被转换为语音,并且通过mac电脑播放出来。这里面在呃转语音的这里面使用到的是mac系统的这个c c y这个指令。然后这里的话这里面会会放放成语音,然后这里面还可以去设置它播放的这个角色是谁啊。在我刚刚demo里面使用到两种角色,一个是英文的是sander然后中文的话使用的是台湾的这个这个一个角色。对那这里的话播放完之后,这个一次交互就结束,然后系统会再次等待用户的输入。

然后用户的话在讲了新的问题之后,会再接着走云转文字等等这个流程,然后一直循环下去。直到用户去启用了control c然后去中断这个程序,对,这是一个大的流程。我们看一下它那几个步骤吧啊第一个步骤的话需要啊去呃克隆这个代码rapper然后这里面的话是我的一个微缩点c p p folk过来的report,然后并且做了一些修改。那这边修改的话主要是包括对于中文的支持,然后对于嗯发音的角色的一个呃呃设置对。好,那下载了代码的话,我们默认的会把代码放在用户的这个根目录后门目录里面。

对第二步的话是呃安装s d l。二s d l的话是一个开放源码的跨平台多媒体开发库。那mac平台的话是可以通过breed去安装。当然如果你没有提前安装这个eed的话,请参考这个链接就可以对它的安装。通过breed去安装方式很简单,就bring store s d l二。

对那到了第三步的话,我们是需要去下载whistle它的模型。那下载的这个模型文件的话,请放在这里v四l点c p p杠model这个目录里面。嗯,正面的话有多种选择,对于sfo的模型的话,它有大中小然后不同好几种选择。这里面的话我目前用的是这个呃medium,并且是用了五个b的量化的这样的一个media模型。对,当然正面还有其他的选择,比如呃更小的base模型,或者smaller或者smaller九五量化模型。

对对。第四步的话是要去下载拉曼系列的模型。当然下载的模型文件同样是放在这个models目录里面。这里面的话我推荐我现在使用的这个m i c r o七b instruct呃这个模型,当然它是用的斯比特量化的这也可以直接到hanging face它的这个呃官官网的网页里面去下载。对,这里面就不再具体的介绍了。

o k上面的一些准备工作都做完之后的话,接下来就是要去build的这个talk拉拉a。build的话那直接就c d到这个目录里面,然后直接make可以特克拉满。其实它大概很快吧,一不到一分钟就可以build完。对,build完之后下一步的话就直接启动它,启动这个特克拉曼。而且这里面的话,这个命令我已经在这里面写出来的。

这里稍微解释一下托尔拉曼他接受的几个参数。那这里杠m w它接受的参数是我的这个whistler的模型,对,这个medium五比特量化模型。然后m l的话是这个大元模型,它的模型呃这个这个与l l m它所用的模型。对,这是前面讲到这个miss r l七b inspire的模型。这还有一个杠l参数的,它是针对whistle的,是说你你你这个讲话主要是用中文对吧?或者是英文啊,我这里的中文的,所以我选择是z h对,后面还有个参数杠t,杠t的意思说是person,我这里全是我的。

这这个这个这个我这个的话是这样子,有几个thread,我这里面是用了八个thread o k那这就是它的这个准备和运行的一个方式,这里面做完之后就是。就那效果就跟我前面demo的话是一样的。那这样你就可以无需联网对吧?随时随地的可以呃来使用这个a i助手,并且也不再需要支付任何的费用。当然这里面的话模型呃你都是可以替换掉的。比如说后面出了更强的呃这个呃马系列的语言模型,直接把它呃下载,然后直接把把把这个参数里面给替换掉就好了,或者你的电脑性能更强对吧?然后你可以用十三b的也可以。

但我现在的是一个呃呃book pro m一的一个芯片。对嗯o k好,那这一步的话就到这里。关于这里语音的设置。啊,我们可以看到在代码的七百多行的话,我们这里面做了一个简单的判断。对于最终。

大模型回复的这个文本里面,我会我们会去判断一下它是否只包含英文。如果它只包含英文的话,那我们就使用了一个啊samana enhance这个voice。其他的情况的话,我们直接使用了系统默认的。对那对于这种情况,它系统默认的语音是怎么设置的的话,它实际上是使用的在setting里面默认使用的。比如我在这里面chinese使用到voice是siri voice to you播放一下。

你好,我是siri。对,这个声音就是刚刚我们在前面demo里面听到的。所以啊这里需要留意的话是,如果你系统使用的是英文,并且使用的是英文的这种声调,它是没有办法去播放中文的。也就是c的命令时播不出来中文。所以的话建议对于体验的伙伴的话,只需要把系统的语言设成中文。

对,除非的话你只需要跟这个陶克拉玛做英文的交流。