牛刀小试AI智能硬件esp32-s3配置mcp
这是学习笔记的第 2540篇文章

最近继续迭代了下ESP32硬件,发现蛮好玩的。目前是走过了4个阶段,而且都实测完成了。
第1阶段:
这是大部分人可以直接感受ESP32硬件的最直接方式,买到硬件之后,可以注册xiaozhi平台,然后可以和平台绑定,就可以免费使用ASR,TTS,和LLM服务了,尤其大模型部分,qwen,deepseek都免费支持,还有记忆功能。

问题1:这个阶段对于DIY玩家不够深入,比如想自己折腾点东西就有些受限了。
问题2:有时候机器人感觉不够智能,只能干一些指定的复杂度不高的事情。
第2阶段:

第3阶段:
这个阶段是重中之重,因为我跑通了逻辑,但是想放开用,成本问题还是需要正视的,所以我考虑了如下的方案融合,还是复用官方平台的免费额度,但是更有脑子的部分使用mcp接入来大大提高上限能力。
整体上是这样的部署方式,xiaozhi平台是指出接入mcp的,我通过接入mcp网关来动态接入多个mcp,目前我接入了4个具体功能的mcp,比如我想和机器人沟通知识库的内容,就用KB知识库mcp, 我想沟通最近的新闻情况,就用新闻mcp,我想沟通开源项目,就用开源洞察助手mcp,我想使用更高级的模型,就可以使用大模型的mcp。

这个过程跑通之后,效果比想象的好一些,至少机器人的智力水平一下子提升了不少,中间沟通的过程还有一些思考的感觉。它会把返回的内容再转化为口语化沟通的方式。
问题1: xiaozhi平台免费,音频文件保留30天
问题2: 和机器人的沟通没有内容沉淀,比较碎片化和松散,长期体验一般
第4阶段:
为了解决第3阶段的问题,我在尝试的是加入一个透传服务,把语音的内容直接解析出来,流入到KB知识库让AI进一步沉淀和总结。这样后续的内容都能够逐步结构化。想得挺好,目前还没有直接看到明显的效果,到这里一个初步的内容闭环就可以形成了。

后续需要做什么,我大体想到的:
1、搞定一台3D打印机,弄一个像样的外壳,成为一个可用的产品
2、已经买了几个ESP32硬件,准备继续攒一下,看看能不能攒几个机器人出来,让它们互相聊天
3、接入类似AI助理的功能,让它能够执行一些简单的任务
各大平台都可以找到我
-
微信公众号:杨建荣的学习笔记 -
个人网站:www.jeanron100.com -
Github:@jeanron100 -
CSDN:@jeanron100 -
知乎:@jeanron100 -
头条号:@杨建荣的学习笔记 -
网易号:@杨建荣的数据库笔记 -
腾讯云+社区:@杨建荣的学习笔记
热文:
个人视频号:

