牛刀小试AI智能硬件esp32-s3

作者: admin 分类: AI技术            3 次浏览 发布时间: 2026-09-28 00:00

这是学习笔记的第 2533篇文章



  

前几天看一个视频做AI智能硬件,自己来了兴趣,于是从网上淘了esp32-s3的板子,准备也试着玩玩。


收到的材料是这样的,看起来又些懵,不知道从哪里开始。  


一通摸索,把能接的接好之后,总算能把屏幕亮起来了。好在有一个使用说明,大体知道该怎么做。
这是今天做好之后的一个初版效果,打算给小朋友也好好玩玩,所以做了蛋仔皮肤和鬼灭之刃的背景图。

我来说下我的尝试过程。
 
选择这个型号材料是因为这个有开源项目“小智AI”,这是一个由开发者“虾哥”发起的开源AI硬件项目,旨在帮助更多人入门AI硬件开发,将大语言模型应用到实际的硬件设备中。

该项目在GitHub上已获得超过2.8万星标,汇聚了全球超过15万名开发者。


拆开材料之后,大概的逻辑是需要手机连接到这个板子自带的wifi,然后输入家里的wifi绑定起来,把它们绑定起来,这样这个设备就和小智AI平台能够关联起来了。


接下来的步骤是注册一个小智平台的账号,然后根据这个设备生成的6位验证码和远程小智平台绑定起来,从而可以在小智平台可以配置,大体是这样的效果。
因为是基于这个平台,所以很多可以选择默认配置,整体来说还是比较方便的。
基本上到了这一个阶段,大部分人希望达成和AI沟通的目标就没有问题了。 
当然这里的大模型还支持deeepseek,doubao,绑定一下github就可以免费使用,这个效果能够直接拉满。
我试着让它和豆包一起聊天完全没有问题。

接下来,我做了两件有一定挑战的事情。
1、私有化部署,定制多个大模型
2、给硬件加一个壳,可以简单使用
1、私有化部署,定制多个大模型
这件事情说实话我开始的时候是完全没有信心的,我使用Kimi全程指导,还是很顺利把整个流程跑通了。
整个开源项目是容器化部署。 包含主服务,前后端服务,数据库,语音服务和向量数据库等。
部署这个控制台不需要关注太多细节,交给Kimi能够全程搞定部署工作。
接下来的问题是大模型的选用,因为是私有化部署,所以模型部分都是空白的。 

接入私有化部署的步骤

1). 设备进入配网模式

新 ESP32(已刷小智固件)上电后会自动进入配网模式,表现为开启一个 WiFi 热点(名称类似 Xiaozhi-XXXX,屏幕会有提示)。若已配过网想重来,开机后长按设备上的 BOOT 键几秒可重置。

2). 配置 WiFi 和 OTA 地址

  • 手机或电脑连接设备热点,浏览器打开 http://192.168.4.1
  • 填入您现场 WiFi 的 SSID 和密码(设备必须能访问互联网)
  • 找到 OTA 地址 选项,填写:
http://xxxxxx:8989/xiaozhi/ota/
3) .添加智能体
  • 保存,设备自动重启并连接 WiFi(注意结尾的 / 不要漏)

. 绑定设备

设备连上服务器后,屏幕(或语音播报)会显示一个 6 位验证码。登录管理后台 http://xxxxx → 设备管理 → 添加设备,输入该验证码完成绑定。


这个步骤完成,能够识别到这个硬件,也就意味着部署工作顺利完成了,这个时候硬件还说不了话,主要是因为大模型和语音模型还没有配置。
之前不太了解这些小模型和语音模型等,所以快速熟悉了下。
一个完整的流程是 :麦克风 → VAD → ASR→ 大模型/对话系统 → TTS → 扬声器
所以这些模型我都需要考虑,基本上Qwen的模型适配度很高,VAD,ASR,TTS都可以灵活适配到。
我这里使用的ASR是:阿里云FunASR,TTS比较关键,我希望和小智平台保持一致,所以就启用了阿里和豆包的语音模型。
大模型这里是deepseek和Qwen
到了这里,基本上基本框架就没有问题了,只是执行的过程中,可能会碰到模型兼容性,开源版本更新的兼容问题,这些让Kimi帮我就一把梭搞定了。我是一行代码也没写。
硬件管理实现了私有化,定制了模型,可以正常沟通了,接下来就是打包。
2、给硬件加一个壳,可以简单使用
因为这个时候硬件是可用的状态,但是把一对线头拿在手上也不是个办法,所以我想先给硬件加一个壳,让它看起来能够像个产品一样。在家里转了一圈,发现这个棉签盒大小合适,所以就开始折腾这个棉签盒。
又是剪刀,又是滚孔,体现了劳动人民的朴素,我的手工制作水平是差了一些,大体的样子是有了。
孩子喜欢蛋仔和鬼灭之刃,所以我把封面也改了改,看上去能够更贴近一些。 

接下来,家里的小度智能机,我也拆开看了下,感觉也可以DIY一把。
还有老爸测试血糖的血糖仪打算扔掉了,我看着屏幕好像也能够用用,接下来还有几个板子在路上,我可以试试固件编译和烧录了,看看能不能搞点好玩的东西。


各大平台都可以找到我

  • 微信公众号:杨建荣的学习笔记
  • 个人网站:www.jeanron100.com
  • Github:@jeanron100
  • CSDN:@jeanron100
  • 知乎:@jeanron100
  • 头条号:@杨建荣的学习笔记
  • 网易号:@杨建荣的数据库笔记
  • 腾讯云+社区:@杨建荣的学习笔记

热文:

呼伦贝尔游记第二篇

呼伦贝尔游记第一篇

山西大同云冈石窟一日游

新数据库时代,DBA 发展之路该如何选择

我们为什么在MySQL中几乎不使用分区表

《大江大河2》最触动我的一段经典对话

如何优化MySQL千万级大表,我写了6000字的解读

一道经典的MySQL面试题,答案出现三次反转

换个角度看人生



日历盒子


个人视频号:


Image



点在看,让更多人看到

admin

杨建荣,《Oracle DBA工作笔记》《MySQL DBA工作笔记》作者,dbaplus社群发起人之一,腾讯云TVP,现任竞技世界系统部经理,拥有十多年数据库开发和运维经验,目前专注于开源技术、运维自动化和性能调优

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

👋 This site is in Chinese — there's a short English intro about me. Read the English version →