← 返回 Hubot 首页
🏠 家庭智能管家
不再是固定在某处的计算机，而是可以自主移动的智能助手
🎯 项目愿景
打造一台可自主移动的家庭智能管家，
能够理解语音指令、在家中自主导航、完成各种任务。
🎯 项目目标
- 自主移动：不依赖固定位置，在家中任意角落自主移动
- 环境感知：激光雷达 + 视觉，构建室内地图
- 语音交互：自然语言对话，理解并执行指令
- 智能任务：自主导航到指定位置、递送物品、巡逻等
🔮 终极目标：一台不再是固定在书房/客厅的计算机，而是一个可以主动来找你的智能管家。
🤖 系统架构
⚡ 核心架构：
本地推理（低延迟）+ 本地避障（实时）+ 云端辅助（复杂任务）
小车上小PC（Ollama 本地推理 + 视觉模型）
↓ 本地通信（串口/WiFi）
ESP32-S3（实时控制 + 传感器采集 + DWA避障）
↓
执行机构（电机 + LD14P + 编码器）
🔌 ESP32-S3 双核 + IMU 边缘架构 2026-09-12 设计
ESP32-S3 双核分工（240MHz × 2）
▌核心0（loop / 控制）
• WiFi + MQTT 收发
• 四轮 PID 闭环（50ms）
• 编码器读取 + 中断
• IMU 驱动（I2C 4 线）
• IMU + 编码器融合 yaw
• 里程计 + scan 发布
|
▌核心1（数据处理）
• LD14P 雷达原始数据读取
• scan → 世界系坐标变换
• 局部点云缓存（环形 buffer）
• scan-to-scan ICP 角度匹配
• 全局点云图维护
• 发布世界系 scan 到 MQTT
|
📐 IMU 融合公式：yaw = ∫gyro_z·dt + α·anchor（编码器校正防陀螺漂移）
📐 MQTT 频率提升：1Hz → 5~10Hz（双核解耦后，云端带宽不卡）
📐 Web 端责任：只渲染不计算，删 K_TURN、删 ICP、删 A 方案旋转矩阵
🔄 演进阶段
| 阶段 | 配置 | 说明 |
|---|
| 当前：调试阶段 |
PC（云端OpenClaw）--- WiFi --- ESP32 |
开发调试用，延迟高可接受 |
| 第二阶段 规划 |
小PC（Ollama本地）--- 串口 --- ESP32 |
本地推理，延迟大幅降低 |
| 第三阶段 愿景 |
小PC + 摄像头 + 视觉模型 |
目标识别、自主决策 |
| 第四阶段 2026-09-12 设计 |
ESP32-S3 双核 + IMU 边缘 SLAM |
核心0 控制 / 核心1 SLAM · IMU+编码器融合 · Web 端只渲染 |
📡 通信分工
| 任务 | 处理位置 | 延迟要求 |
|---|
| 实时避障 | ESP32 本地 | < 50ms |
| 指令理解 | 本地 Ollama | 50-500ms |
| 复杂推理 | 本地 Ollama | 0.5-2s |
| 云端辅助 | OpenClaw | 可等待 |
🧰 硬件配置
✅ 移动平台
🧠 ESP32-S3
主控芯片 · WiFi + 蓝牙
✅ 感知系统
✅ 计算平台
💻 小PC / 迷你主机 规划
本地部署 Ollama · GEMMA 4 E4B 模型
☁️ OpenClaw 云端 调试用
当前调试阶段使用
❌ 已取消
☂️ MG996R 舵机
已取消 - 固定安装更可靠
📏 6x SDM10
已取消 - 用LD14P代替
🚀 能力演进
| 能力 | 实现方式 | 优先级 |
|---|
| WiFi遥控 | 手机/PC 控制 | ✅ 已完成 |
| 语音控制 | ESP32离线ASR + Ollama | 🔄 进行中 |
| 自主导航 | LD14P SLAM + 编码器 | 🔄 进行中 |
| 视觉识别 | 摄像头 + 本地视觉模型 | ⏳ 规划中 |
| 物品递送 | 视觉 + 机械臂（未来） | 🔮 愿景 |
| 自主充电 | 回充站定位 | 🔮 愿景 |
📊 LD14P vs 原方案对比
| 对比项 | 原方案 | 新方案 |
|---|
| 传感器 | TFmini Plus + 云台 + 6x SDM10 | LD14P 单线激光雷达 |
| 串口需求 | 多个 | 1个串口 ✅ |
| 数据完整性 | 6个方向 | 360°全覆盖 ✅ |
| 可靠性 | 云台有机械磨损 | 无机械部件 ✅ |
| 成本 | ¥400+ | ¥200左右 |
🔊 语音控制架构
双通道架构 + 本地 Ollama 推理：
通道1：实时控制（毫秒级）
ESP32离线ASR → 关键词匹配 → 直接执行
通道2：智能指令（秒级）
麦克风 → 本地 Ollama → 意图理解 → 目标坐标
📦 物料清单 (BOM)
🚗 移动平台
| 物料 | 型号/规格 | 参考价 | 状态 |
|---|
| ESP32-S3 开发板 | ESP32-S3 DevKit C1 | ¥50-80 | ✅ 已有 |
| 麦克纳姆轮套装 | 100mm ×4 | ¥100-200 | ✅ 已有 |
| 带编码器减速电机 | TT马达 9V ×4 | ¥150-250 | ✅ 已有 |
| DRV8833 | 双H桥 ×2 | ¥20-40 | ✅ 已有 |
| 锂电池组 | 9V | ¥50-100 | ✅ 已有 |
📡 感知系统
| 物料 | 型号/规格 | 参考价 | 状态 |
|---|
| LD14P 激光雷达 | 单线激光雷达 | ¥150-300 | ✅ 已有 |
| ESP32离线ASR模块 | 离线语音 | ¥30-50 | ✅ 已有 |
| USB摄像头 | 普通USB摄像头 | ¥50-100 | 规划 |
💻 计算平台
| 物料 | 型号/规格 | 参考价 | 状态 |
|---|
| 迷你主机 / 树莓派5 | 低功耗迷你PC | ¥300-800 | 已有 |
| Ollama 本地模型 | GEMMA 4 E4B | 免费 | 待部署 |
💡 说明：
基础版 ¥400-600 已完成主体，额外投入 ¥300-800 可获得本地推理能力。
✅ 项目进度
✓
硬件组装
✓
驱动程序调试
✓
手机控制（WiFi）
✓
编码器数值OK 2026-04-12
✓
LD14P PC点云 2026-04-12
✓
PID调试完成 2026-04-13
Kp=0.8, Ki=1.4, Kd=0 | 最高速度220mm/s | 前进很直
✓
ESP32→PC LD14P WiFi传输 2026-04-25 基本成功
✓
LD14P 驱动集成 PC点云OK
✓
MQTT 控制打通 2026-09-10 大里程碑
浏览器 → WSS → mosquitto:8083 → ESP32 全链路 · 云端 MQTT 桥接 wss://home.hubot.site/mqtt · D-Pad / 速度 / 急停 / 里程计归零
✓
点云世界系可视化 2026-09-10
0-6s 时间衰减 · 4 图层（新/中/旧/轨迹） · 小车 ▲ 朝向 + 行走轨迹
✓
主页重构 + 控制/记录分离 2026-09-11
控制台 home.hubot.site/car/（MQTT 控车 + 点云世界系可视化） ↔ 记录页 /smart-car/（本页）· 互链 · MQTT 通道 user mqtt_dash
✓
固件 turn 精确角度旋转 2026-09-12 v3.2c-turn
cmd/car/turn <angle> · 编码器积分闭环 · 末段 10° 减速防超调 · Web 按钮发 ±30°
✓
前端画布 Y 翻转 + K_TURN 旋转补偿 2026-09-12
K_TURN = 1.467（编码器 30° = 世界 44° 的实测打滑系数）· ly = -r·sin(ar) 画布 Y 翻 · 车头箭头 a = -th
⏳
引入 IMU 做姿态估计 2026-09-12 设计中 · 麦轮打滑严重
4 线接口（VCC/GND/SDA/SCL）占用 ESP32-S3 空闲 GPIO · 候选：MPU-6050（¥5 性价比）/ ICM-20948（¥20 高端）· 取代 K_TURN 死补偿
⏳
ESP32-S3 双核边缘 SLAM 2026-09-12 设计中
核心0：WiFi/MQTT/PID/IMU 融合 / 核心1：LD14P 雷达 + scan→世界系变换 + 局部 ICP · Web 端只渲染不计算 · 云端带宽/MQTT 压力降一半
✓
MQTT 触发 HTTP OTA 固件升级 2026-09-12 大里程碑 · 实测 5 次成功
全链路：workbuddy (mqtt_admin) → cmd/car/ota <URL> → ESP32 HTTP 下载 → 写 OTA 分区 → 重启。今天 15:18-15:23 连续烧了 3 版 (v3.0→v3.2a→v3.2b→v3.2c-turn)，后续迭代不再手插线。
⏳
运动精度控制 编码器 + IMU 融合
⏳
LD14P 点云 SLAM 增量地图 + 回环检测
⏳
AMCL 粒子滤波定位
⏳
CSI 定位 2026-04-11 已规划 · 5 个月未做实际页面
⏳
巧虎保护模式 CSI 突变检测 + 自动避让
⏳
语音控制集成（ESP32 离线 ASR + Ollama GEMMA 4 E4B）
⏳
视觉能力（摄像头）
📝 开发计划 更新于 2026-09-11
- 第一阶段：基础控制 ✅ 已完成 - WiFi遥控、电机驱动、手机控制
- 第二阶段：感知系统 ✅ 已完成 - LD14P激光雷达、编码器、PID 调试
- 第三阶段：云端控制 ✅ 2026-09-10 - MQTT 桥接 + Web 控制台 + 点云可视化
- 第四阶段：固件迭代 ✅ 2026-09-12 - MQTT 触发 HTTP OTA 升级 · workbuddy 推送实测 5 次成功
- 第五阶段：自主导航 - SLAM 建图、AMCL 定位、DWA 避障
- 第六阶段：CSI 融合 2026-04-11 已规划 - WiFi CSI + EKF 定位、巧虎保护
- 第七阶段：语音交互 - ESP32 离线 ASR + 小PC Ollama GEMMA 4 E4B
- 第八阶段：智能管家 - 自主移动、任务执行、自然语言指令
💡 阶段性验收：前四阶段核心闭环已跑通（MQTT 控制 + 点云世界系 + 紧急制动 + MQTT 触发 OTA），
第五阶段是 SLAM 建图 · AMCL 定位 · DWA 避障，要迎IMU 边缘架构提供精准位姿。
📡 WiFi CSI 定位系统 新方案 2026-04-11 2026-09-11 现状：5 个月未做实际页面
💡 方案思路：
利用车上已有的 ESP32-S3，采集房间内固定 ESP32 节点发射的 WiFi CSI 信号，
实现室内定位 + 运动目标检测（家人/巧虎）双重功能
⏰ 5 个月状态检查：
CSI 方案架构 + 巧虎保护概念完整，但 实际指纹采集、热力图定位、可视化 这块一直没动手。
优先级排在 OTA 之后、下一个里程碑推荐先补 CSI 热力图（4×3 锚点信号强度）作为网页功能，然后才动采集逻辑。
🎯 CSI vs 传统方案对比
| 对比项 | 纯 SLAM 方案 | CSI + SLAM 融合 |
|---|
| 室内定位 | 里程计累积误差 | CSI 绝对位置辅助校正 ✅ |
| 运动检测 | 仅靠 LD14P 动态障碍物 | CSI 可探测障碍物后方运动 ✅ |
| 巧虎保护 | 无法识别运动目标类型 | CSI 实时检测家人/宠物移动 ✅ |
| 硬件成本 | 仅 LD14P | + 3x ESP32-C3 (~¥90) |
🏠 系统架构
固定节点（3x ESP32-C3，放角落）
⚪ ESP32 #1 ──WiFi CSI──►
⚪ ESP32 #2 ──WiFi CSI──► 🚗 小车 ESP32-S3
⚪ ESP32 #3 ──WiFi CSI──►
│ LD14P 360° 雷达（避障）
│ 轮编码器（里程计）
│ DWA 本地避障
│ 小PC（Ollama 本地推理）
│ CSI 采集 + 位置估算
│ 卡尔曼滤波融合定位
│ 运动目标检测（家人/巧虎）
🔄 定位融合框架
| 传感器 | 数据 | 算法 | 作用 |
|---|
| LD14P | 点云 | AMCL | 环境建图 + 全局定位 |
| 轮编码器 | Δd, Δθ | 航迹推算 | 短距离里程计 |
| WiFi CSI | CSI 相位/幅度 | KNN 指纹法 | 绝对位置辅助 + 运动检测 |
| 融合输出 | EKF | 全局位置 (x, y, θ) + 置信度 |
👤🐱 巧虎保护模式
CSI 突变检测 → 空间内有物体移动
├── 巧虎在客厅 → 小车不去那边
└── 家人走过来 → 小车暂停/绕行
📋 实施步骤
| 阶段 | 任务 | 说明 |
|---|
| 1 | LD14P 建图 | 推着小车走一圈，生成房间地图 |
| 2 | AMCL 定位验证 | 确认能稳定定位 |
| 3 | 部署固定节点 | 根据地图分析，放置 3 个 ESP32-C3 |
| 4 | 自动指纹采集 | 小车自动遍历网格点，建立 CSI 指纹库 |
| 5 | CSI 定位调通 | 位置估算 + 卡尔曼滤波融合 |
| 6 | 运动检测 | 家人/巧虎移动检测 |
🎯 关键优势：
• 自动采集：SLAM 建图后，小车自己跑到各点位采集 CSI 指纹，无需人工
• 固定节点便宜：普通 ESP32-C3 即可，¥30/个 × 3 = ¥90
• 复用车上 ESP32-S3：不增加主控负担
• CSI 探测其他运动物体：家人和巧虎的安全保障
🔴 LD14P 实时点云 实时显示
WebSocket: 未连接
最后更新: --
点数: 0
小车IP: --
世界系: 等待 odom…
ESP32 发送命令（HTTP POST）：
POST http://你的服务器:5000/lidar
Content-Type: application/json
{
"ranges": [0.12, 0.15, ...],
"angle_min": -pi,
"angle_increment": 0.0174
"ip": "192.168.x.x"
}
网页查看连接状态：
http://你的服务器:5000/lidar_status
📋 项目日志
2026-04-25
✅ WiFi传输激光雷达数据基本成功
• ESP32→PC LD14P WiFi 传输基本打通
• 下一步：结合小车运动进行室内SLAM
2026-04-12
✅ 编码器数值OK + LD14P PC点云OK
• 编码器数值调试成功
• LD14P 在 PC 上点云显示正常
• PID 调试因电池没电暂停
• ESP32→PC LD14P WiFi 传输丢包问题（待解决）
• 台式机安装 Ollama + GEMMA 4 E4B 模型（调试用）
2026-04-11
✅ 编码器接线测试成功
• 编码器接线完成并测试通过
• 下一步：PID 测试
2026-04-11
✅ WiFi CSI 定位方案加入
• 发现 WiFi CSI 采集方案，利用车上 ESP32-S3
• 方案：房间固定 3x ESP32-C3 节点 → 小车 CSI 采集 → 定位 + 运动检测
• CSI 可探测家人/巧虎移动，实现巧虎保护模式
• 指纹采集自动化：SLAM 建图后小车自己遍历采集
• 定位融合：EKF 融合 LD14P AMCL + 轮编码器 + CSI
2026-04-10
✅ 项目定位升级：家庭智能管家
• 项目目标更新：不再是固定计算机，而是可自主移动的智能管家
• 硬件方案更新：LD14P 单线激光雷达
• 计算平台更新：本地 Ollama（小PC部署）
• 增加能力演进路线图
2026-04-08
✅ 驱动和手机控制完成
• 驱动和手机控制已完成
• 下一步：室内导航系统
2026-03-28
✅ 电机接线完成，可通过WiFi控制
• TT马达接线完成
• 自然语言指令控制前进/后退/左转/右转/停止
2026-03-17
✅ 架构更新：本地自主导航
• WiFi仅用于任务下发，避障本地闭环
• PC端SLAM建图 + 下发目标点 → ESP32本地DWA避障
2026-03-15
✅ 里程碑：OpenClaw自动烧录Arduino程序成功