04 | Speech + Agent architecture
Conversational Home / Robot Assistant:从听见到执行的实时语音架构
AI Hub、KATA 与 K20 共享实时语音平面;Agent 只通过受控工具执行动作,敏感操作必须经过权限策略和用户确认。
SWITCHBOT VOICE ENDPOINTS
REAL-TIME VOICE & AGENT PLANE
Microsoft Azure
ACTION PLANE
OUTCOMES
双向音频
tool call
companion
mobile
权限 / 二次确认
词汇 / 语言配置
trace · eval · policy
AI Hub
家庭语音入口 · 本地上下文
KATA Friends
陪伴对话 · 情感化交互
K20 / Robot
移动场景 · 导航与任务
Voice Live
VAD · STT · realtime model
TTS · barge-in · audio stream
Speech specialization
Custom Speech · product terms
Speech Translation · multilingual
Foundry Agent
reason · tools
session trace
Voice configuration
语言 · 词表 · 音色 · 产品角色
Agent governance
身份 · 工具 allowlist · 审批
Evaluation
质量 · 延迟
SwitchBot tools
查询 · 控制
提醒 · 导航
敏感动作确认
自然对话
可打断 · 多语言
可行动助手
有权限 · 可确认
可运营质量
trace · eval · 迭代
数据 / 事件 / API 流
控制 / 策略 / 治理
SwitchBot / edge
Microsoft Azure
业务结果
Business outcome
形成自然、多语言、可打断且能安全执行设备动作的助手体验。
Azure role
Voice Live 处理实时听说,Speech 能力适配语言与词汇,Agent Service 编排工具、策略、追踪与评测。