04 | Speech + Agent architecture

Conversational Home / Robot Assistant:从听见到执行的实时语音架构

AI Hub、KATA 与 K20 共享实时语音平面;Agent 只通过受控工具执行动作,敏感操作必须经过权限策略和用户确认。
SWITCHBOT VOICE ENDPOINTSREAL-TIME VOICE & AGENT PLANEMicrosoft AzureACTION PLANEOUTCOMES双向音频tool callcompanionmobile权限 / 二次确认词汇 / 语言配置trace · eval · policyAI Hub家庭语音入口 · 本地上下文KATA Friends陪伴对话 · 情感化交互K20 / Robot移动场景 · 导航与任务Voice LiveVAD · STT · realtime modelTTS · barge-in · audio streamSpeech specializationCustom Speech · product termsSpeech Translation · multilingualFoundry Agentreason · toolssession traceVoice configuration语言 · 词表 · 音色 · 产品角色Agent governance身份 · 工具 allowlist · 审批Evaluation质量 · 延迟SwitchBot tools查询 · 控制提醒 · 导航敏感动作确认自然对话可打断 · 多语言可行动助手有权限 · 可确认可运营质量trace · eval · 迭代数据 / 事件 / API 流控制 / 策略 / 治理SwitchBot / edgeMicrosoft Azure业务结果
Business outcome形成自然、多语言、可打断且能安全执行设备动作的助手体验。
Azure roleVoice Live 处理实时听说,Speech 能力适配语言与词汇,Agent Service 编排工具、策略、追踪与评测。