Skip to content
广告 · 本站推荐广告

语音唤醒和按住说话

模式

  • 唤醒词模式(默认):始终开启的语音识别器等待触发词(swabbleTriggerWords)。匹配时开始捕获,显示带有部分文本的覆盖层,静默后自动发送。
  • 按住说话(Right Option 长按):按住右 Option 键立即开始捕获——无需触发词。按住期间显示覆盖层;松开后短暂延迟以便修改文本后最终确定并转发。

运行时行为(唤醒词)

  • 语音识别器位于 VoiceWakeRuntime 中。
  • 仅当唤醒词和下一个词之间有有意义的停顿(约 0.55 秒间隔)时才触发。覆盖层/提示音可以在停顿时开始,甚至在命令开始之前。
  • 静默窗口:语音流动时 2.0 秒,仅听到触发词时 5.0 秒。
  • 硬停止:120 秒,防止失控会话。
  • 会话间去抖动:350 毫秒。
  • 覆盖层通过 VoiceWakeOverlayController 驱动,带有 committed/volatile 着色。
  • 发送后,识别器干净地重启以监听下一个触发词。

生命周期不变量

  • 如果启用了 Voice Wake 且权限已授予,唤醒词识别器应处于监听状态(除了在显式按住说话捕获期间)。
  • 覆盖层可见性(包括通过 X 按钮手动关闭)不得阻止识别器恢复。

粘滞覆盖层故障模式(之前的问题)

之前,如果覆盖层卡在可见状态且你手动关闭它,Voice Wake 可能看起来"死了",因为运行时的重启尝试可能被覆盖层可见性阻止,且没有安排后续重启。

加固措施:

  • 唤醒运行时重启不再被覆盖层可见性阻止。
  • 覆盖层关闭完成通过 VoiceSessionCoordinator 触发 VoiceWakeRuntime.refresh(...),因此手动 X 关闭始终恢复监听。

按住说话详细信息

  • 快捷键检测使用全局 .flagsChanged 监视器监听右 OptionkeyCode 61 + .option)。我们仅观察事件(不拦截)。
  • 捕获管道位于 VoicePushToTalk 中:立即启动语音识别,将部分结果流式传输到覆盖层,松开时调用 VoiceWakeForwarder
  • 按住说话开始时暂停唤醒词运行时以避免音频输入冲突;松开后自动重启。
  • 权限:需要麦克风 + 语音识别;查看事件需要辅助功能/输入监控批准。
  • 外接键盘:某些键盘可能无法按预期暴露右 Option——如果用户报告未检测到,请提供备选快捷键。

用户界面设置

  • Voice Wake 开关:启用唤醒词运行时。
  • Hold Cmd+Fn to talk:启用按住说话监视器。在 macOS < 26 上禁用。
  • 语言和麦克风选择器、实时电平表、触发词表、测试器(仅限本地;不转发)。
  • 麦克风选择器在设备断开时保留上次选择,显示断开提示,并临时回退到系统默认设备直到它恢复。
  • 声音:触发检测和发送时的提示音;默认为 macOS "Glass" 系统声音。你可以为每个事件选择任何 NSSound 可加载文件(例如 MP3/WAV/AIFF)或选择无声音

转发行为

  • 启用 Voice Wake 时,转录内容转发到活跃的 gateway/agent(与 mac 应用其余部分使用的本地或远程模式相同)。
  • 回复投递到最后使用的主要提供商(WhatsApp/Telegram/Discord/WebChat)。如果投递失败,错误会被记录,运行仍然可通过 WebChat/会话日志查看。

转发负载

  • VoiceWakeForwarder.prefixedTranscript(_:) 在发送前添加机器提示。在唤醒词和按住说话路径之间共享。

快速验证

  • 开启按住说话,按住 Cmd+Fn,说话,松开:覆盖层应显示部分内容然后发送。
  • 按住期间,菜单栏耳朵应保持放大(使用 triggerVoiceEars(ttl:nil));松开后恢复。

基于MIT协议开源 | 内容翻译自 官方文档,同步更新