当前位置:首页 > 编程开发 > 正文

Haru-4B 开源全双工语音:65ms 漏算 133ms

约 4719 字 · 预计阅读 12 分钟
一句话总结:higurashi 以 Apache 2.0 开源全双工语音模型 Haru-4B,5.27B 参数,12GB 显存能跑。官方 65.2ms 延迟不含 133ms 分帧等待,全算上 198.2ms,和两年前 Moshi 打平。它真正改的是架构,不是速度。

11 月中旬放出的权重,Apache 2.0,部分组件 MIT,上 Hugging Face 后冲到全品类热门第一。参数 5.27B,BF16 检查点约 10.5GB,底座 Qwen3.5-4B,Apple Silicon 走原生 MLX,服务端是 vLLM-Omni 插件。先说那个被到处转的数字:MacBook 上 65 毫秒。

65.2ms 是在什么条件下测的

条件写得很细:M1 Max、int8 权重、自家 Metal 内核的 Swift 原生应用、有线麦克风和耳机。中位数 65.2 毫秒,正负 1.5。

分项是麦克风进应用 5.3、模型单步 34.2、socket 传输 4.1,合计 43.6 毫秒。65.2 减 43.6 剩 21.6,花在音频编解码上——官方分解表没单列,是我按差值推的。这笔账几分钟就能自己复算:

mics, infer, sock = 5.3, 34.2, 4.1        # 官方分项,M1 Max / int8
frame = 1000 / 7.5                        # 7.5Hz,一帧 133.3ms

seen  = 65.2                              # 官方口径(p50,±1.5)
codec = seen - (mics + infer + sock)      # 21.6:官方未单列,按差值反推
full  = seen + frame                      # 198.5,报道写 198.2 是取整差

print(round(codec, 1), round(full, 1))    # 21.6  198.5
print(int(7.5 * 60 * 10))                 # 4500,十分钟对话的前向次数
print(round((12.5 - 7.5) / 12.5, 2))      # 0.4,对比 Moshi 的步数差

所以它成立的前提是一整套特定配置。换蓝牙耳机或走公网,加减几十毫秒很正常。

漏掉的 133ms,是分帧

模型按 7.5Hz 处理音频:每 133 毫秒收一帧、出一帧。这意味着最坏情况光等凑满一帧,就要多 133 毫秒。

官方博客自己提示了:最大 133 毫秒的算法延迟没算进 65.2。韩国一家媒体补上这一项,得 198.2。加法不是官方做的,算式就是 65.2 + 133。

Haru-4B 开源全双工语音:65ms 漏算 133ms

图 1:65.2 是前五项之和,第六项 133 没进官方口径

同一套东西因此有两个数:宣传用 65,排期得用 198。

198ms 和 Moshi 打平,但步数少四成

Moshi 是法国 Kyutai 2024 年开的全双工模型,论文写理论延迟 160 毫秒,实测约 200 毫秒。Haru 的 198.2 落在同一档。

两年过去端到端延迟没动。变的是算力效率:Moshi 每秒生成 12.5 帧,Haru 只生成 7.5 帧,同样一秒语音前向步数少 40%。

代价也直接:帧率低,响应粒度就粗。133 毫秒一格,意味着它判断"你说完没说完"的最小单位是 133 毫秒。人说话的自然停顿常在 200 毫秒上下,勉强够用,谈不上精细。

B300 上一步约 15 毫秒,换硬件能压 20 毫秒;但 133 毫秒的分帧由架构决定,换卡压不掉。

三个流怎么塞进同一个位置

全双工的老做法是两路,用户一路、模型一路。Haru 加到三路,相加而不是拼接,也不是轮流:

# 三流合一(结构示意,非官方源码)
frame = 1000 / 7.5
for chunk in mic.read(frame):                        # 每帧 133ms 用户音频
    u = enc_audio(chunk)                              # 64 维连续 latent
    h = proj_u(u) + proj_a(a_prev) + proj_t(t_prev)   # 三路逐元素相加
    out = model.step(h)                               # 一次前向,32 层
    a_next, t_next = out.audio, out.text
    spk.write(decode(a_next))                         # 同帧就出声

一路是用户这 133 毫秒的音频,一路是模型要输出的音频,一路是模型要输出的文本。三路各自投影后逐元素相加,压进同一个位置,一次前向同时出音频和字。

音频不走离散码本。因果的 VibeVoice 分词器把 24kHz 音频每 3200 采样点压成一个 64 维连续 latent,仍是 7.5Hz;写帧的是 4 层 MLP 头,flow matching 训练、MeanFlow 蒸馏,一步采样。

文本按块和音频对齐。官方说这样能缓解灾难性遗忘——纯音频训练会把语言能力磨掉,得拿文本锚住。

代价在容量:三股流共用一个 32 层、hidden 2560 的底座,每层都要同时编码"在听什么""在说什么""要说什么字"。好处是听与说真并行,坏处是文本能力被摊薄,这也是它只能算基座的原因之一。

推理侧还有一笔隐性成本:每 133 毫秒一次前向,十分钟对话就是 4500 次,KV cache 随对话线性涨。这跟 128K 上下文那笔 KV cache 账是同一个道理。

4000 万小时,合成对话全剔掉

训练数据是这篇最不像"堆参数"的地方:4000 万小时真实语音,覆盖 160 多种语言,约合 4566 年。

关键在剔掉了什么:LLM 生成的对话文本、TTS 生成的语音全部排除。目的很明确——不让模型学"AI 腔",只学真人怎么停顿、插话、笑。

双人对话不够用,他们造了 FastDialogueSidon 生成 1300 万小时分离对话,约 1484 年,底料仍是真人。算力账:256 张 B200,Megatron-LM,约 8 天。九种主要语言是英、西、葡、德、法、中、日、俄、韩。

我的判断是,数据策略比 5.27B 参数更值钱。全双工要学的是"重叠"——两个人同时出声时谁让谁,这东西没法靠调 prompt 得到。

12GB 能跑,但它还不是助手

体量友好:BF16 权重 10.5GB,12GB 卡刚好塞进去,余量不大;转 int8 还能再省,误差和 0.8B 那次量化实测同类。对比才知道多罕见:LongCat-2.5 要 745GiB 显存才起得来。消费级显卡跑全双工语音,此前没有过。

但定位写得很清楚:research release,预训练基座,公开的性能只有延迟,没有对话质量评测。"像人一样插话、会笑"目前只有演示。体验入口倒特别:官方开了两个日本号码,050-5444-3154 男声、050-5444-3155 女声,打过去直接对话。

我把它归到基础设施型发布。全双工真正的门槛从来不是延迟,198 毫秒两年前就有人做到;难的是被打断之后怎么接——接得对不对、会不会抢话、冷场了怎么续。这三件事要靠后训练和评测集,这次一件没给。

Haru-4B 开源全双工语音:65ms 漏算 133ms

图 2:65.2 是露出水面的那一角

所以现在能说的是:底座能跑,延时账算得清,剩下的留给下一版。

FAQ

Q:65ms 是虚标吗?

不算。条件写得很清楚,但它不含最多 133ms 的分帧等待,全算上 198ms。引用时最好两个数一起给。

Q:中文能用吗?

中文在九种主要语言里,训练数据也覆盖。但它是预训练基座,没做中文对话后训练,直接当中文语音助手会不稳。

Q:能替代现在的语音助手吗?

暂时不能。没有工具调用、没有后训练、没有对话质量评测,更适合当研究底座和微调起点。

参考资料

  1. AI/TLDR · Haru-4B:higurashi 的开源全双工语音模型(参数量、架构、训练数据、延迟分项)
  2. GIGAZINE · 日语实时对话 AI「Haru-4B」开放模型公开(2026-11-16,电话演示与官方发布)
  3. 다대구 · 全双工语音 AI Haru-4B,65ms 应答(2026-11-15,加入 133ms 得 198.2ms 与 Moshi 对照)
  4. Shiritomo · higurashi 公开全双工语音模型 Haru 4B(2026-11-14,Apache 2.0 与体验方式)

核验方式:参数、底座、架构、三流相加、分词器、4000 万小时与 1300 万小时、256 张 B200 训 8 天,取自 AI/TLDR 规格表;延迟分项与 M1 Max 条件同源;133ms 分帧、198.2ms 加法、Moshi 的 160 / 200ms 与 12.5Hz 取自다대구;电话与 Apache 2.0 取自 GIGAZINE 和 Shiritomo。43.6、21.6、4566 年、1484 年、4500 次、40%,都是我用披露数字直接算的。

目录导航
  • 65.2ms 是在什么条件下测的
  • 漏掉的 133ms,是分帧
  • 198ms 和 Moshi 打平,但步数少四成
  • 三个流怎么塞进同一个位置
  • 4000 万小时,合成对话全剔掉
  • 12GB 能跑,但它还不是助手
    • FAQ
    • 参考资料
  • 相关文章:

  • Kimi K3 开源 2.8 万亿:激活只占 3.7%
  • 125B 塞进 12GB:45.5 tok/s 卡在内存
  • 全双工语音两条路:12GB 198ms,80GB 448ms
  • Qwen3.8-27B 要多少显存:24GB 卡装下什么
  • 开源大模型 89% 支出流向中国:用量涨了钱没涨
  • Ripple-65B 单机部署:Q4 权重 36.3G,24G 卡差 12G
  • Gemma 4 五档本地选型:24G 卡跑 31B,上下文只剩 26K
  • ERNIE-5.5-Flash-Base:280B 的纯基座,下载了不能直接聊
  • 发表评论

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。