MOSS-Transcribe-Diarize部署最佳实践从本地开发到生产环境的完整方案【免费下载链接】MOSS-Transcribe-Diarize项目地址: https://ai.gitcode.com/hf_mirrors/OpenMOSS-Team/MOSS-Transcribe-DiarizeMOSS-Transcribe-Diarize是一个端到端的长音频多说话人转录与说话人分离模型能够将真实世界的长音频转换为结构化、说话人感知的转录文本。作为一款功能强大的音频理解模型它能够在一个流程中完成语音转录、说话人分离、时间戳标注和声学事件识别特别适合会议、通话、播客、访谈、讲座等场景。本指南将为您提供从本地开发环境搭建到生产环境部署的完整解决方案。 环境配置与快速入门创建Python虚拟环境首先您需要创建一个干净的Python环境来确保依赖隔离。推荐使用Conda或venvconda create -n moss-transcribe-diarize python3.12 -y conda activate moss-transcribe-diarize安装核心依赖由于MOSS-Transcribe-Diarize使用了自定义的Transformers代码您需要通过trust_remote_codeTrue参数加载模型和处理器git clone https://gitcode.com/hf_mirrors/OpenMOSS-Team/MOSS-Transcribe-Diarize.git cd MOSS-Transcribe-Diarize pip install --index-url https://download.pytorch.org/whl/cu128 torch torchaudio pip install -e .GitHub包提供了音频/视频加载、转录消息构建、转录解析、CLI推理和字幕Web应用等实用工具。模型权重和远程代码模型文件将从Hugging Face仓库加载。 本地开发环境配置Python基础用法在本地开发环境中您可以直接使用Python API进行音频转录import torch from transformers import AutoModelForCausalLM, AutoProcessor from moss_transcribe_diarize import parse_transcript from moss_transcribe_diarize.inference_utils import ( build_transcription_messages, generate_transcription, resolve_device, ) model_id OpenMOSS-Team/MOSS-Transcribe-Diarize audio_path audio.wav device resolve_device(auto) dtype torch.bfloat16 if device.type cuda else torch.float32 model AutoModelForCausalLM.from_pretrained( model_id, trust_remote_codeTrue, dtypeauto, ).to(dtypedtype).to(device).eval() processor AutoProcessor.from_pretrained( model_id, trust_remote_codeTrue, ) messages build_transcription_messages(audio_path) result generate_transcription( model, processor, messages, max_new_tokens2048, do_sampleFalse, devicedevice, dtypedtype, ) print(result[text]) for segment in parse_transcript(result[text]): print(segment.start, segment.end, segment.speaker, segment.text)模型架构解析MOSS-Transcribe-Diarize 0.9B采用创新的架构设计结合了Qwen3-0.6B风格的因果解码器作为文本主干以及Whisper-Medium编码器配置作为音频编码器。音频前端使用WhisperFeatureExtractor支持16 kHz采样率、80个梅尔频带和30秒的音频块处理。组件规格说明文本主干Qwen3-0.6B风格因果解码器音频编码器Whisper-Medium编码器配置音频前端WhisperFeatureExtractor, 16 kHz, 80梅尔频带, 30秒块音频-文本桥接4x时间合并 MLP适配器融合方式音频特征通过masked_scatter替换|audio_pad|嵌入输出格式紧凑的[开始时间][Sxx]文本[结束时间]转录带说话人标签 生产环境部署方案vLLM服务部署对于生产环境推荐使用vLLM进行高性能服务部署。MOSS-Transcribe-Diarize支持通过OpenAI兼容的转录API进行vLLM服务uv pip install -U vllm \ --torch-backendauto \ --extra-index-url https://wheels.vllm.ai/68b4a1d582818e67adc903bf1b8fc5a5447da2fa/cu129启动服务vllm serve OpenMOSS-Team/MOSS-Transcribe-Diarize --trust-remote-code使用API进行转录curl http://localhost:8000/v1/audio/transcriptions \ -F modelOpenMOSS-Team/MOSS-Transcribe-Diarize \ -F fileaudio.wav \ -F response_formatjson \ -F temperature0SGLang Omni服务部署SGLang Omni是MOSS-Transcribe-Diarize推荐的部署方式通过OpenAI兼容的/v1/audio/transcriptions端点提供服务hf download OpenMOSS-Team/MOSS-Transcribe-Diarize sgl-omni serve \ --model-path OpenMOSS-Team/MOSS-Transcribe-Diarize \ --port 8000 \ --max-running-requests 16 \ --cuda-graph-max-bs 16 \ --mem-fraction-static 0.80对于需要解析说话人分段的场景使用response_formatverbose_json参数curl -X POST http://localhost:8000/v1/audio/transcriptions \ -F modelOpenMOSS-Team/MOSS-Transcribe-Diarize \ -F fileaudio.wav \ -F response_formatverbose_json性能优化配置根据实际使用场景调整参数以获得最佳性能参数类型默认值描述file文件必填作为多部分表单数据上传的音频文件model字符串服务器默认模型标识符language字符串未设置可选的语言提示response_format字符串jsonjson、verbose_json或texttemperature浮点数模型默认(0.0)采样温度max_new_tokens整数5120最大生成标记数对于长音频可提高例如65536prompt字符串未设置可选的指令覆盖省略以使用内置的转录说话人分离提示 性能基准测试MOSS-Transcribe-Diarize在多个数据集上表现出色特别是在说话人分离准确性方面数据集CER↓cpCER↓Δcp↓AISHELL-413.7814.020.24Alimeeting18.2213.94-4.27Podcast4.466.972.51Movies5.8611.785.92生产环境性能指标在单H100 GPU上的性能表现短序列ASR任务movies| 并发数 | 吞吐量请求/秒 | 平均延迟秒 | RTF均值 | 音频秒/秒 | |---|---|---|---|---| | 1 | 2.57 | 0.388 | 0.0612 | 29.76 | | 8 | 6.80 | 0.533 | 0.0810 | 78.70 | | 16 | 7.08 | 0.659 | 0.0922 | 81.98 |长序列ASR任务aishell4_long| 并发数 | 吞吐量请求/秒 | 平均延迟秒 | RTF均值 | 音频秒/秒 | |---|---|---|---|---| | 1 | 0.022 | 45.2 | 0.0197 | 50.64 | | 8 | 0.040 | 172.6 | 0.0754 | 90.62 | | 16 | 0.043 | 282.8 | 0.1237 | 98.83 | 高级功能配置自定义提示词与热词MOSS-Transcribe-Diarize支持自定义转录提示词默认提示词已针对时间戳转录和说话人分离进行了优化请将音频转写为文本每一段需以起始时间戳和说话人编号[S01]、[S02]、[S03]…开头正文为对应的语音内容并在段末标注结束时间戳以清晰标明该段语音范围。要添加热词可在默认提示词后附加简短提示请将音频转写为文本每一段需以起始时间戳和说话人编号[S01]、[S02]、[S03]…开头正文为对应的语音内容并在段末标注结束时间戳以清晰标明该段语音范围。热词提示热词1, 热词2, 热词3字幕Web应用项目包含一个本地字幕工作流支持上传、审阅、字幕导出和可选的FFmpeg烧录mtd-subtitle-web \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --host 127.0.0.1 \ --port 7860访问http://127.0.0.1:7860上传音频/视频文件审阅解析的字幕分段然后下载JSON/SRT/ASS格式或使用ffmpeg烧录MP4。批处理配置对于批量处理需求mtd-subtitle /path/to/input.mp4 \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --out-dir runs/example \ --render 输出格式详解MOSS-Transcribe-Diarize的标准输出格式为[start_time][Sxx]transcribed speech[end_time]示例输出[0.48][S01]Welcome everyone[1.66][12.26][S02]The new transcription pipeline is ready for evaluation[13.81][14.36][S01]Great, include the diarization results in the report[18.76]在这个格式中start_time和end_time是以秒为单位的时间戳[S01]、[S02]等标签是模型生成的匿名说话人标签说话人标签是输入音频中的相对标签不应解释为真实的说话人身份 故障排除与优化建议常见问题解决内存不足错误减小max_new_tokens参数或使用更小的批次大小转录质量不佳确保音频质量良好尝试调整温度参数说话人分离错误检查音频中说话人之间的静音间隔是否足够性能优化技巧对于长音频文件适当增加max_new_tokens参数以确保完整转录在生产环境中使用GPU加速确保CUDA版本兼容使用批处理功能提高吞吐量特别是在处理多个短音频文件时监控与日志建议在生产环境中实施以下监控措施记录每个请求的处理时间和资源使用情况设置错误率和延迟的警报阈值定期检查模型输出质量确保转录准确性通过遵循这些部署最佳实践您可以确保MOSS-Transcribe-Diarize在从开发到生产的各个阶段都能稳定高效地运行为您的音频处理需求提供可靠的转录和说话人分离服务。【免费下载链接】MOSS-Transcribe-Diarize项目地址: https://ai.gitcode.com/hf_mirrors/OpenMOSS-Team/MOSS-Transcribe-Diarize创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
