最近一直在开发“林羽凡笔记”的多Agent协作系统，在语音Agent中用到了第三方平台的ASR和TTS。

这个是要花钱的，我在想能不能本地也部署一个，就可以随时使用ASR和TTS了。

大概搜了几个，最终选择了faster-whisper和moss-tts。

faster-whisper的语音识别速度可以，就是准确度差点意思。

moss-tts可以学习指定的声音，使用指定声音合成语音。

一、安装基础环境

这里我安装了最新的Nvidia cuda 13.3的版本，但faster-whisper要求是12的版本，后面我又降了版本。

按着安装了一个多媒体处理组件（非常出名的FFMPEG），后续可以对音频进行本地处理。

二、测试效果

1、faster-whisper语音识别

faster-whisper的语音识别还行，我把昨天录的一个视频的音频识别了下，基本上还行。有一些专业词识别不怎么准确，其他的还行。

网页版的基本上也没有问题。

2、MOSS-TTS-Nano

这个不要看模型小，但是对我的声音克隆非常强，感觉基本上不输一些大模型的能力。

实测非常nice，我想想看怎么接入到“林羽凡笔记”系统中。