Seamless M4T 是由 Facebook AI Research 开发的基础多语言和多任务模型,最新版本是 Seamless M4T-v2,于 2023 年 11 月 30 日发布。
该 AI 翻译模型支持语音识别、语音转文本翻译、语音转语音翻译、文本转文本翻译、文本转文本翻译、文本转语音翻译,支持近 100 种输入语言和 35 种(+英语)输出语言。
Seamless M4T 仅适用于 Linux x86-64 和 macOS,因为先决条件之一的 fairseq2 不对 Windows 的本机支持。如果您是 Windows 用户,则可以通过适用于 Linux 的 Windows 子系统 (WSL) 安装 fairseq2
由于模型的复杂性和对资源的高需求,以下是推荐的硬件规格:
docker pull python:3.10
docker run --privileged -itd --gpus all --name m4tv2 -e CHECKPOINTS_PATH="/root/models" -e GRADIO_SERVER_NAME="0.0.0.0" -p 7860:7860 python:3.10.18
docker exec -it m4tv2 bash
python -V
# Python 3.10.18 should 3.10+
python -m pip install --upgrade pip
pip -V
# pip 24.0 from /usr/local/lib/python3.10/site-packages/pip (python 3.10)