🎵AudioCodecBench 使用文档

飞书用户9639

9月21日修改

使用文档包含五部分，分别为环境搭建、用户指南、进阶指南、数据集下载、部分数据集脚本使用。​

1、环境搭建：快速搭建虚拟环境，拉取项目，下载依赖。

2、用户指南：包含重建任务、ID敏感性、困惑度(PPL)和探针probe快速使用教程。重建任务用来评估编解码器的音频重建保真度、ID敏感性任务用来评估码本ID的稳定性、困惑度(PPL)任务探究不同 token 序列对LMs建模的影响、探针probe任务评估表征在下游任务的表现。​

3、进阶指南：用户可根据该部分添加自己的codec来进行任务测试，该部分包括添加和初始化codec、ppl的config脚本配置以及下游任务config配置以及相关数据集配置使用等。​

4、数据集下载：benchmark相关数据集经过处理开源在huggingface，下载地址：https://huggingface.co/datasets/LeBeGut/AudioCodecBench

5、数据集脚本使用：由于部分数据集较大，仓库存储空间有限，我们提供了完善的数据集处理脚本，见该章具体路径，使用说明在代码注释中给出。​

环境搭建

下面讲解如何快速创建所需环境并安装codec_evaluation使用。

创建环境和依赖关系

我们强烈建议使用conda来管理Python环境。

•
使用conda创建虚拟环境​

代码块

 # 使用 conda 创建虚拟环境​
 conda create -n codec_eval python==3.10 -y        # 建议使用 Python ==3.10​
 conda activate codec_eval​

•
从源代码安装codec_evaluation​

代码块

 git clone https://github.com/wuzhiyue111/Codec-Evaluation.git​
 cd Codec-Evaluation​
 bash env_build.sh​

用户指南

重建任务

Music数据集

导航到Codec_Evaluation/codec_evaluation/reconstruction_eval目录，运行以下指令：​

代码块

codec_eval_reconstruction_music \​
    --codec_name <modelname> \# 初始化编解码器模型 e.g., dac, encodec ...​
    --model_ckpt_dir </path/to/your/codec_model_weight> \# codec模型ckpt路径​
    --device cuda:0 \​
    --sample_rate 22050 \# 数据集音频采样率​
    --dataset_path </path/to/your/.arrow> \# 使用脚本获取的huggingface数据集的路径。​
    --batch_size 24 \​
    --num_workers 8 \​
    --mode reconstruct \​
    --use_vocos False           # 解码后是否使用 Vocos 对音频进行后处理。​

Speech数据集

导航到Codec_Evaluation/codec_evaluation/reconstruction_eval目录，运行以下指令：​

代码块

codec_eval_reconstruction_speech \​
    --codec_name <modelname> \# 初始化编解码器模型 e.g., dac, encodec ...​
    --model_ckpt_dir </path/to/your/codec_model_weight> \# codec模型ckpt路径​
    --device cuda:0 \​
    --sample_rate 24000 \# 数据集音频采样率​
    --asr_model_path_or_name </path/to/your/asr_model> \# 用于评估的预训练 ASR 模型的路径。​
    --dataset_path </path/to/your/.arrow> \# 使用脚本获取的huggingface数据集的路径。​
    --base_audio_dir </path/to/your/audio> \# 存放原始音频文件的根目录（用于拼接完整的音频路径）​
    --batch_size 24 \​
    --num_workers 8 \​
    --use_vocos False \# 解码后是否使用 Vocos 对音频进行后处理。​
    --wav2vec_model_path_or_name </path/to/your/wav2vec_model>    # 用于评估的预训练 wav2vec 模型的路径。​

ID敏感性

困惑度(PPL)

探针任务

进阶指南

🎵AudioCodecBench 使用文档​

🎵AudioCodecBench 使用文档