FunClip

FunClip是什么

FunClip是一个开源的、易于使用的视频剪辑工具，它基于阿里巴巴通义语音实验室的开源FunASR Paraformer系列模型进行视频语音识别，然后用户可以根据识别结果自由选择文本片段或说话者，并点击剪辑按钮获得对应的视频剪辑片段。

主要特点

• 开源与本地部署：FunClip完全开源，支持本地部署，用户可以在自己的设备上运行。
• 强大的语音识别模型：集成了阿里巴巴的开源工业级模型Paraformer-Large，这是目前表现最好的开源中文语音识别模型之一。
• 热词定制功能：通过SeACo-Paraformer的热词定制功能，用户可以在语音识别过程中指定某些实体词或名字作为热词，以增强识别结果。
• 说话者识别：整合了CAM++说话者识别模型，用户可以使用自动识别的说话者ID作为剪辑目标，剪辑特定说话者的片段。
• 交互式操作：功能通过Gradio交互实现，安装简单，使用方便。
• 多段自由剪辑：支持多段自由剪辑，并能自动返回完整视频的SRT字幕和目标片段的SRT字幕。
• 支持多种语言：2024年6月12日，FunClip开始支持识别和剪辑英文音频文件。
• 大模型剪辑：2024年5月13日，FunClip v2.0.0版本支持使用大语言模型进行智能剪辑，整合了qwen系列、GPT系列等模型。

主要功能

• 视频语音识别：利用FunASR模型对视频进行语音识别，生成字幕。
• 文本片段选择剪辑：用户可以根据识别结果选择文本片段进行剪辑。
• 说话者剪辑：根据说话者ID剪辑特定说话者的视频片段。
• 大模型辅助剪辑：通过大语言模型对视频内容进行理解，辅助用户进行更智能的剪辑。
• 字幕生成：自动返回完整视频的SRT字幕和目标片段的SRT字幕。

使用示例

• 作为本地Gradio服务使用：用户可以通过运行python funclip/launch.py命令建立自己的FunClip服务，然后访问localhost:7860进行视频上传、文本片段选择、字幕设置等操作。
• 命令行使用：FunClip支持通过命令行进行视频识别和剪辑，例如使用python funclip/videoclipper.py命令进行分阶段的识别和剪辑操作。

总结

FunClip是一个功能强大且易于使用的视频剪辑工具，它结合了先进的语音识别技术和大语言模型，能够帮助用户高效地从视频中剪辑出所需的片段。其开源的特性使得用户可以根据自己的需求进行定制和优化，非常适合需要进行视频内容编辑和处理的个人和企业。