使用CLIP模型实现视频剪辑

​CLIP全称Constrastive Language-Image Pre-training,是OpenAI推出的采用对比学习的文本-图像预训练模型。可以提供对字符串和图像的tensor求cos,得到某张图片与不同字符串的相似度,从而实现文字与图像匹配。


​首先、我们需要求出视频的关键帧。若第n和第n+1帧的之间有明显差异(指差异大于某个预设值),说明两帧内容有较大变化,因而可以取第n+1帧为关键帧。


​其次,本地部署CLIP模型。部署后对提示词和图像embedding。生成tensor后,对他们求 余弦相似度。由于我使用的模型是输入多个提示词后,输出每个提示词的余弦相似性,且全部词语的相似性之和为1。因而需要预设一个提示词,用来与我们输入的提示词做对比。


​最后,输出相似性。根据相似性对关键帧进行排序,并且找出要截取的视频的起始帧和结束帧。确认起始帧和结束帧之后,使用cv2输出视频。

AI/BI
何沛明 2024年6月27日
分析这篇文章

存档
登录 留下评论
odoo中Model的属性字段