使用飞桨PaddleHub实现将视频动作转化为皮影戏

一、项目背景

领略千年皮影戏魅力,传承正在消失的艺术, 皮影戏的神奇,在于小小皮影在指尖上飞舞,时而刀光剑影、时而策马扬鞭、时而缠绵悱恻,千军万马是他,单打独斗也是他。皮影戏可谓是闻名中外,它是把光影声色做到极致的一门古老艺术。

先辈门通过手艺演绎着皮影戏,同样我们也可以通过AI方式来实现。为了实现皮影戏,可以通过PaddleHub提供的人体骨骼关键点检测库完成将人体姿态检测,同时映射到皮影身上,让皮影动起来。

二、效果展示

通过PaddleHub完成人体骨骼关键点检测,将人体骨骼关键点进行连接,就可以获取到人体的肢体骨骼,在骨骼肢体上覆盖皮影素材,就可以得到皮影人了。将视频中连续帧进行转换,就可以实现“皮影戏”的效果. 下面我们一起来看一下整体效果吧:

  • 对单张图片的转换,左边是原始图片,通过人体骨骼关键点检测后标注出了关键点位置,右边就是我们实现皮影素材叠加的效果:

  • 在实现单张图片转换之后,我们就可以对视频中的每一帧进行处理,通过视频中的人物运动,让皮影动起来! 我b站上找了一个可爱的小姐姐进行转换(别只看小姐姐哦!),效果如下:

 

NOTE: 如果您在本地运行该项目示例,需要首先安装PaddleHub。如果您在线运行,需要首先fork该项目示例。之后按照该示例操作即可。

三、具体使用

一、安装依赖库以及模型

安装PaddlePaddle

windows cpu版本快速安装

python -m pip install paddlepaddle==2.0.2 -i https://mirror.baidu.com/pypi/simple

安装PaddleHub

pip install PaddleHub

导入人体骨骼关键节点检测模型

hub install human_pose_estimation_resnet50_mpii==1.1.1

二、检测是否安装成功

检测图片骨骼节点

拼接皮影素材

三、让皮影动起来

准备一个含有人体动作视频,视频素材可以到b站舞蹈区进行下载,将代码中的路径更改为相应的视频路径,并新建mp4_img、mp4_img_analysis文件夹存储相关文件。

这一步耗时比较长,主要看个人的电脑配置

四. 总结

在运行代码时,发现只运行三秒就结束了,经过检查发现是版本问题,修改之后,再次运行便成功了。另外,在弘扬优秀传统文化的同时,我从中学习到了AI知识,体会到 PaddleHub 的强大, 可谓一举两得!

 

相关推荐
©️2020 CSDN 皮肤主题: 终极编程指南 设计师:CSDN官方博客 返回首页
实付 9.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值