中国青年网北京9月25日电(记者 孙丹丹)“虎鲸文娱与通义万相协同研发的AI影视大模型系列,已覆盖‘前期创意—中期拍摄—后期制作’全流程,助力主创团队推出更优质内容。”9月25日,在杭州举办的云栖大会AIGC创新发展论坛上,虎鲸文娱集团AI影视工业化算法负责人镜一,首次对外介绍目前虎鲸文娱在AI影视大模型中的技术进展。
据了解,虎鲸文娱的这套AI影视大模型,包括运镜模型 CameraWeaver、无穿戴AI面部动捕技术、AI表情增强等技术上的突破,能够帮助影视主创团队在创意阶段快速落地分镜构想、拍摄期间高效生成3D场景、动漫后期制作自动模拟优化微表情。
(虎鲸文娱的 AI 影视大模型系列,已覆盖“前期创意—中期拍摄—后期制作”全流程)
在影视行业的内容创意阶段,主创团队通常需要用语言描述结合手绘的方式将预想中的场景画面呈现出来,往往耗费较多时间。“尽管目前市面上已有多个文生图模型能够相对精细地生成图片,但在主创更关注的景别、构图视角等方面仍无法达到要求。”镜一说,针对这一难题,虎鲸文娱研发的“影视级文生图”大模型,区别于市面通用模型追求“视觉发散”,在影视级要求的精准控制上做了针对性调试,精准解决了主创“创意画面难落地”的行业痛点。“我们希望模型能够精准执行主创团队的文字指令,所以对模型在景别、构图、视角、空间关系等维度设置了严苛的标准,从而精准还原创作意图,形成帮助主创的可视化参考,大幅提升前期沟通与分镜效率。“镜一表示。
(虎鲸文娱研发的“影视级文生图”大模型)
镜一介绍,在中期拍摄阶段,虎鲸文娱研发了图生3D场景技术模型,可支持快速生成多机位分镜参考图。主创若想查看其他视角的分镜效果,无需重新绘制2D分镜或搭建3D场景,模型能基于单张图片重构3D空间,同步生成多视角画面,还支持任意角度推拉摇移运镜,帮助主创快速确认空间布局。
相较传统方法需数周搭建的UE虚拟场景,该技术模型2分钟内即可生成高精度3D空间场景,实现数百倍效率跃升,且空间透视零误差,满足影视工业严苛标准,目前已应用于内部项目的分镜与虚拟拍摄预演协同。镜一透露,此前在内部测试时,该模型在WorldScore的分数已经成为榜单第一。
在后期层面,虎鲸文娱针对动漫还推出了无穿戴面捕+AI精雕创新方案,弥补了面部设备无法捕捉微表情的缺陷。该方案通过自研表情生成模型,能够精准还原补全演员微表情与口型细节。“我们把过去可能需要动画师花费几周手K(动画师手动调整关键帧)的工作,升级为通过表情生成模型自动生成微表情,而且质量达到了影视级标准。”镜一介绍,有了该模型之后,手K修帧效率大幅提高,并且该技术已在今年上半年成功应用于项目中,成为提升微表情精度与制作效率的关键工具。
(虎鲸文娱的无穿戴面捕+AI 精雕创新方案)
“AI不是替代创作者,而是解放创作者。”镜一表示,“虎鲸文娱的目标,是让创作者从繁琐技术中抽身,专注故事本身——正如计算器没有替代会计,AI也不会替代导演,而是将成为创作者的好帮手,共同为观众打造更优质的内容。”