自动生成电影和其他视频的漫画书籍的系统

在过去的几年里，计算机科学家们创造了许多可以自动生成文本，图像和其他类型的数据的计算技术。这些模型是非常有利的，特别是用于创建数据或创造性的作品，这些作品要求对人类生产的人类产生苛刻和耗时。中国和香港城市大学大连工业大学的研究人员最近创造了一种创新框架，可以自动产生漫画漫画书籍，这些书通常由高技能专业的专业艺术家设计并需要大量的工作。他们的框架介绍了在Arxiv上发布的文件中，通过从电视剧，电影，动画或其他视频中提取数据来创建漫画书籍。

＆＃34;我们提出了一个完全自动的系统，用于从没有任何人为干预的视频生成漫画书籍，＆＃34;研究人员用纸写着。 ＆＃34;给定输入视频以及其字幕，我们的方法首先通过分析字幕并在漫画风格图像中程式化关键帧来提取信息关键帧。＆＃34;

在从视频中提取关键帧并将其转换为漫画风格的图像后，设计人员设计的系统使用多页布局框架来传播跨几页的图像，并创建视觉上吸引人的布局，反映图像之间的关系。

而不是始终使用相同类型的语音气球，如大多数其他漫画生成框架，研究人员创建的框架产生了不同类型的气球，反映了由角色传达的情绪＆＃39;为此，它首先尝试通过分析视频＆＃39; S音频轨道和相应的字幕来掌握对对话的不同线路传达的情绪。

由模型创建的对话框的形状和它们中包含的单词的大小因字符传达的情绪而异。这显着提高了整体漫画读取体验，生产更多的接合布局，反映了不同角色之间的对话的内容。

系统生成的语音气球与正在说话的字符相邻放置。为此，该模型首先在视频中检测不同的扬声器，然后将语音气球放置在接近时与它们所表达的情绪对齐。

研究人员在一系列实验中评估了它们的系统，评估其各个模块，并比较它产生的漫画的质量与其他现有技术生成的那些，以将视频转化为漫画书籍。该系统用于基于16部电影和系列提取的16个视频剪辑来生成漫画：＆＃34;泰坦尼克号，＆＃34; ＆＃34;消息，＆＃34; ＆＃34;朋友＆＃34;和＃34;在空中。＆＃34;这些录像线在两到六分钟之间。

该团队要求一群人评估其模型产生的漫画的整体质量，与替代漫画制度产生的那些相比。占据这项研究的绝大多数用户称，他们更喜欢研究人员创造的布局;模型到由先前开发系统创建的模型。

＆＃34;我们的实验表明，我们的系统可以与最先进的漫画制度（＆＃34）相比综合更有表现力和接合的漫画;研究人员用纸写着。 ＆＃34;虽然我们的系统已被证明实现了有希望的结果，但它仍然存在几个限制。例如，关键帧选择不够准确。在某些情况下，所选关键帧彼此相似，这肯定会将冗余引入生成的漫画。＆＃34;

一旦它完善，这支学士开发的漫画生成系统可用于自动创建基于电影，电视剧或其他视频内容的吸引漫画书籍。在下一张研究中，研究人员计划开发一个替代模块，用于关键帧选择，因为这可以提高其系统产生的布局的质量并降低关键帧冗余。

＆＃34;更多，由许多现有方法启发，可以通过多个句子给出一个故事来生成图像序列的启发，可以从文本故事中生成，我们有兴趣扩展我们的方法来利用文本信息来帮助生成漫画，＆＃34;研究人员在他们的论文中得出结论。更多信息：自动漫画生成具有风格多页布局和情感驱动的文本气球一代。 arxiv：2101.11111 [cs.cv]。 Arxiv.org/abs/2101.11111

引文：自动从电影和其他视频（2021,2月18日）自动生成漫画书籍（2021年2月18日）从https://techxplore.com/news/2021-02-automicaload-comovies-videos.html

本文件受版权保护。除了私人学习或研究目的的任何公平交易外，没有书面许可，没有任何部分。内容仅供参考。