关于AIGC赋能影视创作的思考
作者
戴清，게임 슬롯머신教授、中国文艺评论家协会视听专委会秘书长
复旦大学中文系影视美学系列活动之一“AI艺术实践与未来影像发展”学术论坛，于2024年4月5日举行，本文为我院戴清教授参加此次学术论坛发言，经整理如下：
感谢杨俊蕾教授的邀请，十分荣幸能参加复旦大学中文系影视美学系列活动之一“AI艺术实践与未来影像发展”学术论坛。
没想到俊蕾刚才提到的Professor X竟然是艾伦·图灵先生，由这位人工智能之父致辞，你们这个创意实在太棒了，It's amazing！给我带来很大的冲击。图灵奖是数学、计算机类的诺贝尔奖，以数学天才、人工智能之父图灵之名命名，图灵的一生是传奇的，虽然只活了40多岁，但他对人类的贡献却是极高的，以他热情充沛的致辞开启我们的论坛，实在是既恰当又充满深意的。
“AI艺术实践与未来影像发展”学术论坛海报截图
刚才听俊蕾教授介绍今天的发言顺序是由AI确定的，让我这个第一位发言人稍感心安。起初我以为是因我虚长几岁，让我先发言，颇为诚惶诚恐，因为在AIGC这个领域我实在是一个后学者，在此就自己新近调研、学习的一点心得向各位同行专家和同学们汇报，意在抛砖，以引后续真正专家的真知灼见之玉。AIGC本身是一个新领域，我们大家也都在学习探索中，我不揣冒昧以一孔之见跟大家交流、请教，也请专家和同学们多多批评指正。
AIGC，在虚构生成上具有通用性——文生文、图生图、文生图……具有极大的通用性。这种通用性在目前现实世界人工智能的开发应用中还难以实现，比如人工智能可以在餐厅中穿梭送菜，却离研制出管家保姆这样高级的机器人差得很远；在虚实结合——如人工智能与现实接触的物理界面层面，更是难以达到其通用性，如雷达、监控等人工智能覆盖都有其虚实结合面临的较大局限性。最难的则是完全硬件的开发吧，如芯片，其通用性就完全不可与AIGC虚构生成式的全面开花同日而语，这也是考量AIGC已有成绩的一个基本参照。有玩笑说人们本来指望AI做保姆管家，以便解放人们，有闲暇去写诗画画。没想到正好相反，AI小冰们在艺术创作上一发不可收，而管家保姆的琐碎烦杂工作却仍由人类充任。其原因正是由于管家保姆需要做太多协调衔接的工作。
图片来自网络
AIGC中ChatGPT运用自然语言，现在人们用自然语言就能向 AI提问，不再必须经由程序员的代码指令操控，这是巨大的技术飞跃，当它应用到日常生活中，必将是全面渗透性的。对编剧工作来说，也将成为一个极大的赋能与助力，人机协同、“人爱”（AI）合一将成为新的创作趋势，AIGC不仅能提高工作效率、降低成本，如这句英文所说的：AI-Generated Everything. (AIGX)，也将极大地改变现在、未来几代人的教育模式，这个冲击是前所未有的。畏惧、逃避没有用，只有直面它，像AI一样进行深度学习，当然我们的学习速度肯定赶不上AI，就像人跑不过汽车一样，所以更需要我们了解和把握AI thinking（思维），善于给它提问题，实际上提出问题永远比回答问题更难更重要。
图源：该论坛会务组依照发言题目和嘉宾信息，使用DALL·E生成
同时，作为老师，我们要向学生学习，在对ChatGPT、Sora等AIGC模型、软件的学习把握上，年轻一代更有优势，老师在教学中也要帮助学生去修正、完善和解释AI提供的答案，实际上AIGC带来的变化将挑战教师的传统教学、提问与考核方式。AIGC在认知上有时候是有缺陷的，有学者将其称为“新常人”，即知识渊博，又不时暴露其认知之平庸，同时它也具有创造力智者的一面。它对人们的赋能是一定的，比如《繁花》电视剧播出时，我通过百度开发的国内版ChatGPT4.0——文心一言提问，请GPT进行评论。它啰里哆嗦了一大通，这里我只截取了一小段。从中，我们发现它的话语中相关性很强，但因果性和准确性都很不足，深入细致程度、特色把握都差得较远。但我们不能忽略此时GPT还没有读过原作，也不了解电视剧情节全貌，也就是说它还不占有新的数据和信息——专业大数据语料投喂不足，GPT缺乏训练、深度学习不够，包括它的智能程度还依赖于我这样一个使用者/用户对专业领域的理解程度以及使用AI的深度，显然GPT还有发掘的潜力空间。
AIGC的创造力是令人刮目相看的，它可以给我们启发，帮我们打开一扇窗，进入一个开阔的天地。AIGC的核心竞争力是它强大的学习能力和多样的学习形态，如所谓监督学习、无监督学习、强化学习和深度学习。在此，各类学习，并不是一个个单纯的名词，它意味着不同的算法、算力和大数据。
图片来自网络
AIGC模型包含着众多的子概念和流程环节，如多头自注意力、注意力权重、位置编码……如ppt中列出来的这些名词。作为非技术人员，我们可能不了解其创造机制和数学、计算机原理，但是我们已能够运用这种大语言模型，初步了解其编码器与解码器的功能，包括上千亿 token的作用，以及其奖励模型对AIGC选择性的肯定，以及通过知识库、小样本、思维链的提示，去减少AI给出答案的错误与不确定性。这方面，与围棋比赛中人工智能AlphaGo可以战胜李世石、孔捷等国际高手的辉煌相对比，AlphaGo更带有确定性与单向维度，而AIGC则更倾向不确定和多维度——尤其是复杂叙事的生成。因此AIGC可以为我们的创作赋能，而不会像围棋人工智能AlphaGo那样完胜人类。
图片来自网络
在创作上，编导演负责的是从0到1的策划、创意环节，人的灵感和创造力是第一位的，而从1-N 中的部分则可由AIGC负责实操，同时编导们要不断修正它的错误，有时候GPT也会正儿八经地胡说八道，有时它连影视剧的人物关系都会弄错。你指出来，它会非常谦虚地道歉，但后面可能还是不可避免错误，其实这和它掌握的语料不足有关系。
未来的影视创作中，人机协作是趋势，如编剧团队中有分工，成熟编剧负责提供0到1的策划和创意，年轻编辑则主要承担和AIGC的沟通工作，彼此协作，团队的效率会大大提高。目前GPT4.0版已经能够承担影视剧策划写作剧本之用，较快的话，一天或许能够达到四五万字——即长剧本三集多的体量，如果几个团队同时创作的话，效率多高，大家可以推想。当然，这个前提是编剧、编辑创意沟通水平都很高，对GPT的训练和高质量语料足够多。如果只追求效率，也可能只生产出一堆垃圾。当下ChatGPT的写作方式，有一种被称为“静态计划”模式，即把整个故事线都策划出来，再生成故事，就是说前期的工作很细致很扎实，情节的连贯性和丰富性也就更强。
图片来自网络
实践出真知，面对新事物，最好的学习方法就是去尝试，因此我也进行了一点儿小实践——我不是编剧，只是试着提出一个创意，稍后详谈。
一般而言，ChatGPT在写作、分析剧本方面有很多优长，关键在于编剧需要像程序员一样去了解它的思维特征，ChatGPT需要清晰的要求，也需要细分要求，还需要不断的细化深化、纠错补充，而不是一蹴而就。目前经典叙事结构比如金字塔结构、英雄旅程结构运用得较多。GPT可以针对剧本的人物、情节、结构、节奏、风格等方面进行创作。不仅写作高效率，还可以仿效多种文风，比如它的小说写作，可以模仿马尔克斯、玛格丽特·杜拉斯等作家的语言风格；悬疑推理影视剧创作，可以仿效阿加莎·克里斯蒂戏剧模式，以及变换视角呈现等等，这些都是AIGC的强项。这方面如果由编剧个人来完成会非常耗时费脑。其他流程工作，如制片需要根据某演员档期，集中安排拍摄该演员的戏，可以让人工智能（实际上excel统计也可以部分完成）去统一安排统筹，规划详细到各场戏涉及哪些场景、和其他演员的对手戏等。在管理上、创作上，人工智能的都可能发挥强大作用。
图片来自网络
为了了解、测试AIGC的创作能力，我在文心一言上设计了一个小创意（再次强调，我不是编剧，但我们每天都在看故事、琢磨故事），故事创意围绕影子爱人展开：每个人都有影子，故事当中的主人公——年轻人柳丛的影子是有灵魂的，她无条件地爱着柳丛。最终，影子爱人为了保护柳丛而消失了。从此，柳丛就踏上了对影子爱人的追寻之路。
我告诉AI这个创意后，它很快给我编了一个小故事，真的是让我非常惊喜，也让我对AI刮目相看。因时间有限，这里不祥细复述，只简要举例。
AI设计出一位神秘老者对柳丛进行提点：影子爱人其实是由一个古老魔法生成的。故事因此带有了很强的魔幻色彩。那么柳丛在追寻影子爱人的道路上都发生了什么呢？有怎样的艰难险阻？在这个基础之上，我又进一步给AI提了一些新要求，主要是为了扩充和丰富情节，生成的内容体量做一个微短剧应该够了。如柳丛和影子之间有哪些温馨的过往和微妙的默契？他们之间怎么互动？误解、闹别扭、解除误会之后的甜蜜是怎样的？柳丛后来在追寻影子爱人的路上，又遇到了哪些敌人？敌人当中，有和影子爱人非常相似的邪恶影子。在困扰时柳丛是如何进行辨别的？这方面我想到的其实是《西游记》中的六耳猕猴。最后，柳丛发现影子爱人消逝的真正原因是古老魔法规定的，她的灵魂是有大限的，这样就引向了一个魔幻浪漫主义的悲情结局；在此基础之上，青年和影子爱人之间实际上是自恋性的纳卡索斯情结，可以设计柳丛最终走出内心封闭，与影子爱人的分别成就了他的精神成长，这样故事就带有哲理思辨的色彩了。GPT持续给我带来惊喜，我一个不会编故事的人，在人工智能的协助下，居然创造了一个微短剧，AIGC算不算是给我赋能了呢？
图片来自网络
AIGC又岂止是给编剧赋能，我们说它对影视创作的全流程各环节而言，简直就是个全能助手。比如导演提出整体构思，AIGC可以在角色塑造、地域特色、制景等方面自动生成所需要的图像和模型。当然，当下由于普及性不够、成本高等原因，有些技术虽然能达到了，但成本上却不经济，还是无法全面实现，从未来趋势看，应该有很大的拓展空间和前景。目前在一些大制作中已有相当多的运用。概念图、分镜头的场景绘制、道具设计、舞台设计等工作，Mid journey软件就可以胜任。网上已经能看到非常多的演示，3D建模早就在用AIGC辅助了，比如《流浪地球》系列、《封神》等。后期的智能剪辑工作，字幕、色彩等也都能用AI来完成，刘德华年轻版本换脸换妆，大家都看到了；另外，当下艺人因各类原因导致的舆情风险较高，有AI的辅助，可以大大降低制片方遭遇艺人舆情问题时的损失。
图源：该论坛会务组依照发言题目和嘉宾信息，
使用Mid journey生成
摄影方面，从光化学显影、数字影像到AI助力摄影，这就像是为摄影机安上了透视眼，借助AIGC的预效果图，可以大大降低实际拍摄成本，找到最佳的拍摄方案、角度、造型、光影、色彩，追求最佳效果。当然前提仍然是需要有成熟的摄影师提出方案、通盘把握并了解熟悉Sora运作规律。
图片来自网络
在此我们也推荐一个英伟达深度学习培训中心的信息，经过深度学习（可能需要付费），未来你可能获得更多的职业选择机会。就像互联网给我们带来极大便利和创造力一样，AIGC赋能影视创作，也会有着巨大潜力，就看我们如何去培训和开发它。
同时，作为学术论题，我们也要进行一种延展性的反思。这种反思既是理论性的、文化层面的，也涉及当下的创作实践。首先，AIGC赋能影视创作有没有题材的优势和劣势，值得我们思考。目前AIGC剧本创作带有模板化特点，前面提到的经典叙事结构反复搬用，对ChatGPT的训练还需拓展拓深，充分开掘AIGC深度学习的能力潜力。语料，特别是优质语料需要不断丰富，可以预期AIGC会给我们带来更多惊喜，当然前提仍然依赖人类的高妙策划创意能力。目前，仅模仿经典叙事结构还远远不够，也容易造成创作门槛低、作品量高质低、扁平化发展趋势，会因此造成管理成本高企，这类问题常常与新事物相伴随，也是我们所忧虑的问题。
图片来自网络
其次，目前对AIGC语料的训练，偏重欧美文化内容方面，今后对AIGC的培训、语料投喂应加强中国优秀传统文化的体量分量；当然语料也应更具开放性，而不是因过多禁忌和限制而画地为牢——那样会限制AIGC的能力和潜力，和我们追求的影视创作高质量发展的目标是不匹配的。
再次，应思考，语料是不是无穷无尽的？有研究显示，高质量语料2026年即将耗尽，这个讯息是否准确？以及据说低质量语料将在2030-2050枯竭，低质量图像将在2030-2060枯竭。这些状况应引起我们的注意。目前仅中关村就有几十家公司致力于人工智能大数据集的开发工作，带有对大数据提前布局的意味，由此在发挥大数据优势的同时，开发成本较高是否会造成实际应用时的占有集中？如人们了解的，互联网发展过程就伴随着快速集中化趋势，也让我们不由得联想，人工智能的发展因资本投入更高会不会带来更强的集中趋势？从而阻碍创作平等，这也是我们忧虑的。
图片来自网络
其他问题如AIGC运用与开发中对语料版权的侵权问题，以及当AIGC以人机协同方式参与创作，是不是可以被视为创作主体？当然还有对AIGC道德伦理水平的要求——AI是很容易受语料影响、带偏的，也是容易被教坏的。那么由谁来确定AIGC的语料构成？以及怎么训练AIGC？这些问题可能对国家的文化安全有长久、潜在的影响，也是我们需要关注和思考的。
我的不成熟的思考就汇报到这里，请各位专家和学者们批评指正。
论坛介绍
人工智能（AI）技术的高速发展，引发了广泛关注。近年来，影视行业积极创新，中央广播电视总台联合上海人工智能实验室发布了“央视听媒体大模型”，加强艺术与技术之间的互动实践。复旦大学与阿里云等共同打造智能计算平台CFFF（Computer for the Future at Fudan），是国内高校最大的云上科研智算平台，为研究者开拓前沿课题提供了新的算力支持。面对人工智能时代的新机遇和新挑战，“AI艺术实践与未来影像发展”学术论坛于2024年4月5日举行。为复旦大学中文系影视美学的系列学术活动之一，此次论坛邀请到了国内多家高校的学者代表，共同讨论高新技术转型升级的时代命题，包括：影视中的AI、AI技术应用和未来影像发展。与会专家学者们共同关注艺术与技术的互动融合，思考影像文化的未来走向。
附：关于生成式人工智能
应用于我校在校生学术实践的提醒
同学们需认识使用生成式人工智能等新技术开展毕业论文（设计）的局限性、风险性，包括但不限于生成式人工智能可能产生的信息不准确、缺乏创新性等问题，以及由此可能引发的学术不端风险，
生成式人工智能在毕业创作中的使用规范，应包括但不限于：
（1）不得将人工智能列为成果共同完成人，不得使用生成式人工智能直接生成选题。
（2）遵循相关法律法规及学术规范，依规合理使用生成式人工智能处理文字、数据或学术图像，防范伪造、篡改数据等风险。
（3）不得直接使用未经核实的由生成式人工智能生成的参考文献。
（4）须明确披露是否使用生成式人工智能（情况说明表有相应模板，点击原文可下载）。如使用，须详述使用方式、细节，包括模型/软件/工具名称、版本及使用时间。涉及事实和观点引证的辅助生成内容，须明确说明其生成过程，并同时在毕业论文（设计）相应位置具体标注，确保真实准确和尊重他人知识产权。
（5）如同学在“情况说明表”中未按照实际情况予以说明，视为违规行为，应给予相应惩处。
转载自“中传戏文”公众号
