摄制自然历史节目的一个主要问题是“明星们”不会听从摄制组的指导。当节目开始时,试着让一只獾恰好在这个时候出现,或者让一只鸟哺喂幼鸟,你就会明白其中的困难了。然而,观众想看到的正是这些主角。观众感兴趣的如BBC的《春日观察》和《秋日观察》等节目就证明了这一点。
当然,所谓的“摄像机陷阱”(只有动物触发传感器才会启动的摄像机)早已有了。基本上,这些摄像机都装有运动传感器,当检测到动作时,摄像机就开始拍摄。然而,这个动作可能是背景中摇动的一棵树,而这可能意味着存储卡充满了树枝摇动的镜头,但几乎没有野生动物的迹象。
除此之外,还要花很多时间检查30台以上的《春日观察》摄像机的镜头,以确定哪些可以使用,哪些不能使用。
利用技术
为了让自然历史摄制组的工作更轻松一些,BBC研发团队一直在开发解决方案。它涉及人工智能(AI)和机器学习(ML)。2019年的《春日观察》和《秋日观察》制作期间进行了试验,该技术在今年的节目中得到了更全面的应用。
“前些时,一位自然历史制作人找到我们,我们参与了这个项目,”BBC研发部高级研究工程师罗伯特·道斯解释说,“他要求我们研究AI技术,看看如何才能提高这些传感器的性能,更有效地利用这些资源。”
道斯继续说道:“我们使用计算机视觉处理技术做了一些初步的人工智能工作。这包括搭建一个连接在小型树莓派电脑上的摄像机的支架。这台电脑持续监视摄像机的输出,使我们能够确定镜头中鸟或动物何时出现。通过使用计算机视觉技术,我们能够过滤掉不必要的触发物,如摇动的树。但是由于ML没有参与进来,它仍然没有告诉我们有什么种类的动物或鸟类在那里。”
显然,需要的远不止这些。当研发团队参与到《春日观察》的操作时,这提供了他们一直在寻找的机会。通过将本地的野生动物摄像机连接到转播设备上,立即获得了电力。这为使用高性能计算机技术帮助实现监视目的提供了可能性。
“我们想创建一个可以同时注意多台摄像机的工具系统。此要求相当复杂,并且需要一种触发记录的方法。这不仅对现场节目制作团队有帮助,对观众可以在家里每天24小时观看摄像机信号的数字输出也有帮助。”
结果是道斯和他的团队设计的解决方案不仅适用于BBC摄像机,而且适用于由第三方野生动物团队(如皇家鸟类保护协会)操作的在英国各地的摄像机。“我们的解决方法不需要有人持续不断监视所有这些摄像机。
那么,它是如何工作的?
道斯解释说,使用了一个叫做YOLO(你只看一次)的开源机器学习框架网络。“这项技术使系统能够识别物体。例如,如果在办公室使用,它可以被教会识别椅子、监视器、冰箱或一个人。在自然历史应用中,我们可以教它识别不同类型的生物,然后在那个物体周围设置一个框。一旦这框就位,就有可能追踪动物、鸟或任何在屏幕周围上游荡的任何东西的位置。”
为了使系统能够“学习”这些动物,将有关动物的多种静态照片输入计算机。因为系统从许多不同的角度识别研究对象是很重要的,所以这些过程还可能遇上达到数千次。计算机利用这些图像训练一个大致模仿大脑结构的被称为“神经网络”的系统以识别那些物体的样貌。这是机器学习的一个很好的例子。当该系统“看到”一个它识别为动物的物体时,它会在现场视频上实时跟踪该动物。这种设置意味着摄像机镜头里移动的是正被跟踪的动物,而不是其它东西。换句话说,制作方可以从知道“在现场中发生了什么事”发展到“有动物进入现场”。
在每种情况下,导入所有这些基本数据来训练神经网络都要花费3天的时间。“一个好处是,所有这些都可以在一台功能强大的家用PC上执行,不需要一个价值百万美元的系统,”道斯强调,“这也意味着,当环境发生变化时,很容易改变系统需要识别的画面。显然,如果这个过程需要6个月的时间,这个系统就不可行。”
创建数据
该技术还能产生有关动作的数据,因此那些信息可被记录下来,供那些可能希望使用这些镜头的人审看。
“我们存储了与事件时间和内容相关的数据,并以此作为提供给制作单位的时间线的基础。然后,团队可以使用这个时间轴滚动浏览某一摄像机输出信号上的活动。此外,该系统使我们能够提供事件的视频片段。一种是一个容易审看内容的小预览,另一种是以原始质量录制并有活动任何一方几秒钟额外视频的片段。这可以下载到编辑系统中。”
该系统一被发现是稳健的,BBC自然历史部门的员工就接受了使用这项技术的培训。
他接着说,“这可能是一项精巧的技术,但我们工作的一个重要部分是确保它适用于现有制作周期的流程。我们建立了一个允许访问片段和数据的基于网络的简单界面。事实证明,在如此多的制作工作都是远程操作的情况下,这种方法特别有用。”
当然,机器学习技术的应用范围远不止自然历史节目。正如道斯指出的那样,大多数电视输出都涉及到人,而此系统允许记录特定的活动。“我们还使用这些技术搜索归档素材,这肯定可以节省寻找特定的人或行为的单调冗长的查看时间。”
《观察》数字制片人本·莫里森补充说,“今年在《春日观察》上与BBC研发部团队合作非常棒,他们的技术使我们的工作流程各环节更简单,甚至使我们能够使用我们没料到会这样使用的镜头。他们的AI能够从我们遍布全国的合作伙伴摄像机网络中记录关键的行为瞬间,我们可以将其编入我们的直播节目中。我们真的很期待看到这项技术如何向前发展!”