【论文转载】5G 超低延时及虚拟技术在远程节目制作中的应用

编者按：

江西广播电视台郑锋、罗焜、蔡骁在《现代电视技术》2025年4月刊发表的论文《5G 超低延时及虚拟技术在远程节目制作中的应用》，聚焦2024年全国两会报道中5G超低延时与虚拟技术的创新应用。论文详细介绍了基于TVU的传输方案，通过TVU One直播背包实现高质量、低延时信号传输，支持异地同屏访谈的顺利开展。文章展示了TVU多网络聚合技术在复杂环境下保障节目画面流畅与高品质的关键作用，为两会等重大新闻报道提供了有效的技术支撑和实践经验，体现了TVU技术在推动广播电视数字化转型中的重要价值。小编特此转载，以飨读者。

5G 超低延时及虚拟技术在远程节目制作中的应用

作者  江西广播电视台 郑锋 罗焜 蔡骁

摘要

本文探讨了在节目制作中将 5G 超低延时和虚拟技术相结合的应用。通过利用 5G 超低延时技术，实现了高画质信号的低延时传输，同时结合虚拟技术，实现了异地同屏的效果，使得北京的代表委员与南昌的观察员能够无缝连接，共话两会。文章结合实例，介绍了主要设备和系统搭建的过程，并分享了在项目实施过程中遇到的问题及解决方案。
关键词 5G 超低延时 虚拟技术 系统搭建

在 2024 年全国两会报道中，江西广播电视台根据报道需求，提前设计、论证技术方案的可行性。分别在南昌和北京搭建了临时演播室，并推出了两会创新报道特别节目《00 后问两会》。与通过视窗对话的传统节目形式相比，此次特别节目运用了 5G 超低延时与虚拟现实技术等核心技术。借助这些先进技术，即使相隔千里，代表委员与 00 后嘉宾也可以“共处一室”。通过访谈形式，他们能够更生动有效地宣传两会内容、深入解析两会提案，并传达两会精神。

一 节目需求实现

全国两会特别节目采用座谈的形式，邀请人大代表和政协委员前来北京临时演播室，同时邀请位于南昌的 00 后观察员，共同就关心的两会议题与代表进行沟通交流。

为实现委员与嘉宾的无障碍沟通交流，双方需要能够实时地听到看到对方，所以必须保证足够低的延时，否则人物交谈的过程中会有明显的停顿感，显得不自然。然而普通视频连线的画质并不能保证广播电视级别的录制需求。所以我们利用 5G 背包以低至端到端 0.3 秒的延迟，实现全高清级别的双向信号传输，实现访谈中代表委员与嘉宾之间流畅沟通，同时还保证了节目画面的质量，满足了电视播出的带宽要求。

另一方面，5G 网络的高速度和低延迟，使实时虚拟制作成为现实，我们可以在节目现场或远程进行实时创作，基于虚拟技术的特效工具，能够生成逼真的特效并在节目中实时应用，提升节目的视觉效果。我们通过在南昌演播室搭建绿幕抠像，将绿幕信号发送至北京演播室，利用虚拟现实增强技术，将南昌的嘉宾置于北京的实景演播室中，以实现“异地同屏”的效果。同时，南昌演播室再使用一个机位，利用虚拟背景技术，实时渲染北京演播室的背景，发送一路嘉宾含虚拟背景的信号，作为嘉宾的特写镜头，满足多角度多机位的录制要求，丰富了节目画面。

在 5G 超低延时技术和虚拟技术的加持下，这次跨越千里的访谈实际录制过程与现场直播无异，极大地提高了节目录制的效率，保证了节目的时效性。

《00 后问两会》播出画面

二 技术原理

1.5G 超低延时技术

近几年，随着我国通信基础建设不断完善，5G 覆盖率持续提高，给信号传输带来了更多的选择。目前，基于 5G 技术的网络聚合信号传输系统使得视音频信号的传输在空间和距离上产生了突破性拓展，使信号回传、电视转播和采访等更加灵活、便捷。同时，由于这种系统不需要昂贵的现场转播车或卫星支持，也减少了所需要的工作人员，极大降低了成本，解放了节目生产力。

在符合电视节目播出质量所需的大带宽条件下，仅仅依靠 5G 网络并不能提供稳定的低延时。因此，我们还利用了算法提升信号传输效率，进一步提升传输信号的质量并降低时延。此次全国两会特别节目，我们采用了 TVU 的传输方案，由 TVU ONE 作为前端传输，后端使用 TVU Transceiver 解码器来接收信号，利用 IS+ 技术进一步降低传输的时延。

Inverse StatMux（IS+）技术，是一个多路信号整合并通过一个固定信道发送的过程，将一个单一的信号源通过反向复用多个信道用于传输，然后在接收端重新聚合。在实际应用中，IS 监控每个连接的带宽，并根据每个连接的可利用率来传输对应数量的数据包，然后在接收终端经过纠错后合并还原到原始数据。IS+ 包含且提升了 IS 算法、Smart VBR控制和先进的 FEC 算法。通过 Smart VBR（动态编码），系统根据预设的延时进行传输码率的动态管理。整合这 3 个技术的结果就是为了保证能充分地使用所有的传输链接，以获得可靠稳定的高质量次秒级延时网络连接。

传统的移动上行解决方案是通过整合的方式解决带宽问题，所有的传输通道通过 TCP 进行多链路数据分配。该方式无法处理在移动和复杂网络环境中持续变化的码流、丢包率和延时等状况，大部分系统只能依赖重传技术如 ARQ、HARQ 等，增加了系统的延时时间。而我们使用的 TVU 方案通过 UDP 及基于 IS+ 的实时环境动态变化预测，持续观察数据链接状态，同步发送对应数量的提前量来保证数据包能被接收到，而不会产生潜在的丢包。这种通过高精度预测而避免数据重传的机制，有效提升传输效率的同时，降低了网络延时。

2. 虚拟技术

虚拟技术其实现在大家都不陌生了，是一种将虚拟内容和现实世界相结合的技术，涵盖了虚拟现实（VR）、增强现实（AR）、混合现实（XR）以及模拟现实（Simulacra）等多种形式。这些技术通过硬件、软件和传感器的结合，创建出逼真的虚拟环境，并与现实世界中的对象和场景进行交互，从而为用户提供全新的体验和交互方式。

近些年，利用虚拟技术制作的节目百花齐放，有利用 XR 巨屏实现的沉浸式 XR 舞台，有利用 UE软件制作的虚拟场景、虚拟演播室。这些新颖的节目形式不仅丰富了观众的娱乐选择，也推动了科技与文化的融合。在数字化时代，虚拟技术正成为创意表达的新舞台，为人们带来了前所未有的视听体验。

在本次节目中，利用虚拟现实增强技术，将北京的代表委员与远在南昌的嘉宾融合到同一个画面，面对面无障碍交流。此外，还利用虚拟背景技术，在南昌演播室通过软件虚拟北京演播室的背景，合成南昌嘉宾的单人以及双人的画面，实现代表委员与嘉宾镜头的无缝切换。

为实现以上效果，从抠像到画面合成，我们采用了全套 vMix 软件实现的方案。采用这种方案，一是设备便于运输，部署起来简单快速；同时，软件功能相对集成度高，除了可以利用色键直接完成抠像工作，还可以利用软件自带的色彩矫正工具，对画面进行调整，以达到更好的效果。

三 系统搭建

1. 绿幕灯光

绿幕调试现场

由于是软件抠像，绿幕的调光对抠像的效果影响非常大。直接影响最终合成画面的渲染效果。为此，我们搭建了一个 3×10 米的弧形绿幕墙，以保证两位嘉宾从两个角度都能处于绿幕背景前。受限于场地，人物与绿幕的距离较近，对我们的调光提出了不小的挑战。主要的问题在于绿幕反光造成的人物泛绿，以及地面的阴影过重导致无法抠像。

我们采取了多项措施以改善绿幕抠像的质量，首先更换绿幕材质，在地面上加铺一层吸光材质的绿毯；其次在优先保证嘉宾面光的基础上，降低了绿幕的照度，避免反光；同时，使用便携平板灯对地面进行补光，消除阴影；最后，利用 vMix 软件的 Colour  Correction 工具对绿幕信号进行调色处理，使其符合画面的一致性。

2. 视频系统

系统本着轻设备、易部署的原则，选择相对便携，集成化高的设备。设备连接如图 3。

视频系统图

（1）南昌演播室视频系统搭建

南昌演播室使用了两台松下 3100 摄像机，一台由正面取景，拍摄正面双人带绿箱信号，直接接入 TVU 前端，发送至北京演播室。另一台作为辅助机位，从侧方拍摄双人或特写镜头传输至本地 vMix 服务器，渲染虚拟背景后，再接入 TVU 前端。其中 2 部前端分别含有 2 块 5G SIM 卡，同时接入一路有线网络，通过 5G 和有线网络聚合发送至北京演播室。

（2）北京演播室视频系统搭建

北京演播室是以一台 BMD 的 ATEM Television  Studio Pro 4K 现场制作切换台为核心，组建了一个临时导播间。ATEM Television Studio Pro 4K 是一款内置硬件控制面板的专业切换台，配备了优质按键和旋钮，可实现精准流畅的控制。它紧凑的机身可容纳于标准设备机架上，这使得它非常适合用于航空箱类的便携式移动机架安装方案。这一控制面板能与ATEM Software Control 软件控制面板同时使用。这样一来，其中一位导播可以从事节目的画面切换，另一位导播则可以利用一台移动工作站通过网线外接，扩展一个虚拟调音台，完成混合音频的工作。ATEM  Television Studio Pro 4K 还搭载 8 路独立的 12G-SDI输入，每路输入均设有再同步功能和全方位低延迟格式转换器，输入信号可自适应切换台的格式，让 8 路输入能分别使用不同的视频格式，这有效地兼容了摄像机输出的和渲染工作站输出的两种不同帧率的信号。它的 Multi View 多画面分割输出能将各路视频源、预监以及节目等在内的所有画面全部在一个屏幕上集中显示。

除了多机位接入切换台外，TVU Transceiver 解码服务器将南昌演播室含虚拟背景的嘉宾特写信号送入切换台，作为南昌嘉宾的特写镜头，同时环出一路作为现场代表和主持人的视频返送信号。

另一路将全景绿幕信号送入渲染服务器，渲染服务器将绿幕信号经过抠像处理后与本地的多人全景机位进行融合，使南昌演播室的嘉宾“穿越”到北京演播室现场。

3. 音频系统

因为是谈话类节目，又涉及异地通话，音频相较于普通演播室的访谈节目设计更为复杂，除了要保证对话的流畅性，特别要保证声画同步，同时还要避免回音，保证多路返送互不影响。

音频系统图

（1）南昌演播室音频系统搭建

南昌演播室利用调音台将嘉宾的无线麦信号给到摄像机，再通过 5G 前端发送至北京演播室，这保证了视频信号的视音频同步。同时，通过调音台的AUX 输出将北京演播室的主持人和代表委员的声音通过耳返耳机，发送给现场嘉宾。

（2）北京演播室音频系统搭建

因为北京演播室使用的是便携切换台扩展的虚拟调音台，只有简单的混音功能，所以所有的话筒、无线麦都接在摄像机机头上，通过摄像机加嵌的 SDI 信号送入切换台，保证了声画同步。同时我们巧妙地利用一套便携通话系统，利用通话系统的分组功能，将代表委员和主持人编入一组，TVU 解码器中的音频信号分离并送入该组通话系统，解决了代表委员与嘉宾沟通时，使用调音台 Master 信号有回音的问题。另一方面，将摄像机主机位未混音的信号发送回南昌演播室作为嘉宾的返听信号。
四 总结

在当今技术不断进步的时代，新技术层出不穷，呈现出各种各样的形式。作为技术工作者，我们不仅要具备创新的思维，还要善于将这些新技术有机地联系起来，创造出崭新的应用场景，丰富节目的制作形式。让观众在欣赏的同时得到更好的体验。只有不断创新，才能不断超越，引领时代的潮流，为观众带来更加精彩纷呈的节目盛宴。

扫码查看论文PDF原版