直到最近，会议和研讨会主要涉及人们面对面会面。然而，过去几年，我们看到了转变，虚拟会议变得越来越受欢迎，至少与面对面互动一样普遍，甚至更普遍。尽管虚拟会议往往更实用，但它们仍然无法完全模仿个人互动的社交方面，而技术正在试图弥补这一差距。
与此同时， 生成式人工智能 基于 GenAI 的用例并未跳过虚拟会议领域。GenAI 支持的新功能正变得越来越普遍，能够让虚拟会议更具吸引力和效率，提供接近真实生活的体验。
但要使这些进步产生大规模影响，这些功能需要以最低延迟和可承受的成本实时提供。这意味着，至少，一些新功能必须在连接的端点上可用。一些解决方案提供商已经将人工智能集成到视频会议平台和个人电脑中，以解决虚拟增强、实时优化和自动会议管理等问题。
生成式人工智能对视频会议的影响
GenAI 有能力改变虚拟会议的视频、音频和文本体验。想象一下 混合会议 会议室和远程参与者都可以使用人工智能。智能视频处理无需向远程团队发送会议室参与者的静态广角镜头，而是可以动态放大发言者的画面，模仿面对面互动的细微体验。借助神经辐射场 (NeRF) 或类似技术，可以生成远程参与者的引人入胜的视图，提供身临其境的体验，并动态改变每个端点的视角。人工智能可以创造一个和谐一致的画廊视图，以统一的大小、姿势和风格显示所有参与者。如果会议室中有白板，人工智能可以自动检测到它，并且可以识别书面笔记并将其转换为可编辑格式。然后，可以创建个人版本以用于记笔记和即时评论。
在音频和文本方面，GenAI 可以被视为每位参与者都可以使用的私人助理，以最大限度地提高他们的工作效率。该助手可用于将音频转换为文本，以创建会议摘要，根据指示向各自的所有者采取行动，甚至即时建议相关的响应。对于多语言团队来说，借助这种可以提供即时音频翻译的助手，可以减轻语言障碍。
然而，尽管 GenAI 潜力巨大，但其目前的现状却受到技术的限制。要使基于 AI 的视频会议在上述应用中变得有用和有效，仅使用现有的基于云的服务不足以使其成为默认可用。
GenAI 在边缘的力量和潜力
为了实现上述应用，视频会议系统应该能够在端点本身（个人计算机或会议网关设备上）执行 GenAI 处理，而无需返回云端进行处理。
会议系统的关键要素之一是其扩展能力。谈到可扩展性，确定哪些情况需要集中处理以及哪些情况需要边缘处理至关重要。
在中心点进行处理具有优势的主要有以下三种情况：
- 信息共享——当所有参与者需要共享相同信息时。例如，共享白板，每个参与者都不能发表个人评论。
2. 资源共享 – 当功能具有所有端点共有的固有处理时，例如在共享数据库上进行搜索。在这种情况下，共享处理可以应用一次，并且可以为许多或所有端点重复使用。
3. 分时——当功能需要轻量处理时，中央机器只需花费其一小部分能力就可以轻松处理，例如当参与者进入房间或取消麦克风静音时发出警报，中央机器可以为所有端点提供服务，每个端点都在不同的时间段提供服务，而不会产生明显的影响。
前面描述的大多数功能都不符合这三种情况。因此，要构建可扩展的视频会议系统，使所有参与者都可以使用这些功能，需要将 AI 功能分发到下游，为不同节点配备适当的 AI 计算能力。
这将带来许多好处，包括：
- 成本——基于云的生成式 AI 工具的月度订阅费用可能非常高昂。由于有多种工具可满足各种用户需求，例如搜索引擎、聊天和图像/视频创建，因此成本很快就会累积到每位用户每月数百美元，从而进一步加剧预算紧张。通过将生成式 AI 迁移到用户的个人计算机或会议设备，用户无需每月订阅或长期承诺即可成为工具的所有者，这是一种更具经济可行性的解决方案。
- 连接性——虚拟会议经常受到带宽不足的影响，尤其是当参与者在旅途中或身处偏远地区时网络连接受限。基于边缘的生成式人工智能可以在本地裁剪掉不相关的信息，确保只传输相关且重要的数据，从而实现不间断且高效的会议。
- 延迟 – 在虚拟会议中，无论是实时翻译、视频调整还是内容创建，即时结果都是顺畅交互的关键。利用边缘设备上的生成式 AI 可减少延迟，确保流畅的讨论和无缝的用户体验，而不会出现延迟。
- 可持续性——基于云的人工智能处理对环境的影响不容小觑，这一过程会产生大量污染和能源消耗。卡内基梅隆大学和 Hugging Face 的研究人员测量了不同机器学习任务的碳足迹，以及它们 研究 研究表明，涉及生成新内容的 AI 任务（例如文本生成、图像字幕、摘要和图像生成）是最耗能的。研究结果还表明，最耗能的 AI 模型（例如 Stability AI 的 Stable Diffusion XL）每次会话会产生近 1,600 克二氧化碳，其对环境的影响与驾驶燃气驱动汽车行驶四英里相似。边缘设备为生成 AI 提供了更可持续的选择，消耗更少的电量，最大限度地减少冷却要求并减少碳足迹，因此为 AI 会议提供了一种更环保的方法。
将人工智能处理能力融入设备
要创建一个在边缘设备上直接处理 AI 的视频会议系统，需要能够管理通常在云端处理的任务的闭环系统。通过在笔记本电脑、会议室设备和摄像头等终端设备上处理 AI，会议可以顺畅且经济高效地进行，同时还能确保 AI 生成的内容（如自动摘要或动态演示文稿）的安全性。
Hailo 提供专门设计的 AI 处理器，用于处理上述 AI 模型，为各种边缘设备打造节能且价格合理的解决方案。该公司目前正在与会议制造商合作，将 AI 处理器集成到他们的硬件中。
在不久的将来，AV 集成商和设计师将能够使用为 GenAI 时代做好准备的视频会议系统，该系统兼具 GenAI 的优势以及边缘处理的性能、安全性和可靠性优势。这种设计有望将协作提升到新的高度，提供最佳的功能组合，以增强团队合作。
Avi Baum 是 Hailo是一家专注于人工智能的以色列芯片制造商，开发了一款专门的人工智能处理器，用于在边缘设备上实现数据中心级性能。Baum 在系统工程、信号处理、算法和电信方面拥有超过 17 年的经验，过去 10 年一直专注于无线通信技术。
阿维鲍姆
Avi Baum 是 Hailo 的首席技术官兼联合创始人，Hailo 是一家专注于人工智能的以色列芯片制造商，该公司开发了一种专用人工智能处理器，可在边缘设备上实现数据中心级性能。Baum 在系统工程、信号处理、算法和电信方面拥有超过 17 年的经验，过去 10 年来一直专注于无线通信技术。
