大旗号
科技 娱乐 汽车 财经 数码 时尚 旅游 美文 美食 其它

于无声处听惊雷!这项技术驶入进化节点

商业范儿 2024-11-01

RTE(实时互动)历经十年蜕变,从理念逐步发展为具有广泛影响力的行业。如今,生成式AI风头正劲,与RTE的结合更是成为技术创新的前沿阵地。这一融合不仅预示着IT行业的深刻变革,也为教育、金融、医疗等多个领域带来了全新的交互体验。

随着RTE技术的不断成熟和应用场景的拓展,尤其是在声网等企业的推动下,RTE+AI的结合将催生出更加丰富多彩的应用场景,为行业发展开启下一个十年。

RTE+AI=?

生成式AI在当今科技领域可谓是风头正劲,并有重塑各行各业的趋势。得益于丰富的大数据资源、强大的计算能力以及不断优化的算法架构,使得大模型能够不断学习和进化,性能持续提升,可以生成具有高度真实性和创造性的内容。

在语言模型方面,OpenAI的GPT系列等能够理解和生成自然语言,进行对话、写作、翻译等多种任务,且语言表达能力日益接近人类水平。在图像生成领域,诸如StableDiffusion、DALL·E2等模型可以根据文本描述生成精真的图像,为艺术创作、设计等领域带来了全新的创作方式。此外,生成式AI在音乐、视频等领域也有了一定的发展,能够生成旋律、编曲以及视频内容等。

在10月25日举行的RTE2024第十届实时互联网大会上,声网创始人兼CEO赵斌认为,生成式AI正在驱动IT行业发生大变革,包括终端设备、软件开发、云计算架构以及人机界面交互方式的改变。

而在RTE行业,生成式AI的应用为其注入了新活力。比如,生成式AI使得智能语音助手能够更自然地理解和回应用户的需求,提升了用户体验;通过生成式AI技术,实时翻译服务可以实现更高的准确性和流畅性;生成式AI能够分析和理解用户的情感状态,从而提供更具人性化的交互体验;生成式AI可以生成逼真的虚拟角色,应用于游戏、社交、教育等多个领域。

作为全球实时互动云服务的引领者,声网也将生成式AI技术与RTE相结合,并已有多项技术创新实践。

声网与 MiniMax正在打磨中国第一个Realtime API。声网基于 MiniMax Realtime API打造的人工智能体,可以实现人与智能体轻松流畅地进行实时语音对话。当人类打断智能体并提出新的疑问时,智能体也能够非常灵敏的快速反应,实现了与人类自然流畅的对话。

声网推出的对话式AI解决方案,以语音为核心,支持视频扩展,通过低延时响应、智能打断、AI降噪、超拟人化人声合成等丰富的功能,构建真实、自然的AI语音交互体验,且已经具备落地能力。该解决方案能够将对话响应延时控制在1秒内,远低于市面上大部分3-4秒的延时时间。

此外,声网还发布了aPaaS灵动会议产品,通过RTE技术和融合生成式AI能力重塑会议协作使用体验。灵动会议提供了低代码视频会议平台,并且采用了多云、多平台设计,支持客户进行灵活部署和扩展,全面满足客户会议、协作和调度需求。

在落地应用方面,声网在多个场景中应用了生成式AI技术,包括智能客服、在线教育、游戏娱乐等。例如,在线教育领域,利用AI技术实现了远程教育中的互动教学,让学生在虚拟环境中获得更接近真实课堂的学习体验。在游戏娱乐中,通过AI生成的角色与玩家进行自然对话,增强了游戏的真实感和沉浸感。

赵斌还正式发布了声网RTE+AI能力全景图。在全景图中,声网从实时AI基础设施、RTE+AI生态能力、声网AI Agent、实时多模态对话式AI解决方案、RTE+AI应用场景五个维度,呈现了当下RTE与AI相结合的技术能力与应用方案。

具体来看,声网在RTE+AI领域具有一系列优势。声网拥有自主研发的SD-RTN技术,能够提供高质量的实时音视频通信服务,这是其在RTE领域的核心竞争力。其次,声网的SD-RTN网络覆盖全球250多个数据中心,确保全球用户都能享受到低延迟、高质量的实时互动体验。声网的解决方案与多种设备和平台兼容,方便开发者快速集成和部署。声网的实时互动云服务广泛应用于教育、金融、医疗、娱乐等多个行业领域,已在不同场景下积累了丰富的实时互动经验。

不过,任何事物都有其两面性,声网也面临着一些挑战。在市场竞争方面,生成式AI与RTE领域竞争激烈,国内外众多企业纷纷涉足,声网面临着来自大型科技公司、新兴创业企业等多方面的竞争压力。在技术集成难度上,不同的生成式AI模型和技术框架具有各自的特点和要求,与声网的实时互动平台进行无缝集成需要解决兼容性、性能优化等问题。此外,在提供高质量服务的同时,如何有效控制成本,也是需要面对的问题。

十年蜕变

在数字化时代,RTE技术已经成为连接人与人、人与设备、设备与设备的重要桥梁,不仅改变了我们的沟通方式,更在教育、医疗、娱乐等多个行业中发挥着关键作用。回望过去十年,RTE在中国的发展经历了从理念到实践,再到行业的蜕变。

RTE技术的起源可以追溯到互联网早期的VoIP技术,但真正的转折点是在2010年,谷歌开源了WebRTC项目,这标志着RTE技术的商业化和普及化。

在中国,RTE技术的起步稍晚,但发展迅速。2010年,RTE概念在国内刚刚萌芽。彼时,市场上几乎没有关于实时互动的专业书籍、行业会议和专业媒体及社区。2014年,声网成立并率先提出了RTE的概念,也意味着国内RTE行业的正式起步。

随着移动互联网的快速发展和智能手机的普及,RTE迎来了重要的发展机遇。在线直播行业开始兴起,成为RTE技术的重要应用场景之一,众多直播平台如雨后春笋般出现,推动了实时音视频技术在大规模并发场景下的应用和优化。同时,在线教育也得到了进一步的发展,互动式教学模式逐渐受到关注,实时互动技术在教育场景中的应用不断深化。

这一时期,技术上不断取得突破,音视频的延迟逐渐降低,画质和音质也有了显著提升。市场对于RTE的需求逐渐增加,以声网为代表的企业开始加大在技术研发和市场推广方面的投入。

2018年以来,RTE技术进入了爆发式增长阶段。以社交、游戏、远程办公等为代表的众多领域纷纷引入实时互动功能,为用户带来了全新的体验。社交领域的实时视频聊天、多人互动社交游戏等应用成为热门;游戏行业中,实时语音开黑等功能提升了玩家的互动体验;远程办公需求在全球范围内的爆发更是加速了RTE技术在办公场景中的广泛应用,视频会议、在线协作等成为常态。

技术上,AI、云计算等技术与RTE深度融合,进一步提升了实时互动的质量和智能化水平。同时,市场规模迅速扩大,行业竞争日益激烈,RTE逐渐从一个新兴的技术领域,发展成为一个具有广泛影响力的行业。这一过程中,RTE技术的应用场景不断拓展,并成为数字化转型的重要推动力。

作为行业的先行者,声网在RTE从一个前沿理念变为一个成熟行业的过程中,发挥了重要作用。

声网的技术创新不仅体现在核心算法和编解码器的优化上,还包括对网络环境的适应能力和多模态互动的支持。声网的音频编码器Agora Solo能适应网络的各种不稳定,能够在弱网条件下保证流畅的高质量通话。此外,声网还推出了极速直播、低码高清产品,以及教育行业首款aPaaS产品灵动课堂,进一步向细分市场渗透。

声网在技术创新方面的另一个重要突破是分布式端边云结合的AI系统。这一系统通过合理配置计算和传输在各节点,智能地将任务编排到端与边上执行,有效降低了成本,同时提供了更低延时、更高网络抖动容忍度和优秀的抗噪声能力。

声网还积极拓展应用场景,从最初的视频会议、在线教育,到后来的游戏直播、虚拟现实,始终走在行业前沿,推动RTE技术在更多领域的应用。声网发布的“RTE万象图谱”,展示了围绕教育、泛娱乐、IoT、企业协作、金融、医疗等20多个行业赛道的200多个实时互动场景,进一步丰富了RTE技术的应用生态。此外,声网还通过云市场开放自身生态,与各类ISV合作,帮助开发者加速集成开发,快速构建应用内实时互动能力。

声网在市场推广和教育方面也做了大量工作。今年8月,声网正式出版了行业首本系统介绍实时互动的技术型科普图书《读懂实时互动》,填补了RTE行业无专业书籍的空白,同时RTE开发者社区也持续繁荣。可以说,声网用十年时间,打破了RTE行业内没有行业会议、专业书籍以及专业媒体和社区的“三无”状态。

10月11日,国际数据公司(IDC)最新发布的《中国视频云市场跟踪,2024上半年》报告显示,中国视频云解决方案市场规模达到9.8亿美元,其中音视频通信云服务(RTC/RTE)达到1.3亿美元,声网的市场份额占比为33.1%,排名第一。

2024年第二季度财报显示,声网母公司Agora,Inc.(NASDAQ: API)实现总营收3420万美元,同比增长0.5%。这也是在2021年Q4之后,10个季度以来Agora,Inc.首次实现营收同比增长。其中,业务聚焦在中国市场的声网实现Q2营收1.32亿人民币,同比增长0.3%;聚焦非中国市场的 Agora 实现Q2营收1560万美元,同比增长2%。

过去十年,声网作为RTE领域的开拓者,通过技术创新、生态建设、知识普及和社区等多方面的努力,推动了RTE从一个理念变成了一个充满活力和潜力的行业。

那么,RTE行业下一个十年的发展趋势是什么?赵斌认为,生成式AI与RTE结合带来的场景创新,将成为下一个十年的主题。

在「商业范儿」看来,这种结合将推动多模态应用和基础设施的发展,创造新的交互方式和应用场景。

在技术融合方面,生成式AI技术的发展,尤其是大语言模型的进步,使得机器能够更好地理解和生成人类语言。与RTE技术结合后,生成式AI可以实现更加自然流畅的语音交互,极大地提升了用户体验。

在应用场景拓展上,生成式AI与RTE技术的结合,为实时互动带来了更多可能。智能客服、在线教育及游戏娱乐等场景,生成式AI都能够通过自然语言处理技术,为用户提供更加个性化的服务。

提升用户体验方面,生成式AI技术的应用,使得实时互动更加智能化。无论是智能打断、抗噪声能力,还是遵循语音指令,生成式AI技术都能够提升用户的实时互动体验,使其更加自然、流畅。

因此,随着生成式AI技术的不断成熟,越来越多的企业将其应用于RTE场景中。声网等企业在RTE+AI、RTE+IoT等方向上的积极探索,也将进一步推动生成式AI与RTE结合的应用落地。

火星人单季亏近2600万,叫停5.8亿建楼
来源 | 时代财经作者 | 徐超集成灶市场遇发展瓶颈。营收、净利连续三年下滑的“集成灶龙头”火星人(300894.SZ),在勉强维持了2024年上半年一、二季度分别盈利3700万元、420万元后,还是在第三季度“破功”——单季归母净利润亏损近2600万元,扣非归母净利润

2024-10-29

科大讯飞的七个第一是怎么来的
如何做到全线进击

2024-10-29