Bootstrap

基于XDP技术的高性能rtp媒体转发服务程序

在软交换中,经常有公网转发音频、视频媒体的需求,开源软件有rtpproxy、rtpengine之类,但性能并不是太好,经常有人说跑音、视频几百路就把机器CPU跑满了。

以前写过一篇“跨平台、高性能的媒体转发服务器实现”,本质上是sip软交换B2B服务器,那篇文章对于媒体rtp的转发使用的还是epoll,性能还算马马虎虎,大体上和rtpproxy、rtpengine是一类水平。

Linux有个较新的技术,叫XDP,也叫eBpf,允许我们写一个内核级别的模块,将其绑定到网卡上,数据包还没上达协议栈之前就可以被我们的内模块进行处理:或者丢弃,或者转发,或者放行——正常上达协议栈。XDP是比较新的、热门的技术,很多大厂用它来实现防火墙、负载均衡等,我用它来实现 RTP数据的转发,可谓xdp最佳应用。

xdp内核模块如此早就对数据包进行处理,相当于驱动层或者至少是内核层级别的速度,性能相当优异,经测试比起普通的应用层转发,有10到30倍以上的性能提升,而且转发速度飞快,几乎没有延时。

下面简单说一下要点:

1、对 Linux内核有要求,太老的内核是不能支持 XDP的。我的环境是 CentOS 7,但内核升级到5.4.232。

2、需要安装 libBpf,开发环境需要安装最新的 clang、llvm,运行环境则不需要。

3、写好内核模块后,我在虚拟机上测试,按默认安装为xdpdrv,不能通过,一开始以为是校验和计算不对,深入调试后,发现改为xdpgeneric模式附加到网卡就可以。在客户的云服务器上,安装为 xdpdrv模式一切正常。

4、如前所述,将 rtp数据包用 XDP模块转发后,数据包无法上传到操作系统的协议栈——这正是它高效的原因,带来的问题是无法用tcpdump抓包,如果要使用普通的抓包录音软件,是没办法录到的。解决方法是在xdp和用户层程序进行通信,xdp内核模块在转发之前将数据提交给我们的程序,程序将rtp包写入wav文件,这里很多细节,有一定的复杂度。

经测试3000路rtp媒体转发(使用g711u音频),如果不录音,系统cpu没有上升,仅仅信令处理占用cpu在9%以下。如果录音,应用层增加的cpu也很小,几个百分点而已。

对XDP、eBpf、音频视频媒体转发技术感兴趣的,欢迎讨论。程序可以试用,欢迎压力测试。

;