弹幕系统更新的血与泪

作者：UCloud产品团队 2017-12-20 12:32:26

云计算随着公司直播业务的变化，弹幕系统从最初的版本到后来优化了三四个版本，这个过程大概持续了一年的时间，本文将从我司早期的弹幕系统开始给大家介绍整个更新过程的“血与泪 ”。

为五莲等地区用户提供了全套网页设计制作服务，及五莲网站建设行业解决方案。主营业务为做网站、成都网站设计、五莲网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

16年是直播浪潮兴起的元年，许多互联网公司的业务都开始涉足直播内容模块。我目前所在公司接手的第一份工作，就是直播业务中的弹幕系统优化。随着公司直播业务的变化，弹幕系统从最初的版本到后来优化了三四个版本，这个过程大概持续了一年的时间，本文将从我司早期的弹幕系统开始给大家介绍整个更新过程的“血与泪 ”。

早期弹幕系统

一、基本状况

1.由PHP + Gateway框架编写

2.所有的Client ID存放在Redis里面

3.最初由三台机器挂载在LVS系统后方提供服务

4.使用多进程的方式，开启多个worker进程来处理消息传递内容

二、存在的问题

1.内存占用量巨大，单机（4核8G配置）承受500左右的Client就会达到内存上限

2.每次发送消息的时候，每台机器都需要从Redis里面拿取对应房间的所有Client ID；并发高时，Redis的单进程处理效率和内网带宽就成为瓶颈。

3.单机的并发处理能力被消息处理的worker进程数量限制。同时开启过多的进程，也是对系统资源的格外浪费。

4.单房间超过2000人的时候，消息的延迟有可能会达到1分钟左右，这是极其严重的问题。

三、临时改造

由于需要解决的问题比较紧迫，所以快速做了一些逻辑上的改变和业务层面的取舍：

1.对Redis的实例进行了拆分，使用了双机，单机4实例的方式，分散了Redis的压力

2.对消息处理worker进程的逻辑做了一些修改，限制了单位时间内进行广播的消息数量，多余的消息会被丢弃。

3.对于已经完成了直播进入点播状态的房间，额外启用了另外一套弹幕系统来进行分流。

4.单个房间切成多个房间进行消息处理。

四、改造之后的效果

1.Redis压力大幅度降低

2.单机IO性能压力降低

3.同样数量的机器，可以承载更多的直播房间个数

但是，根本问题并没有得到解决。在临时解决压力问题之后，我们需要花一些时间来重新对弹幕系统进行分析，按照分析后的需求，对新的弹幕系统进行重构。

新的弹幕系统

一、新弹幕系统面临的挑战

1.单房间人数较高，依照我们公司直播情况，单房间5 – 10万人同时在线是会出现的。

2.由于直播内容等情况造成的某时间段用户暴涨。

3.需要尽可能实时到达，延迟过高的话会大大降低互动的实时性。

4.每一条消息，都要递送大量的长连接。

5.大量长连接的维护机制。

6.在运营的过程中，需要处理用户黑名单、IP黑名单、敏感词等需求。

二、新的弹幕系统需求

1.由于内存的管理对于PHP来说算是一个短板，对于大并发且长时间稳定不需要经常更新维护的系统来说，并非最好的选择，因此选一门合适的语言是必须的。

2.分布式支持，可以快速的横向扩展，单房间人数可以支持到十万级别。

3.可以方便快捷的对系统进行第三方消息的发送（例如礼物信息、系统通知等）。

4.尽量使用本地内存管理来记录房间内客户端连接，剩下大量的数据交互和查询时间。

5.并发支持消息广播，提高广播效率。

三、新弹幕系统版本的改造方法

1.选择当前正红且对高并发支持良好的Golang作为开发语言。

2.使用开发语言进行客户端连接的管理，且每台机器只管理自己收到的连接请求。

3.使用并发的房间内广播逻辑，同时对多人进行广播。

新弹幕系统改造的相关经验

下面先对一个模块细节进行分析，然后进一步分析模块上层的调度逻辑。

一、房间管理

  
 
 
   
  
  type RoomInfo struct {
   
  
  RoomID string //房间ID
   
  
  Lock *sync.Mutex //房间操作锁
   
  
  Rows []*RowList //房间多行Slice
   
  
  Length uint64 //当前房间总节点数
   
  
  LastChangeTime time.Time //最后一次更新时间
   
  
  }
   
  
  type RowList struct {
   
  
  Nodes []*Node //节点列表
   
  
  }

由于每个房间都有自己的ID，客户端建立连接之后，就会被放到一个大厅房间里面。接着，客户端自己提交RoomID上来，连接会被重新连接到对应的房间里面。每个连接在建立之后，都会被包装成一个Node，放到Rows里面。

  
 
 
   
  
  type Node struct {
   
  
  RoomID string
   
  
  ClientID int64
   
  
  Conn *websocket.Conn
   
  
  UpdateTime time.Time
   
  
  LastSendTime time.Time //最后一次发送消息时间
   
  
  IsAlive bool
   
  
  DisabledRead bool//是否已经被关闭了发言权限
   
  
  }

每一个Node中，都有一个IsAlive来表示连接是否成功。如果连接断开，或者因为其他原因强制停止服务的话，会修改此标记状态。然后由定时的处理机制将此连接关闭并从内存中清除。 Rows的本质就是一组事先设定了长度的Node Slice。

发送消息的时候，每一组slice使用一个协程来顺序发送。同一房间内的连接，就可以依照slice分组进行并发发送。发送的时候，会使用锁将整个房间锁住，以防止并发情况下同一连接混入两条信息。

二、消息管理

  
 
 
   
  
  var messageChannel map[string]chan nodeMessage
   
  
  func init() {
   
  
  messageChannel = make(map[string]chan nodeMessage)
   
  
  }
   
  
  func sendMessageToChannel(roomId string, nm nodeMessage) error {
   
  
  //如果房间不存在，创建一个房间
   
  
  if c, ok := messageChannel[roomId]; ok {
   
  
  c
   
  
  } else {
   
  
  //创建房间通道
   
  
  messageChannel[roomId] = make(chan nodeMessage, 1024)
   
  
  messageChannel[roomId]
   
  
  //创建房间实例
   
  
  roomObj := &RoomInfo{}
   
  
  roomObj.RoomID = roomId
   
  
  roomObj.Rows = make([]*RowList, 0, 4)
   
  
  roomObj.Lock = &sync.Mutex{}
   
  
  //创建新的协程来监控房间
   
  
  go daemonReciver(messageChannel[roomId], roomObj)
   
  
  go timerForClean(messageChannel[roomId])
   
  
  //如果是大厅的话，启动大厅清理协程
   
  
  if roomId == "" {
   
  
  go CleanHall(roomObj)
   
  
  }
   
  
  }
   
  
  return nil
   
  
  }

以上是关于弹幕信息传递的一部分代码。首先，每一个房间，都有自己的消息通道，所有的这些通道根据RoomID为key，记录在一个叫做messageChannel的map里面。每次收到消息的时候，都直接把消息丢到channel里面，就可以了。（后面由守护协程来处理）如果没有房间通道的话，就建立房间的通道channel，并启动每个房间的一系列协程。

三、服务器管理

这里的方案比较简单，其实就是建立一个上一层的聊天室即一个房间，所有的服务器都会主动连接到这里，每一个服务器收到的信息，就会在这个房间里面广播到别的机器去。

四、守护协程们管理

守护协程处理很多琐碎的事情，保证房间内信息的正常分发以及房间连接的正常管理。各个守护协程的功能如下：

1.消息发送协程：每个房间配备一个，从channel里面获取到要发送到本房间的消息，然后在并发调用各个RowList的发送消息机制。

2.房间整理协程：因为会有连接断开、房间更换等修改Node状态的行为，所以定期会有房间整理协程来进行节点整理，删除当前房间无关的节点等以提高消息的发送效率。

五、测试相关

运行环境：云主机8核16G实例

操作系统：Centos7（未进行系统优化或参数调整）

测试内容：单机建立15000 websocket连接，并且发送消息，进入指定房间（所有连接进入同一房间）。一个客户端进入房间，发送一条消息，经过敏感词处理、IP和用户黑名单处理，然后被广播到所有节点。

测试结果：

CPU占用：保持在5%以下

内存占用：2GB（包括操作系统本身开销）

网络占用：峰值10Mb/s左右

发送效率：15000节点广播，100ms – 110ms左右。

根据测试结果计算：

完全可以在8核16G的机器上，实现无压力运行50K并发，峰值接近60 – 70K的处理能力。

六、更多分享

我目前正在尝试把完成这套弹幕系统的基本功能开源出来。已经提取出来了一部分，当前的地址为：https://github.com/logan-go/roomManager，感兴趣的读者可以通过链接查看。

小结

弹幕系统给视频直播/点播增加了更多内容的互动娱乐性质，从最初的A站B站发展到现在各主流视频网站APP。如何健康高效的管理弹幕系统，也是当下视频行业需要重视的一门技术活。

分享题目：弹幕系统更新的血与泪
URL标题：http://www.mswzjz.cn/qtweb/news18/16868.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：贝锐智能

贝锐智能技术为您推荐以下文章