A data block priority and load capacity based scheduling algorithm for p2p media streaming

Transactions on Computer Science and Technology September 2014, Volume 3, Issue 3, PP.102-108

A Data-Block Priority and Load Capacity-Based Scheduling Algorithm for P2P Media Streaming Aozi Gao, Jinyu Zhang Beijing Jiaotong University, Beijing 100044, China #

Email: 12120412@bjtu.edu.cn

Abstract Focus on the shortage of existing P2P streaming media scheduling algorithm in acquire priority of data block and peers load capacity, introduced a data scheduling algorithm base on urgency and scarcity degree of data block, and a algorithmic method to calculate load capacity of neighbor peers that can select the appropriate node and use push method to transfer data blocks to those nodes. With the utilization of this algorithm, higher priority blocks and higher capacity nodes were requested, and the waiting time to play was decreased. The simulations indicate that the algorithm can reduce start delay of streaming media and make the playing fluent, can also achieve higher peer throughput and more balanced load.

Keywords: P2P Streaming Media; Priority; Data Scheduling; Load Balance; Throughput

基于数据块优先级与负载性能自适应 P2P 流媒体 数据调度算法* 高奥子，张晋豫 北京交通大学，北京 100044 摘

要：针对现有数据驱动型网络数据调度算法未能有效利用数据块优先级以及节点高负载的问题，本文提出基于数据

块优先级与节点负载性能的自适应数据调度算法。该算法能够根据数据块稀缺度与紧迫度对所需数据块的优先级以及邻 居节点负载状态进行评估，充分利用数据块特性以及采用推的方式将数据块推送至相应的低负载节点，以减少了数据块 的等待时延并实现高负载的分担。仿真实验表明，该算法能够优化现有数据调度算法的不足，使流媒体缓冲时延更小、 播放流畅，实现流媒体系统负载均衡同时提高节点吞吐量。 关键词：P2P 流媒体；数据调度；优先级；负载均衡；吞吐量

引言 随着互联网设施的不断完善，P2P 流媒体系统成为当前研究的热点，P2P 流媒体技术在传输方式方面打 破了传统网络的服务器/客户端 (C/S) 模式的定式，建立了客户端/客户端 (S/S) 的直接通信机制，也为未来网 络的发展提供了思路。一方面，P2P 流媒体系统中的每一节点作为客户端的同时充当其他节点服务器，在某 种意义上，每一结点处在同等地位。另一方面，P2P 流媒体系统是对分布式概念的成功拓展，它将传统服务 器负载分配到网络中的每一节点上，每一节点都将承担有限的存储与计算任务，加入到网络中的节点越多， 节点贡献的资源也就越多，其服务质量也就越高 [1] 。 目前以数据驱动型覆盖网络 (Data-Driven Overlay Network, DON) 的 P2P 流媒体技术得到了广泛的应用，如 Coolstreaming[2]，PPLive，Thunder，PPStream 等。 在 P2P 流媒体系 统中，流媒体文件被分成不同的数据块。其中，负责协调多个发送节点的数据块调度算法，是影响视 *

基金资助：受国家自然科学基金项目支持资助（61071077） 。 - 102 http://www.ivypub.org/cst

频播放质量的重要因素。 数据调度算法会直接影响到流媒体的播放质量，因此受到了广泛关注，国内外此方面研究成果颇多。 以最大限度提高视频质量为目的的数据块最优调度问题，通常是 NP 问题，大多采用启发式算法解决最优调 度问题[3]。其中，文献[4] 提出了根据节点的动态服务能力特性划分不同的等级，并且采取随机行走的方式选 择邻居节点，但是没有考虑数据块的优先级对邻居节点选择的影响。文献 [5] 提出了根据节点的上行带宽能 力来选择邻居节点的方法，按照上行带宽相似的节点各自划为一类，优点是提高了带宽的利用率，但同样 没有考虑到数据快的稀缺度和紧迫度特性。文献[6] 提出了启发式算法来选择邻居借点，但是只考虑了数据 的稀缺性，没有考虑数据的紧迫性，可能导致急需播放的数据块不能优先被请求。文献[7]提出了主动负载分 担的 P2P 流媒体系统数据调度算法，该算法有效提高了轻载节点带宽的利用率，但为考虑数据块优先级的 特性。 针对上述情况，本文提出了一种基于数据块优先级和负载性能（Data-Block Priority and Load Capacity, DPLC）的数据调度算法，该算法考虑到视频的可变比特率问题，允许数据块具有不同的大小；同时定义数 据块优先级，评估节点的负载性能，其中节点负载性能由节点的上行带宽利用率表示（利用率越高负载越 高）。本文为了方便评估将节点的负载性能，因此将负载状态分为 3 个等级（High 状态，Middle 状态，low 状态）。High、Middle 和 Low 状态分别依次代表状态代表高负载、负载均衡、低负载。

1

DPLC 算法设计 基于数据块优先级与节点负载性能的自适应 P2P 流媒体数据调度算法需要考虑以下问题：① 选择适当

的评估标准对数据块优先级进行评估；② 选择适当的评估标准确定节点负载等级；③获取节点实时负载信 息以选择邻居节点；④ 数据块的转移实现高负载节点向低负载节点的数据转移。

1.1 数据块优先级和请求频率的评估 P2P 流媒体系统中，流媒体数据通常分成不同的数据块。假设流媒体文件被分割成了大小相同的数据块。 每个数据块的大小为 M 字节，由于媒体文件是按照一定的数据块的顺序进行播放，所以按照播放顺序将各 个块分别编号为 1，2，3，⋯ ， m 。其中 Sm 表示对应流媒体数据块中的序号为第 m 个数据块。另外，为了 反映节点拥有数据块的情况，每个节点都有相应的滑动窗口（如图一所示），滑动窗口中包含了已播放过 的数据块和即将播放的数据块。在滑动窗口内，数据块的可用信息用缓存映像 BufferMap (BM)来表示，BM 中含有每个数据块的可用性信息，节点通过 BM 来获知自身所缺失的数据块，并通过与邻居节点相互交换 BM 得知邻居节点所包含数据块的情况。 假设节点的滑动窗口的大小为 L 个字节，是数据块的整数倍，滑动 窗口以外的数据块不在节点请求的考虑范围之内，所有节点的滑动窗口均以相同的速度向右移动。同时为 了减少传输开销，算法利用一个字段来表示数据块信息：如果该数据块存在则其值为 1，否则表示该数据块 不存在则其值为 0。 滑动窗口

111011110110110 错过的 数据块

播放点

已到达 数据块

缺失的 数据块

图 1 滑动窗口示意图

在 DPLC 算法模型中定义以下参数，如表 1 所示。DPLC 算法考虑数据块优先级与数据块的稀缺性和紧 迫性两个因素相关，因此给出数据块优先级计算方法如式（1） 所示： - 103 http://www.ivypub.org/cst

DPi k 



kDi , jAi

Bijk   (Tik  Ti ) ， i  N

（1）

kDi



Bijk 值越大，数据块的稀缺度越高；  (Tik  Ti ) 值越大，数据块的紧急度越高。 kD 数据块的请求频率是某个时间段内该数据块的请求次数，因此可以给出数据块 i 的请求频率的公式，如 其中：

kDi , jAi

i

式（2）所示： NT

 Vit

AFi  t 1 NT

， i  N

（2） NT

其中： Vit 表示数据块 i 在单位时间 t 内被请求的次数； NT 表示总共的单位时间的个数；  Vit 表示在 t 1

NT 时间内数据块 i 被请求的总次数。 表 1 参数定义 符号

定义

N

流媒体系统中所有节点的编号，不包括源节点 (N  {1,2,3, ,n})

M

流媒体文件中数据块的编号 (K  {1,2,3, ,k})

Di

节点 i 在一个调度周期内请求的数据块的集合 节点 i 的邻居节点集合

Ai DPi

节点 i 缺失的数据块 k 的优先级大小，其中 k  Di

k

Ti k

节点 i 中数据块 k 的播放时间点，播放块的编号 k 越大，播放时间点越靠后， k  Di

Ti

节点 i 的当前播放点的时间

Bijk

节点 i 所要请求的数据块 k 在邻居节点 j 的滑动窗口中是否存在，存在值为1，否则为0，其中 k  Di , j  Ai

Bijk

与 Bijk 定义相反，即 Bijk 为0或1时， Bijk 为1或0

AVG

全局分布视图上行带宽利用率的平均值

URi

节点 i 的上行带宽利用率

AFi

数据块 i 的请求频率

NT

某个时间段的单位时间个数

Vit

数据块 i 在单位时间内被请求的次数

1.2 节点负载等级的评估 P2P 流媒体系统中，若多个节点同时对同一节点发送请求数据，则导致被请求节点负载过高，引发请求 延时、网络拥塞、单点失效等情况。针对节点异构的网络环境，本文以上行带宽利用率表示节点负载，用 以下方法对节点负载等级进行评估。 负载等级分为三个等级 ( High, Middle, Low) 。首先取全局分布视图上行带宽利用率的平均值 AVG 作为负 载等级的参考标准。若节点的上行带宽利用率大于 AVG 的两倍，则定义该节点的负载为 High 等级；若节点 的上行带宽利用率小于 AVG 的一半，则定义该节点的负载为 Low 等级；在 High 与 Low 等级之间的负载为 Middle 等级。

1.3 负载信息的传播 每个节点维护一个全局负载分布视图，节点之间利用 Gossip 协议交换信息。基于六度空间理论，同时 考虑系统开销，限定消息被其他节点转发的次数低于 6

[8]

。每个节点维护的全局负载分布视图包含 2 个字段：

<ID, Rate>。其中，ID 和 Rate 分别表示该记录所对应的节点的标识和上行带宽利用率。节点定期根据上行 带宽利用率评估自身的负载状态，从而不断更新自己的负载状态。当节点的状态由 High 状态变为 Low 状态 或由 Low 状态变为 High 状态时，该节点就会通过 Gossip 协议向邻居节点传递负载信息。每条负载信息包含 - 104 http://www.ivypub.org/cst

5 个字段：<ID, Rate, Available_migrant, Request_migrant, Step>。其中，当 Available_migrant 的值为 1 表示可 以接收数据迁移，值为 0 表示不接收数据迁移；当 Request_migrant 的值为 1 表示请求数据迁移，值为 0 表 示没有请求数据迁移； Step 表示负载信息被转发的次数，只将 Step<6 的负载信息添加到视图中。定义负载 信息传播步骤如下。 Step1：处于 High 状态的 A 节点（高负载节点）查看自身的全局负载分布视图，找出当前状态为 Low 的节点（低负载节点），并向这些节点发送 Request _migrant 值为 1 的数据迁移的负载信息，表示请求数据 迁移，分担负载压力。 Step2：收到迁移请求负载信息的 B 节点则根据当前的负载状态，如果当前为 Low 状态则将发送 Available_migrant 的值为 1 的负载反馈信息给 A 节点，表示可以接受数据迁移，反之，当前状态为 Middle 或者 High，则发送 Available_migrant 的值为 0 的负载反馈信息反馈信息给 A 节点，表示不接受数据迁移。 Step3：高负载节点 A 在收到负载反馈信息后，根据 DPLC 算法的负载迁移策略选择相应的低负载节点 发送数据块，根据 DPLC 算法在自身数据请求列表中查找对数据块优先级要求比较高的请求，并查看这些 低负载节点的缓存映像中是否有该数据请求所需的数据，如果没有就在全部可用的备选节点中选择数据迁 移的目标结点，把所请求的数据迁移到目标节点中．循环往复，直到节点自身的负载状态改变或者邻居节 点的负载为 High 状态。

1.4 负载迁移过程 在整个 P2P 系统中，如图二所示，由于多个节点 C、D、E、F 同时向 B 节点发送数据请求，B 节点向 它们发送所请求的数据块，导致自身负载不断升高。采用 DPLC 算法后，B 节点会选择向低负载邻居节点 A 发送 C 节点请求的优先级较低的数据块以及 B 节点中被请求频率较高的数据块，然后通过 A 节点向 C 节点 推送 C 请求的数据块，以此来减少高负载节点 B 的负载压力，从而实现整个系统的负载均衡。为了保证流 媒体流畅播放，数据块要在播放之前按照一定的顺序到达，因此数据块具有时效性。因此算法选择负载迁 移请求完成时间最小的节点 A 作为迁移的目标节点。根据节点之间的负载信息传送的延时、节点处理负载 信息所花费的时间可给出负载迁移请求完成的时间，如式（3）所示。

ATi j  Di j  H j ， i, j  N

（3）

其中， ATi j 表示从节点 i 发送给节点 j 负载迁移请求到节点 i 接收到反馈的时间。 Di j 表示负载迁移请求 的传输延时。 H j 表示节点 j 的请求处理时间。 D节点 A节点 （低负 载） B节点 （高负 载）

C节点

E节点 图 2 负载迁移示意图

2

F节点

基于 PeerSim 的仿真与分析

2.1 仿真环境的搭建及参数设置 - 105 http://www.ivypub.org/cst

为验证算法的性能，本文采用 PeerSim (Peer-to-Peer Simulator) 作为本次实验的仿真平台，同时利用 GTITM 拓扑产生器构造物理网络拓扑结构。PeerSim 仿真器采用组件机制，便于实现新的协议；仿真的硬件环 境是一台酷睿 2 双核 CPU（主频 2.53GHz）处理器、4GB 内存、64 位 Win7 操作系统的 IBM 笔记本。实验 中算法的仿真环境参数按照表 2 进行设置，系统随机产生 400 个数据请求，每个节点的邻居节点为 20 个， 初始的数据请求指向系统的 40%的节点，将本文提出的 DPLC 算法与局部最少优先(Local Rarest First, LRF) 算法[9]进行仿真实验对比。 表 2 仿真参数定义 参数名

设定值

跟踪服务器 系统节点总数

单位

1

个

1500

个

5

个

数据块总数

10

邻居节点 节点之间的带宽

20 10

个 Gbps

数据块大小

256

KB

滑动窗口大小

200

带宽统计时间

15

S

2.2 算法性能分析 如图 3 所示，DPLC 算法的负载均衡要优于 LRF 算法，因为 LRF 算法是根据数据块局部最少优先原则， 优先请求数据块集中的少数节点，因此没有考虑节点负载情况，造成系统的负载分布不均衡。而 DPLC 算 法将高负载节点的数据块推送到低负载节点上，再由低负载节点推送到请求节点上，以此减轻高负载节点

负载均衡指数

的负载压力，使部分负载分担到低负载节点上，从而使节点间的负载均衡。 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0

LRF DPLC

100

450

600

1100

比特率（kbps） 图 3 系统负载均衡比较

如图 4 所示，可以得出 DPLC 算法在吞吐量方面与 LRF 算法相比有所提高，通过分析系统仿真运行时 产生的日志，可以得知：LRF 算法使得拥有最少数据块的节点很容易负载过重而成为网络瓶颈，造成系统 负载不均衡同时还浪费了网络带宽[8]。当 DPLC 算法向含有最少数据块的邻居节点请求数据时，如果邻居节 点为低负载状态，节点发送请求数据给请求节点，如果邻居借点为高负载状态，此时，节点将被请求数据 块推送给相应的低负载节点，再有低负载节点推送给请求节点，这样就提高了系统的带宽利用率，从而提 高了整个系统的吞吐量。 - 106 http://www.ivypub.org/cst

5000 LRF

节点吞吐量（kbps）

4500

DPLC

4000 3500 3000 2500 2000 1500 1000 100

200

300

400

500

600

700

节点的编号 图 4 节点吞吐量的比较

3

结语 本文主要分析未充分利用数据块优先级和节点高负载导致缓冲延时长和带宽利用率低的相关数据调度

算法策略。通过分析，根据数据块优先级和节点之间的负载性能的差异提出基于数据块优先级和负载性能 的自适应 P2P 流媒体数据调度算法。 算法综合考虑了流媒体传输调度过程中的数据块的稀缺程度和紧迫程 度以及邻节点负载能力等因素，对高负载节点通过将自身被请求优先级高的数据块及请求频率高的数据块 推送至低负载节点，从而有效解决了访问热点问题引发的负载失衡问题和缓冲时延长问题。通过仿真实验， 证明 DPLC 算法在系统负载均衡和系统吞吐量方面比 LRF 算法更加优越。

REFERENCES [1]

Li Hao, Wang NingJun. Research on IPTV Based on Peer-to-Peer Network, 2007 (6): 61-64.

[2]

Zhang X, Liu J, Li B, et al. CoolStreaming/DONet: A Data-Driven Overlay Network for Peer-to-Peer Live Media Streaming[C] INFOCOM 2005. 24th Annual Joint Conference of the IEEE Computer and Communications Societies. Proceedings IEEE. IEEE, 2005, 3: 2102-2111.

[3]

Lei Wei, Zheng Quan. Context-Aware Adaptive Data Scheduling Algorithm for P2P Streaming Media [J]. Computer Applications and Software, 2012, 29(9).

[4]

Feng Zhentan, Ni Hong, Wang Jinlin, You Jiali. Adaptive Neighbor Selection Method for The P2P Media Streaming System [J].

Journal of Xidian University, 2012, 39(3): 136-143.

[5]

Endo R, Takayama K, Sakata Y, et al. Neighbor Selection Method Based on Sending Capacity for P2P Live Streaming with Layer Coding[C]//Ubiquitous Intelligence & Computing and 9th International Conference on Autonomic & Trusted Computing (UIC/ATC), 2012 9th International Conference on. IEEE, 2012: 264-271.

[6]

Zhang, Meng, et al. "MMC03-4: On the Optimal Scheduling for Media Streaming in Data-driven Overlay Networks." Global Telecommunications Conference, 2006. GLOBECOM'06. IEEE. IEEE, 2006.

[7]

Wen Qiongfei, Zhu Yanqin, Ji Qijin. A Data Scheduling Algorithm Based on Active Load Sharing in P2P Media Streaming System [J]. Journal of Jiangsu University of Science and Technology (Natural Science Edition, 2012, 26(02): 181-184.

[8]

Meng Xianfu, Chen Xiaoling. Strategy for Hotspot Load Dynamic Migration in Structured P2P Network [J]. Acta Electronica Sinica, 2011, 39(10): 2407-2411.

[9]

Tian Y, Wu D, Ng K W. Modeling, Analysis and Improvement for Bittorrent-Like File Sharing Networks[C]//INFOCOM 2006.

25th IEEE International Conference on Computer Communications. Proceedings. IEEE, 2006: 1-11.

- 107 http://www.ivypub.org/cst

【作者简介】 1

高奥子（1988-），男，汉族，硕士研究

2

张晋豫（1967-），男，汉族，博

生，研究方向为 P2P 流媒体传输协议。

士，教授，研究方向为计算机网络

Email: 12120412@bjtu.edu.cn

及通信技术。Email: zjy@bjtu.edu.cn

- 108 http://www.ivypub.org/cst