2024年11月3日发(作者:鄂婉容)
基于P2SP 技术的迅雷下载干扰方案的设计与实现
摘要:迅雷是一款新型的基于P2SP原理的网格技术下载软件,
凭借“简单、高速”的下载体验,已经成为中国互联网最流行的应用
服务软件之一。
关键词:P2SP;P2P;Peer 列表.
1.概述
随着现代信息技术的发展,对于在任何时间、任何地点、任何设
备间进行信息交换的需求越来越迫切。当前的即时通讯服务使人们能
够知道彼此的存在并且交换信息,然而,几乎所有的这些服务都基于
客户端/服务器(C/S)的体系结构。如果服务器出现故障,那么所有的
连接都将丢失,为了改善这种情况,对等网络(英文简称Peer to Peer)
体系结构应运而生。在对等网络体系结构中,每个对等节点(peer)
既扮演了服务器的角色又扮演了客户端的角色。对等网络实现了对等
节点之间资源的传输和共享。
最近几年,P2P迅速成为计算机界关注的热门话题之一,财富杂
志更将P2P列为影响Internet未来的四项科技之一。P2P技术是在
Internet现有资源组织和查找形式之外研究新的资源组织与发现方
法,P2P技术最大的意义在于不依赖中心结点而依靠网络边缘结点自
组织对等协作的资源发现(Discovery Lookup)形式。P2P技术具有非
中心化、可扩展性、健壮性、高性能/价格比等特点,具有广阔的应
用前景,目前该技术正在不断的应用到军事领域、商业领域、政府信
息领域等。另外,各国目前都在对该技术进行大力的研究,包括SUN
公司的JXTA、Google的Google搜索系统、微软的msn。
P2P(Peer to Peer)用户对用户,即对等计算或对等网络,可
以简单的定义成通过直接交换,共享计算机资源和服务。在P2P网络
环境中,彼此连接的计算机均处于对等的地位,每台计算机既能充当
网络服务的请求者,又能对其他计算机的请求做出响应,提供资源与
服务。通常这些资源和服务包括信息的共享与交换、计算资源的共享
使用、存储资源的使用等
【1】
。P2SP全称是Peer to Server&Peer,
用户对服务器和用户,不同于P2P,也不同于P2S(Peer to Server),
P2SP下载方式实际上是对P2P技术的进一步延伸,它不但支持P2P
技术,同时还通过多媒体检索数据库这个桥梁把原本孤立的服务器资
源和P2P资源整合到一起。在传统的传输技术中用户一次只能连接一
个服务器进行下载,而P2SP技术能搜索某一内容在其他服务器上镜
像并将其存储于数据库中,用户能同时从多个服务器上下载内容
【2】
。
迅雷是P2SP的典型代表,它利用独特的“多媒体搜索引擎技术”,
不再是单纯的服务器多线程下载或者单纯的P2P内容传递,而是把所
有P2P资源与原本孤立的服务器及其镜像资源进行整合,可以同时从
多个服务器端下载文件,这样下载速度更快,同时下载资源更丰富,
下载稳定性更强。
2.P2SP应用的工作原理
P2SP应用包括两部分,第一部分是P2S,即Peer to Server,
属于传统的C/S体系结构,第二部分是P2P,即Peer to Peer,也就
是P2P体系结构,P2SP应用通过资源服务器将C/S和P2P两种体系
结构进行了整合。首先明确,资源服务器是指专门用于自动收集存储
资源信息和向客户端发放所需拥有资源的地址列表,节点服务器是指
拥有该资源并可以提供下载的HTTP或FTP服务器。基于P2SP文件下
载应用的一般工作流程如下:
图1 P2SP应用的工作原理图
(1)客户端在因特网上得到下载资源的链接,链接可以通
过下载软件站点获取,比如天空软件站,也可以通过资源搜索引擎获
取,比如迅雷旗下的狗狗。我们称这个链接所指向的资源为原始资源。
客户端通过HTTP或者FTP请求原始资源,从原始资源地址获取数据。
(2)客户端根据原始资源的名称、大小等信息计算其HASH
值,此HASH值能够唯一地标识该资源。然后通过HASH值向资源服务
器发出请求,请求因特网上具有该资源的其他节点服务器列表和在线
的客户端列表。资源服务器分别返回这两种地址列表。
(3)客户端向节点服务器发起请求,从这些节点服务器获
取数据,进行P2S下载。
(4)客户端向其他客户端发起请求,从这些在线客户端获
取数据,进行P2P下载。
3.迅雷的架构
我们了解了P2SP应用的工作原理,下面我们来了解一下迅雷的
架框。它的协议和机制没有正式文件,因此我们开始通过调查系统如
何运作的来进行研究。为了明确起见,我们分成三个阶段的客户端服
务器通信:登录,空转和下载。登录过程发生时,客户端启动,空转
的程序是指客户端没有文件或文件下载并搜查一些事情。包括请求源
和下载整个文件传输。对于每一个阶段,所有的数据包都会经网络封
包分析软件经过仔细的分析,我们打算找出客户端服务器通信和迅雷
服务器系统基础设施。
4.迅雷的下载行为
首先,我们选择的下载排名,作为我们的实验对象门户网站列出
了一些文件。接下来,我们从网站下载文件分别和每个下载进度是网
络封包分析软件的记录。我们的分析是基于源和目的IP地址,协议,
数据包级的数据字节提取信息。
基于迅雷框架和下载行为的研究,我们可认为,迅雷系统由三部
分组成:迅雷服务器,内容服务器提供商和同伴。迅雷服务器收集的
资源从内容服务器供应商和同行的信息。在图2中,采取的是一般下
载的例子。如果一个名为“Bob”的用户推出了下载请求到服务器的
“A”,迅雷的索引服务器可以告诉“Bob”资源(其他地点,他还可
以下载该文件),然后“Bob”将连接到它们下载与多源技术的数据分
别。一般情况下,迅雷支持包括HTTP、FTP、比特流,其正当性的几
个协议。数据是通过UDP同行之间转让。 UDP和TCP是用于与内容
服务器供应商沟通。
图2 迅雷系统图
5.迅雷服务器
迅雷服务器不同于电驴的客户服务器结构
[4]
。电驴服务器数量和
地址变更频繁,而迅雷服务器数量和地址是稳定的。迅雷服务器比电
驴更复杂,更具系统性。在电驴的网络中,每个服务器主要是为客户
负责的文件编制索引,但迅雷服务器进行有效的合作与工作明确的划
分,如客户端初始化,广告,文件索引,病毒扫描,图片存储等。例
如,在启动时迅雷客户端连接到一个特定的服务器。一个进一步分析
服务器的数量,然后存取和展示广告。最后,另一台服务器负责寻找
目标文件。
6.迅雷的客户端
迅雷的客户端服务器通信的分析结果如下:
(1)登录:当迅雷网络建立连接,客户端通常有一个迅雷服务
器登录序列。
(2)怠速:在怠速状态下,迅雷客户端保持与服务器除了更新
广告外的四种(表1)定期交互。我们认为这些是客户端的状态更新
和报告的心跳数据包。
(3)下载:当一个用户点击一个链接,从网站下载文件时,客
户端启动一个用于查询目标文件中指定的服务器的TCP连接。在收到
的回复时,客户端使用多源技术下载大量源文件。
表1:在怠速的相互作用
7. 迅雷的评价
了解了迅雷服务器和客户端,我们继续前进,以评估其下载到调
查其受欢迎的原因。在这里,我们只给从网站下载任何多媒体文件的
分析结果。
(1)除了点击网站,我们看到从许多来源,迅雷客户端下载数
据。点击网站服务器的被定义为点击服务器。我们将其分为三组来源:
点击服务器,非点击服务器,同行。图3显示了不同来源的分布的门
户网站,所有三种类型的来源均向客户提供相应的数据。
图3:根据不同类型的下载源数量
(2)由于迅雷客户端从多源下载文件,我们怀疑它是否下载太
多重复组成的数据。这样,我们来将下载的数据和目标文件的进行比
较大小,我们计算每个下载的数据冗余。结果表明,迅雷的多源代理
有效地运作,可以从多种渠道下载。
(3)非点击下载服务器上的文件的行为是不适当的,它利用自
己的广告利润,页面浏览数等。但是,我们认为作为一个利用互联网
资源,这也平衡服务器间的负载战略。
4. 未来的工作
到目前为止,我们的初步结果给出了迅雷的结构和它的客户端服
务器通信的描述。根据我们的经验数据,迅雷客户端下载,包括服务
器和多源技术同行众多来源的数据。它也为我们提供了用于设计制作
了互联网,这将扩大和充分利用先进的正式的业务驱动信息集成一些
提示,同时,考虑到迅雷的其他方面,(如IPTV,大容量文件共享),
我们将继续探索它,使迅雷得到全面的研究。
[参考文献]
[1] 张文,赵子铭.P2P 网络技术原理与C++开发案例[M].北京:
人民邮电出版社,2008.
[2] 丛敏景.基于P2SP 技术的网络下载工具迅雷的研究分析[D].
北京:中国科技论文在线.
[3] 龚元进.采用DPI 技术识别P2SP 协议[D]. TECHNOLOGY AND
MARKET:Vol.16,No.12,2009.
[4] 陈姝英.迅雷P2SP 架构及服务策略的分析[D].北京交通大
学.2007 年.
2024年11月3日发(作者:鄂婉容)
基于P2SP 技术的迅雷下载干扰方案的设计与实现
摘要:迅雷是一款新型的基于P2SP原理的网格技术下载软件,
凭借“简单、高速”的下载体验,已经成为中国互联网最流行的应用
服务软件之一。
关键词:P2SP;P2P;Peer 列表.
1.概述
随着现代信息技术的发展,对于在任何时间、任何地点、任何设
备间进行信息交换的需求越来越迫切。当前的即时通讯服务使人们能
够知道彼此的存在并且交换信息,然而,几乎所有的这些服务都基于
客户端/服务器(C/S)的体系结构。如果服务器出现故障,那么所有的
连接都将丢失,为了改善这种情况,对等网络(英文简称Peer to Peer)
体系结构应运而生。在对等网络体系结构中,每个对等节点(peer)
既扮演了服务器的角色又扮演了客户端的角色。对等网络实现了对等
节点之间资源的传输和共享。
最近几年,P2P迅速成为计算机界关注的热门话题之一,财富杂
志更将P2P列为影响Internet未来的四项科技之一。P2P技术是在
Internet现有资源组织和查找形式之外研究新的资源组织与发现方
法,P2P技术最大的意义在于不依赖中心结点而依靠网络边缘结点自
组织对等协作的资源发现(Discovery Lookup)形式。P2P技术具有非
中心化、可扩展性、健壮性、高性能/价格比等特点,具有广阔的应
用前景,目前该技术正在不断的应用到军事领域、商业领域、政府信
息领域等。另外,各国目前都在对该技术进行大力的研究,包括SUN
公司的JXTA、Google的Google搜索系统、微软的msn。
P2P(Peer to Peer)用户对用户,即对等计算或对等网络,可
以简单的定义成通过直接交换,共享计算机资源和服务。在P2P网络
环境中,彼此连接的计算机均处于对等的地位,每台计算机既能充当
网络服务的请求者,又能对其他计算机的请求做出响应,提供资源与
服务。通常这些资源和服务包括信息的共享与交换、计算资源的共享
使用、存储资源的使用等
【1】
。P2SP全称是Peer to Server&Peer,
用户对服务器和用户,不同于P2P,也不同于P2S(Peer to Server),
P2SP下载方式实际上是对P2P技术的进一步延伸,它不但支持P2P
技术,同时还通过多媒体检索数据库这个桥梁把原本孤立的服务器资
源和P2P资源整合到一起。在传统的传输技术中用户一次只能连接一
个服务器进行下载,而P2SP技术能搜索某一内容在其他服务器上镜
像并将其存储于数据库中,用户能同时从多个服务器上下载内容
【2】
。
迅雷是P2SP的典型代表,它利用独特的“多媒体搜索引擎技术”,
不再是单纯的服务器多线程下载或者单纯的P2P内容传递,而是把所
有P2P资源与原本孤立的服务器及其镜像资源进行整合,可以同时从
多个服务器端下载文件,这样下载速度更快,同时下载资源更丰富,
下载稳定性更强。
2.P2SP应用的工作原理
P2SP应用包括两部分,第一部分是P2S,即Peer to Server,
属于传统的C/S体系结构,第二部分是P2P,即Peer to Peer,也就
是P2P体系结构,P2SP应用通过资源服务器将C/S和P2P两种体系
结构进行了整合。首先明确,资源服务器是指专门用于自动收集存储
资源信息和向客户端发放所需拥有资源的地址列表,节点服务器是指
拥有该资源并可以提供下载的HTTP或FTP服务器。基于P2SP文件下
载应用的一般工作流程如下:
图1 P2SP应用的工作原理图
(1)客户端在因特网上得到下载资源的链接,链接可以通
过下载软件站点获取,比如天空软件站,也可以通过资源搜索引擎获
取,比如迅雷旗下的狗狗。我们称这个链接所指向的资源为原始资源。
客户端通过HTTP或者FTP请求原始资源,从原始资源地址获取数据。
(2)客户端根据原始资源的名称、大小等信息计算其HASH
值,此HASH值能够唯一地标识该资源。然后通过HASH值向资源服务
器发出请求,请求因特网上具有该资源的其他节点服务器列表和在线
的客户端列表。资源服务器分别返回这两种地址列表。
(3)客户端向节点服务器发起请求,从这些节点服务器获
取数据,进行P2S下载。
(4)客户端向其他客户端发起请求,从这些在线客户端获
取数据,进行P2P下载。
3.迅雷的架构
我们了解了P2SP应用的工作原理,下面我们来了解一下迅雷的
架框。它的协议和机制没有正式文件,因此我们开始通过调查系统如
何运作的来进行研究。为了明确起见,我们分成三个阶段的客户端服
务器通信:登录,空转和下载。登录过程发生时,客户端启动,空转
的程序是指客户端没有文件或文件下载并搜查一些事情。包括请求源
和下载整个文件传输。对于每一个阶段,所有的数据包都会经网络封
包分析软件经过仔细的分析,我们打算找出客户端服务器通信和迅雷
服务器系统基础设施。
4.迅雷的下载行为
首先,我们选择的下载排名,作为我们的实验对象门户网站列出
了一些文件。接下来,我们从网站下载文件分别和每个下载进度是网
络封包分析软件的记录。我们的分析是基于源和目的IP地址,协议,
数据包级的数据字节提取信息。
基于迅雷框架和下载行为的研究,我们可认为,迅雷系统由三部
分组成:迅雷服务器,内容服务器提供商和同伴。迅雷服务器收集的
资源从内容服务器供应商和同行的信息。在图2中,采取的是一般下
载的例子。如果一个名为“Bob”的用户推出了下载请求到服务器的
“A”,迅雷的索引服务器可以告诉“Bob”资源(其他地点,他还可
以下载该文件),然后“Bob”将连接到它们下载与多源技术的数据分
别。一般情况下,迅雷支持包括HTTP、FTP、比特流,其正当性的几
个协议。数据是通过UDP同行之间转让。 UDP和TCP是用于与内容
服务器供应商沟通。
图2 迅雷系统图
5.迅雷服务器
迅雷服务器不同于电驴的客户服务器结构
[4]
。电驴服务器数量和
地址变更频繁,而迅雷服务器数量和地址是稳定的。迅雷服务器比电
驴更复杂,更具系统性。在电驴的网络中,每个服务器主要是为客户
负责的文件编制索引,但迅雷服务器进行有效的合作与工作明确的划
分,如客户端初始化,广告,文件索引,病毒扫描,图片存储等。例
如,在启动时迅雷客户端连接到一个特定的服务器。一个进一步分析
服务器的数量,然后存取和展示广告。最后,另一台服务器负责寻找
目标文件。
6.迅雷的客户端
迅雷的客户端服务器通信的分析结果如下:
(1)登录:当迅雷网络建立连接,客户端通常有一个迅雷服务
器登录序列。
(2)怠速:在怠速状态下,迅雷客户端保持与服务器除了更新
广告外的四种(表1)定期交互。我们认为这些是客户端的状态更新
和报告的心跳数据包。
(3)下载:当一个用户点击一个链接,从网站下载文件时,客
户端启动一个用于查询目标文件中指定的服务器的TCP连接。在收到
的回复时,客户端使用多源技术下载大量源文件。
表1:在怠速的相互作用
7. 迅雷的评价
了解了迅雷服务器和客户端,我们继续前进,以评估其下载到调
查其受欢迎的原因。在这里,我们只给从网站下载任何多媒体文件的
分析结果。
(1)除了点击网站,我们看到从许多来源,迅雷客户端下载数
据。点击网站服务器的被定义为点击服务器。我们将其分为三组来源:
点击服务器,非点击服务器,同行。图3显示了不同来源的分布的门
户网站,所有三种类型的来源均向客户提供相应的数据。
图3:根据不同类型的下载源数量
(2)由于迅雷客户端从多源下载文件,我们怀疑它是否下载太
多重复组成的数据。这样,我们来将下载的数据和目标文件的进行比
较大小,我们计算每个下载的数据冗余。结果表明,迅雷的多源代理
有效地运作,可以从多种渠道下载。
(3)非点击下载服务器上的文件的行为是不适当的,它利用自
己的广告利润,页面浏览数等。但是,我们认为作为一个利用互联网
资源,这也平衡服务器间的负载战略。
4. 未来的工作
到目前为止,我们的初步结果给出了迅雷的结构和它的客户端服
务器通信的描述。根据我们的经验数据,迅雷客户端下载,包括服务
器和多源技术同行众多来源的数据。它也为我们提供了用于设计制作
了互联网,这将扩大和充分利用先进的正式的业务驱动信息集成一些
提示,同时,考虑到迅雷的其他方面,(如IPTV,大容量文件共享),
我们将继续探索它,使迅雷得到全面的研究。
[参考文献]
[1] 张文,赵子铭.P2P 网络技术原理与C++开发案例[M].北京:
人民邮电出版社,2008.
[2] 丛敏景.基于P2SP 技术的网络下载工具迅雷的研究分析[D].
北京:中国科技论文在线.
[3] 龚元进.采用DPI 技术识别P2SP 协议[D]. TECHNOLOGY AND
MARKET:Vol.16,No.12,2009.
[4] 陈姝英.迅雷P2SP 架构及服务策略的分析[D].北京交通大
学.2007 年.