百度网盘和视频网站都在用的P2P技术是什么?

2020-04-23 17:16

百度网盘 云存储 P2P技术

百度网盘和视频网站都在用的P2P技术是什么?

网络传输技术阶梯式跨域,P2P技术已经悄然落叶生根

文|顾旭光

来源|智能相对论(aixdlun)

近几天,诞生二十余年的P2P技术由于安全性问题又成为了业界和大众热议的话题。作为一种去中心化的下载技术,其伴随了大部分国内第一代网民的青春记忆,时至今日还有大量的“种子”爱好者沉醉在这项技术带来的“福利”中。

站在历史的角度看,下载技术的发展史基本就是一部网络发展史,从互联网诞生的那天,带宽决定着互联网产品的形态,带宽和下载像一对相互制约斗争的孪生兄弟。

一、网络传输技术阶梯式跨域,P2P技术已经悄然落叶生根

百度网盘和视频网站都在用的P2P技术是什么?

图注:几种带宽技术的比较,来源:邓冠文,《中国互联网宽带技术的历史与发展方向》

从最早的HTTP、FTP下载协议,到1999年被开发出来的P2P(对等网络)下载,直至在P2P基础上延伸出的流媒体和BT下载协议,在信息传输方面互联网一直在进行着技术跨越。而P2P无疑是到目前为止最符合互联网开放、共享精神,并且被应用最广的一项技术。

1、文件分享与下载是P2P主要应用场景

P2P技术大规模通过互联网进入人们生活是在1999年。

当时18岁的肖恩·范宁(Shawn Fanning)为了和朋友分享MP3而发明了这项技术。

随后有大量的收费和免费下载工具都覆盖了P2P下载功能,比如国内最为知名的下载软件迅雷、海外大名鼎鼎的eMule、Vuze Bittorrent、Free Download Manager等等,P2P的发展历程一直伴随文件的分享与下载功能。

2、流媒体直播和点播赛道也大量采用P2P技术

将P2P技术应用于流媒体在我国发展很早,而网民熟悉的PPTV、PPStream则是其中著名的商业化应用,尤其是PPTV在互联网带宽不足的情况下,依靠P2P看的人越多越快的特性,在06~09年通过世界杯和超女的直播一度拿下了60%的市场份额,不过PPTV由于商业模式的失误被爱优腾反超则是后话。

直播、点播方面从2014年以来最有名的则是腾讯直播的XP2P技术和陌陌直播,前者在国庆阅兵上亿观看的压力下都有非常良好的表现,后者在直播间峰值阶段减少带宽压力方面也效果不俗。

此外,无论是迅雷、优酷,还是腾讯视频,都向用户默认开启了P2P。其中,迅雷用户可以手动关闭P2P,优酷则默认用户没有勾选“不参加P2P”,如不参加需要主动关闭,而腾讯视频的用户则没有选择,无法关闭P2P。

3、大数据场景下的分布式存储和科学计算

世界最著名的P2P分布式科学计算系统应该是“SETI@home”项目(简称为S@H或SETI),而这个项目在全球极客和科幻迷眼中有非常高的地位。

该项目由美国加利福尼亚大学伯克利分校在1999年发起,其目的是用射电望远镜传来的数据来搜寻地外文明,主要利用参与者闲余的CPU算力来协助项目组进行计算,这样的噱头和宏大的理念让该项目成为全球最成功的分布式计算项目。

二、稳定、安全和可控性,P2P技术优势紧跟用户需求在转

P2P之所以能在下载之外的领域大放异彩,与这项技术的产品特性紧密相关,分别是稳定性、安全性和可控性,这三者结合起来,又还原了网络原始的去中心化合作的交流模式,可以说P2P本身的诸多特性与互联网用户的根本需求紧密相关。

1、采取P2P技术可以提高生态的稳定性和可控性

我们在上一节说到,只要与大量数据传输和交换有关的场景,P2P就有可能存在,比如我们非常熟悉的直播、点播或者个人网盘。以网盘为例,如果把下载或者诸如在线视频播放等其他功能比作从服务商的仓库里取东西,那么P2P就是让我们每个人都同时承担仓库和取货人的角色,因为网络传输的一切都是数据,我们下载了数据以后,我们的电脑就成了一个个有数据信息的小型仓库,其他同学又可以从我们的电脑上通过P2P协议下载。这样就减轻了服务商仓库(服务器)的压力,因为每个人都在一个时间点去同一个仓库里拿货,仓库肯定难以承受,也就是我们说的“网站炸了”,大部分的网络攻击,实际上也就是通过恶意的“取货”让目标的服务器宕机。

百度网盘和视频网站都在用的P2P技术是什么?

图注:曾经十分火热的免费网盘如今已经所剩不多

回头看当下的网盘行业,2019年继金山网盘、迅雷快盘等产品之后,网易网盘也正式宣布关闭,网盘整个赛道的不景气背后是带宽、服务器以及巨大的运维成本,尤其是严格监管下内容审核都让各家产品难以为继。

根据极光的《2019年个人网盘行业研究报告》显示,个人网盘行业安装渗透率由2018年11月的20.2%上升至2019年11月的22.1%,增长1.9个百分点;月度活跃用户2019年下半年持续上升,11月达1.065亿。

百度网盘和视频网站都在用的P2P技术是什么?

在如此大的用户体量下,稳定的网盘体验实际上依赖的是公司在数据中心上支付的巨额成本,大量个人网盘在2016年一番洗牌后纷纷倒掉的原因无非是成本太高,付费用户太少,盈利点稀少因而难以为继,活下来的不是靠资金硬撑,就是对个人云存储业务长期看好有布局意愿。

大量个人网盘倒掉之后就是大量用户集中于少数云盘之中。

而在网盘的使用场景中,有些文件必然是有大量用户在同时下载或者上传的,在这种情况下利用P2P技术可以有效的减轻服务器的压力并提升全体用户的体验。

“智能相对论”认为,广泛利用P2P实际是针对全体用户的最优解,降低整个下载生态的承压,从而间接的提升每一位用户的体验,是互联网共享精神的终极体现。

2、P2P下载的内容具有高度的安全性

由于P2P传输是去中心化的,每位用户每个节点既可以从其他节点得到服务,又充当节点向其他用户提供服务,共同实现效益最大化的共享状态,对于有些用户来说自身的文件安全问题就成为了关键话题。

实际上P2P的安全性实在无需过度担忧,依然用网盘来举例,我们在市面上看到的大量网盘采取的都是存储集群技术,只有高度共享的文件(比如有许多人下载或者存储的某部电影)才有可能在下载或者上传中使用到P2P的互帮互助技术,而私人文件不可能进入到这个环节当中。从这个角度看,P2P加网盘本身的不安全文件查筛和过滤机制,实际上拥有超越FTP和HTTP下载的安全性。

3、受控的P2P不会威胁用户的使用体验

在过去带宽严重不足的年代,在笔者生活小县城的网吧里,偷开迅雷或者电驴是非常危险的一件事,如果被网管或者其他玩网游的社会人抓到,很有可能被胖揍一顿。

这种奇葩现象的出现纯粹是因为当时的网络带宽实在有限,而且一般开迅雷或者电驴都是贪多求快,力求在短暂的上网时间内下更多的资源,而网吧采取的又是局域网串联策略,结果导致整个网吧网络速度都在短期内完蛋。

不过目前的情况已经完全不用,一方面用户硬件性能的普遍过剩,目前的P2P都是基于本地工具才可能能实现,可以实现自主控速,这让限速的P2P技术对于用户系统和宽带资源的占用其实很小,甚至一般用户在使用过程中基本难以察觉。

另外我国宽带主要采用的ADSL、HFC等接入技术,宽带相比早年已经有了大幅度进步,包括智能相对论在内的许多网友都测试过,家中100M的宽带,开着不限速的P2P实际上也并不影响日常工作。

而且在目前网络接入模式下,都是下行速率高、上行速率低,P2P的上行分享其实不会严重威胁到用户的上行带宽宽带速率,总而言之,使用P2P的文件分享最终对用户的网络使用体验并不会有非常明显的影响,尤其在控制上传速度之后。

三、拥抱P2P技术,或是我们最好的姿势

互联网发展到了今天,摩尔定律日渐失效,我们短期内或许再也很难经历从拨号光猫上网到光纤到楼那样非常迅猛的带宽变化,在这种情况之下,尤其是在使用密度越来越大的网盘领域,重新拥抱互联网的分享精神,回头看看P2P这门已经诞生了20年的传统技术,或许是非常好的时间节点,主要原因有三。

1.用户存储需求趋向内容多元化和存储空间巨大化,导致大量网盘服务商承压倒掉,用户越来越集中,必然带来剩余的服务商承担更大的运营成本,在个人网盘领域,既有个人使用的“私域性”,又有共同体的“公域性”。

对于网民来说,实际上不仅仅是在网盘,在其他更多领域,都要有较强的网络公民意识,否则只会发生“公地悲剧”,每个人都利益最大化之后,造成整个公共生态的崩溃。所以通过P2P技术对内容、带宽进行共享,重温互联网本初的共享精神,将成为各类领域的主要趋势。

2.技术的发展和进步需要时间,尤其在带宽这个涉及到基础建设投入的赛道。从1994年我国加入互联网至今,我们从ISDN的电话拨号到LAN的光纤入户,经历了二十多年的沉淀期,这背后是接近一代人的时间。

从小范围的视野来看,短期来看,带宽不会有非常明显的渐进式变化,更多的是技术更新后的节点式爆发增长,与此同时是在云盘服务使用人数上迅速的增长,比如百度网盘,在2014年就有超过2亿的用户量,到了2019年这一数字已经变成了6亿,而这个过程中,我们尚未完成从4G到5G的跨越。

云存储中最大的矛盾就是巨大的用户体量和高体验标准与增长有限的带宽之间的矛盾。但是后者如同修建高铁,不是一个公司能够解决的问题,这就需要整个用户给企业更多时间,同时积极接纳类似于P2P之类的“传统手艺”。

3. 太多用户对网盘有一种十分矛盾的心态,一方面是非常低的付费意愿和异常挑剔的使用习惯,另一方面又非常担心网盘服务倒掉之后的文件下载和存储何处去,但是我们不得不承认的是,正是这种矛盾的心态促成了大量免费网盘在2016年的爆红,也让这批网盘在艰难维续之后迅速衰亡。

理性来看,付费意识和共享精神并不冲突,付费本身是市场经济下对用户利益的维护行为,因为赚钱的公司才有能力为用户提供好的服务,只有利他才能自利,在互联网个人网盘业务日益萎缩的背景下,付费与共享将越来越紧密联系。

因为如果要保证能有良好的个人云盘体验,我们必须要在二者中间二选一,或者付费,或者接受P2P式的共享,因为这是历史趋势,也是不可改变的市场经济规律!