监视和控制网络出口BT流量

wave

BT（BitTorrent，变态下载）的出现让许多上网用户在下载各种软件、电影等大块头数据时，体验到了飞一样的速度。然而，对于企业网络来说，这种基于P2P技术的文件共享对运行在其中的企业级应用，如ERP、CRM、VoIP等等，却造成巨大的冲击。无疑，对于企业网络的管理者来说，监视和控制网络中间的BT流量成了一个很紧迫而且头疼的问题。为什么说是头疼的问题呢，原因还需要从P2P下载和BT技术本身说起。什么是P2P下载技术“Peer to Peer”（简写P2P）是一种崭新的网络技术思想。不同于以往的有服务器和客户机结构区别的主从网络，它是一种对等网络技术。在某些场合，这种技术也称为“点对点”技术。P2P技术被认为是下一代互联网结构，代表着发展趋势。P2P技术是一个比较广泛的概念，以下主要讨论的是这种技术在内容共享和文件下载方面的应用。传统服务器/客户机下载概念是这样的，一台拥有目标文件的计算机（服务器），将目标文件共享出来，让一名或者多名下载者（客户机）在其上进行下载。这种下载离不开这个“一对一”或者“一对多”的共享概念。这种方式显而易见的瓶颈在于服务器和其所在网络，如果下载的人越多，服务器的本身资源和所在网络资源就会不够，那么对应的客户机下载的速度就越慢，甚至无法下载。P2P下载技术是对传统下载技术的变革，跨越了传统的共享思路，实现了“多点对多点”的共享概念。在使用P2P下载工具下载文件过程中，每一个下载者同时都会担当了上载者的角色，越多人下载，亦即表示拥有越多上载者将它们暂时不用的上载带宽分享出来，形成了一个“上载流”，再平均分给各个下载者。简单来说：你每次下载文件的同时，你就会将下载完的文件共享出来，不论是多少MB都会平均分享给每一位下载者，这就是“多点对多点”的共享概念。BT与P2P的关系BT之父Bram Cohen宣称：「很明显，他们（指传统方式的下载软件）的问题在于没有足够的带宽来满足人们的需要。我很清楚，实际上有很多的带宽摆在那里，但是它没有被恰当的使用。还有许多上传容量是人们没用到的。」P2P网络下载技术的发展可以被划分为三代：第一代是以Napster为代表的、还用中央服务器管理的P2P，这一代的P2P生命力十分脆弱??只要关闭服务器，网络就死了。Napster后来因为版权法被封了，这个P2P的网络就消失了；第二代分布式P2P没有中央服务器，但是速度太慢，如KaZaA这样的文件共享软件；而第三代为混合型，采用分布式服务器。目前我国流行的BT和eMule（电骡）就是属于这类。在像Napster和KaZaA这样较早期的P2P文件共享系统下，实际上只有很小部分人把文件向其他人分享，大部分用户都只是简单地下载。然而BT则使用了所谓的Golden Rule原理：你上传的速度越快，你下载的速度就越快。BT把档案分割成许多小块，当一个用户下载了某一小块时，它就会立即把这一小块上传给其它用户。因此，所有的用户在下载的同时，也在把自己已下载部分上传给他人。BT的这种工作原理，使得做“种子”的用户只需少许带宽，就可以把大文件共享给大量的下载者。        如果说Napster是文件交换的第一波，像KaZaA这样的软件则代表了第二波。那么，由Bram Cohen开发的BT将会引领文件交换的第三波??目前BT实际的用户难以估量，但是BT这个软件至少被下载了1000万次以上。而且软件的变种也很多，像国内流行的就有BitTorrent官方版本，BitTorrent Plus II，BitSpirit，BitComet，贪婪BT等等很多种。BT的总体使用情况是很难去衡量的。但是Internet2主干网基础构造的主管Steven C. Corbato表示，他在2003年5月份开始就注意到BT的流量开始激增。从当年10月份开始，BT的流量更是超过了这个超高速网络总体流量的10%。与之对比，其它的文件交换系统的流量没有一个能超过Internet2总体流量的1%。去年的6月份（2004.6），更是一个分水岭，在互联网上流传的视频流首次超过了音频流，这中间BT的作用功不可没。BT给企业网络造成的问题BT下载以其独特的优势受到广大用户的喜爱，它在下载的同时还为其他用户提供上传，因此下载的人越多，它的速度越快。因此，在高速的企业网络上下载巨大的音乐、电影文件是非常流行和普遍的。不过，麻烦也随之而来。1.        改变了企业网络流量尽管很多网络管理者知道在他们的网络中间存在BT下载，但很少有人真正了解这种应用占据了多少带宽资源。如果他们知道BT下载使用了他们网络中间60-70%的广域网带宽，可以想象他们会如何惊讶。很多企业使用广域网来连接各个地区的分支机构，BT下载严重破坏了广域网的出口带宽资源分配，彻底改变了企业网络流量构成。2.        网络流量不可预知性BT下载流量具有很大的侵略性。为了更有效率的交换文件，BT下载程序在启动时会建立数量巨大的连接，这些连接会使得网络流量突然迸发，进而在相当一段时间内维持很大的网络流量。这种情况会带来很严重的问题。在企业网络中间，BT下载不是唯一的应用程序，其他关键应用同样运行在这个网络上，并且使用了同一个广域网出口。3.        网络拥挤，造成企业关键业务明显延迟企业关键业务，如ERP系统、财务管理系统、供应链管理系统等等，这些应用会和BT下载共享企业的网络带宽。而这些业务系统通常都是对反应时间要求很高的。在BT下载运行时，操作人员会明显地感觉到这些业务系统反应很慢，甚至没有反应。其他对反应时间要求不是很高的应用，如电子邮件、数据备份、数据库数据同步等等，也很容易遭受到带宽的威胁。4.        BT下载造成很大的入站流量当企业内的用户开始使用BT下载，入站的流量就会从互联网经过广域网入口到达企业内部网。用户通常使用BT下载大量的多媒体文件，包括MP3格式的音频文件、CD镜像、压缩的电影文件，以及光盘镜像（ISO）、大型软件。这些文件小则4~5M，大则600~700M，甚至上G，全部数据均通过广域网出口流入。大量的BT下载必然造成很大的入站流量。5.        充当上载服务器，BT也带来巨大的出战流量根据BT的原理可以知道，使用BT下载的主机同时也充当了上载的服务器。不管使用BT的用户是否知道这个原理，BT下载带来了大量的出站流量。另外，在下载的任务结束之后，执行BT下载的主机将作为一个种子（Seed），将已经下载完成的文件提供给其他的BT用户使用，此时，网络流量基本上都是出站流量。这些流量会和其他的应用争夺有限的广域网出口出站带宽资源，造成其他应用的延迟。6.        无法正确识别BT流量尽管很多企业网络的管理者知道在他们的网络上运行有BT下载应用，但他们通常没有工具去发现这些流量，因此也不会了解BT下载对他们管理的网络带来的冲击。造成这种问题的原因有很大一方面来自BT下载使用的通讯机制。BT下载使用的机制比较容易迷惑人，它使用了动态端口，同时将本身的流量伪装成为HTTP流量。这种与生俱来的特性源于P2P程序的防御机制。使用这种机制后，BT下载流量很难被防火墙、路由器以及其他的过滤设备发现。传统的监控设备都是工作在OSI模型的第2、3或者4层，通过IP地址、MAC地址、TCP/UDP端口等等监视网络流量。这样的设计带来的问题就是，缺少对应用层（OSI模型的第7层）流量的分析，因此也无法比较出正常的HTTP流量和BT下载的流量区别。为了识别和管理BT下载流量，企业网络管理者必须使用基于第7层流量的分析工具。应用层分析技术        北京伟世盾安信息技术有限公司是一家新崛起的QoS网络设备研发和制造的高新技术企业。在其主打产品?PacketUpperTM网络流量优化服务器系列产品（简称PU）中间使用了自主开发的应用层分析技术。        PU使用了第7层包检测和分析技术来检查数据包内容，来对其进行分类。这种技术允许用户同时监视和控制伪装成其它流量的应用流量，如使用80端口的P2P流量。也可以用来识别运行在非标准端口的特定流量，如运行在8080端口上的HTTP流量。同时，这种技术对使用动态交换端口的应用如被动式文件传输（Passive FTP）和H.323应用等可以实行监控。        PU会监控网络流量和保持对他们状态的跟踪。在监控过程中，PU首先检查数据包头信息（如IP地址、端口号等）。为了获取数据包的包含的流量类型特定信息，PU会检查数据包的包体内容。每种应用程序使用不同的方式和协议通讯，通过对应用程序和协议知识的了解和积累，PU可以识别出流量类型。        PU的应用层分析技术使用了非常先进的算法，可以保证只检查相关数据，因此检测速度非常快，这也确保了不会有网络延迟被带入传输过程。PU采用完整的应用层协议分析技术，基于对已知协议和RFC规范的理解，能够准确、高效的识别各种已知应用，并且自然拥有检测协议异常、协议误用的能力，从另外一个方面提高了网络安全性。除了已知协议以外，用户还可以根据业务的需要和网络的特点，自己编写有针对性的特征签名，实现对特定协议或自主开发应用协议的状态追踪和流量监管。控制BT下载        每个企业网络的管理者对管理的网络都有不同的理解，因此，对于BT下载的控制方式也不尽相同。抛弃这些方面的不同，基本上可以参照以下几种方式来控制BT下载：1.        将整体BT下载的流量控制在某个范围内如整个企业可以使用的BT下载流量设定为1Mbps。企业剩余的其他网络带宽资源可以给关键业务或者其他非关键业务使用，有效地防止BT下载侵吞大量网络带宽资源。2.        限制或者禁止在特定时间段内的BT下载企业工作时间内限制或者禁止BT下载，这样工作时间内不会有BT下载流量和关键业务竞争，也充分保护了企业关键业务。同时，在非工作时间，企业员工也可以自行利用高速的企业网络资源。3.        将企业关键业务划分到专用动态带宽中间，BT下载使用剩余带宽，避免两者竞争。某些特定企业会使用BT下载提供服务。对于这样的企业，由于BT下载具有很高的侵略性，因此需要使用保护机制来保障其他关键业务的正常运行。通过将其他业务划分到动态带宽中间，充分保护这些应用。剩余的网络资源可以全部提供给BT下载使用。总结        北京伟世盾安信息技术有限公司提供的PU网络流量优化服务器系列产品对于企业网络中间存在的BT下载提供了很好的监视和控制解决方案。使用的应用层分析技术也让网络管理者对企业网络资源的应用分布情况得到了充分的了解和认知。