在Linux中实现流量控制

smile787

在Linux操作系统中流量控制器(TC)主要是在输出端口处建立一个队列进行流量控制，控制的方式是基于路由，亦即基于目的IP地址或目的子网的网络号的流量控制。流量控制器TC，其基本的功能模块为队列、分类和过滤器。Linux内核中支持的队列有，Class Based Queue ，Token Bucket Flow ，CSZ ，First In First Out ，Priority ，TEQL ，SFQ ，ATM ，RED。这里我们讨论的队列与分类都是基于CBQ(Class Based Queue)的，而过滤器是基于路由(Route)的。Linux从kernel 2.1.105开始支持QOS，不过，需要重新编译内核。运行 make config时将 EXPERIMENTAL　_OPTIONS 设置成 y，并且将 Class Based Queueing (CBQ), Token Bucket Flow, Traffic Shapers 设置为 y ，运行 make dep; make clean; make bzilo，生成新的内核。 　　在Linux操作系统中流量控制器(TC)主要是在输出端口处建立一个队列进行流量控制，控制的方式是基于路由，亦即基于目的IP地址或目的子网的网络号的流量控制。流量控制器TC，其基本的功能模块为队列、分类和过滤器。Linux内核中支持的队列有，Class Based Queue ，Token Bucket Flow ，CSZ ，First In First Out ，Priority ，TEQL ，SFQ ，ATM ，RED。这里我们讨论的队列与分类都是基于CBQ(Class Based Queue)的，而过滤器是基于路由(Route)的。 　　配置和使用流量控制器TC，主要分以下几个方面：分别为建立队列、建立分类、建立过滤器和建立路由，另外还需要对现有的队列、分类、过滤器和路由进行监视。 　　其基本使用步骤为： 　　1) 针对网络物理设备(如以太网卡eth0)绑定一个CBQ队列； 　　2) 在该队列上建立分类； 　　3) 为每一分类建立一个基于路由的过滤器； 　　4) 最后与过滤器相配合，建立特定的路由表。 先假设一个简单的环境 　　流量控制器上的以太网卡(eth0) 的IP地址为192.168.1.66，在其上建立一个CBQ队列。假设包的平均大小为1000字节，包间隔发送单元的大小为8字节，可接收冲突的发送最长包数目为20字节。 　　假如有三种类型的流量需要控制: 　　1) 是发往主机1的，其IP地址为192.168.1.24。其流量带宽控制在8Mbit，优先级为2； 　　2) 是发往主机2的，其IP地址为192.168.1.26。其流量带宽控制在1Mbit，优先级为1； 　　3) 是发往子网1的，其子网号为192.168.1.0，子网掩码为255.255.255.0。流量带宽控制在1Mbit，优先级为6。 1. 建立队列 　　一般情况下，针对一个网卡只需建立一个队列。 　　将一个cbq队列绑定到网络物理设备eth0上，其编号为1:0；网络物理设备eth0的实际带宽为10 Mbit，包的平均大小为1000字节；包间隔发送单元的大小为8字节，最小传输包大小为64字节。 　　?tc qdisc add dev eth0 root handle 1: cbq bandwidth 10Mbit avpkt 1000 cell 8 mpu 64 2. 建立分类 　　分类建立在队列之上。一般情况下，针对一个队列需建立一个根分类，然后再在其上建立子分类。对于分类，按其分类的编号顺序起作用，编号小的优先；一旦符合某个分类匹配规则，通过该分类发送数据包，则其后的分类不再起作用。 1） 创建根分类1:1；分配带宽为10Mbit，优先级别为8。 ?tc class add dev eth0 parent 1:0 classid 1:1 cbq bandwidth 10Mbit rate 10Mbit maxburst 20 allot 1514 prio 8 avpkt 1000 cell 8 weight 1Mbit 　　该队列的最大可用带宽为10Mbit，实际分配的带宽为10Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为8，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为1Mbit。 2）创建分类1:2，其父分类为1:1，分配带宽为8Mbit，优先级别为2。 ?tc class add dev eth0 parent 1:1 classid 1:2 cbq bandwidth 10Mbit rate 8Mbit maxburst 20 allot 1514 prio 2 avpkt 1000 cell 8 weight 800Kbit split 1:0 bounded 　　该队列的最大可用带宽为10Mbit，实际分配的带宽为 8Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为1，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为800Kbit，分类的分离点为1:0，且不可借用未使用带宽。 3）创建分类1:3，其父分类为1:1，分配带宽为1Mbit，优先级别为1。 ?tc class add dev eth0 parent 1:1 classid 1:3 cbq bandwidth 10Mbit rate 1Mbit maxburst 20 allot 1514 prio 1 avpkt 1000 cell 8 weight 100Kbit split 1:0 　　该队列的最大可用带宽为10Mbit，实际分配的带宽为 1Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为2，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为100Kbit，分类的分离点为1:0。 4）创建分类1:4，其父分类为1:1，分配带宽为1Mbit，优先级别为6。 ?tc class add dev eth0 parent 1:1 classid 1:4 cbq bandwidth 10Mbit rate 1Mbit maxburst 20 allot 1514 prio 6 avpkt 1000 cell 8 weight 100Kbit split 1:0 　　该队列的最大可用带宽为10Mbit，实际分配的带宽为 64Kbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为1，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为100Kbit，分类的分离点为1:0。 3. 建立过滤器 过滤器主要服务于分类。一般只需针对根分类提供一个过滤器，然后为每个子分类提供路由映射。 1） 应用路由分类器到cbq队列的根，父分类编号为1:0；过滤协议为ip，优先级别为100，过滤器为基于路由表。 ?tc filter add dev eth0 parent 1:0 protocol ip prio 100 route 2） 建立路由映射分类1:2, 1:3, 1:4 ?tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 2 flowid 1:2 ?tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 3 flowid 1:3 ?tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 4 flowid 1:4 4.建立路由 该路由是与前面所建立的路由映射一一对应。 1） 发往主机192.168.1.24的数据包通过分类2转发(分类2的速率8Mbit) ?ip route add 192.168.1.24 dev eth0 via 192.168.1.66 realm 2 2） 发往主机192.168.1.30的数据包通过分类3转发(分类3的速率1Mbit) ?ip route add 192.168.1.30 dev eth0 via 192.168.1.66 realm 3 3）发往子网192.168.1.0/24的数据包通过分类4转发(分类4的速率1Mbit) ?ip route add 192.168.1.0/24 dev eth0 via 192.168.1.66 realm 4 　　注：一般对于流量控制器所直接连接的网段建议使用IP主机地址流量控制限制，不要使用子网流量控制限制。如一定需要对直连子网使用子网流量控制限制，则在建立该子网的路由映射前，需将原先由系统建立的路由删除，才可完成相应步骤。 5. 监视 　　主要包括对现有队列、分类、过滤器和路由的状况进行监视。 1）显示队列的状况 简单显示指定设备(这里为eth0)的队列状况 ?tc qdisc ls dev eth0 qdisc cbq 1: rate 10Mbit (bounded,isolated) prio no-transmit 详细显示指定设备(这里为eth0)的队列状况 ?tc -s qdisc ls dev eth0 qdisc cbq 1: rate 10Mbit (bounded,isolated) prio no-transmit Sent 7646731 bytes 13232 pkts (dropped 0, overlimits 0) borrowed 0 overactions 0 avgidle 31 undertime 0 　　这里主要显示了通过该队列发送了13232个数据包，数据流量为7646731个字节，丢弃的包数目为0，超过速率限制的包数目为0。 2）显示分类的状况 简单显示指定设备(这里为eth0)的分类状况 ?tc class ls dev eth0 class cbq 1: root rate 10Mbit (bounded,isolated) prio no-transmit class cbq 1:1 parent 1: rate 10Mbit prio no-transmit #no-transmit表示优先级为8 class cbq 1:2 parent 1:1 rate 8Mbit prio 2 class cbq 1:3 parent 1:1 rate 1Mbit prio 1 class cbq 1:4 parent 1:1 rate 1Mbit prio 6 详细显示指定设备(这里为eth0)的分类状况 ?tc -s class ls dev eth0 class cbq 1: root rate 10Mbit (bounded,isolated) prio no-transmit Sent 17725304 bytes 32088 pkts (dropped 0, overlimits 0) borrowed 0 overactions 0 avgidle 31 undertime 0 class cbq 1:1 parent 1: rate 10Mbit prio no-transmit Sent 16627774 bytes 28884 pkts (dropped 0, overlimits 0) borrowed 16163 overactions 0 avgidle 587 undertime 0 class cbq 1:2 parent 1:1 rate 8Mbit prio 2 Sent 628829 bytes 3130 pkts (dropped 0, overlimits 0) borrowed 0 overactions 0 avgidle 4137 undertime 0 class cbq 1:3 parent 1:1 rate 1Mbit prio 1 Sent 0 bytes 0 pkts (dropped 0, overlimits 0) borrowed 0 overactions 0 avgidle 159654 undertime 0 class cbq 1:4 parent 1:1 rate 1Mbit prio 6 Sent 5552879 bytes 8076 pkts (dropped 0, overlimits 0) borrowed 3797 overactions 0 avgidle 159557 undertime 0 　　这里主要显示了通过不同分类发送的数据包，数据流量，丢弃的包数目，超过速率限制的包数目等等。其中根分类(class cbq 1:0)的状况应与队列的状况类似。 　　例如，分类class cbq 1:4发送了8076个数据包，数据流量为5552879个字节，丢弃的包数目为0，超过速率限制的包数目为0。 显示过滤器的状况 ?tc -s filter ls dev eth0 filter parent 1: protocol ip pref 100 route filter parent 1: protocol ip pref 100 route fh 0xffff0002 flowid 1:2 to 2 filter parent 1: protocol ip pref 100 route fh 0xffff0003 flowid 1:3 to 3 filter parent 1: protocol ip pref 100 route fh 0xffff0004 flowid 1:4 to 4 这里flowid 1:2代表分类class cbq 1:2，to 2代表通过路由2发送。 显示现有路由的状况 ?ip route 192.168.1.66 dev eth0 scope link 192.168.1.24 via 192.168.1.66 dev eth0 realm 2 202.102.24.216 dev ppp0 proto kernel scope link src 202.102.76.5 192.168.1.30 via 192.168.1.66 dev eth0 realm 3 192.168.1.0/24 via 192.168.1.66 dev eth0 realm 4 192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.66 172.16.1.0/24 via 192.168.1.66 dev eth0 scope link 127.0.0.0/8 dev lo scope link default via 202.102.24.216 dev ppp0 default via 192.168.1.254 dev eth0 　　如上所示，结尾包含有realm的显示行是起作用的路由过滤器。 6. 维护 　　主要包括对队列、分类、过滤器和路由的增添、修改和删除。 　　增添动作一般依照"队列->分类->过滤器->路由"的顺序进行；修改动作则没有什么要求；删除则依照"路由->过滤器->分类->队列"的顺序进行。 1）队列的维护 一般对于一台流量控制器来说，出厂时针对每个以太网卡均已配置好一个队列了，通常情况下对队列无需进行增添、修改和删除动作了。 2）分类的维护 增添 增添动作通过tc class add命令实现，如前面所示。 修改 修改动作通过tc class change命令实现，如下所示： ?tc class change dev eth0 parent 1:1 classid 1:2 cbq bandwidth 10Mbit rate 7Mbit maxburst 20 allot 1514 prio 2 avpkt 1000 cell 8 weight 700Kbit split 1:0 bounded 对于bounded命令应慎用，一旦添加后就进行修改，只可通过删除后再添加来实现。 删除 删除动作只在该分类没有工作前才可进行，一旦通过该分类发送过数据，则无法删除它了。因此，需要通过shell文件方式来修改，通过重新启动来完成删除动作。 3）过滤器的维护 增添 增添动作通过tc filter add命令实现，如前面所示。 修改 修改动作通过tc filter change命令实现，如下所示： ?tc filter change dev eth0 parent 1:0 protocol ip prio 100 route to 10 flowid 1:8 删除 删除动作通过tc filter del命令实现，如下所示： ?tc filter del dev eth0 parent 1:0 protocol ip prio 100 route to 10 4）与过滤器一一映射路由的维护 增添 增添动作通过ip route add命令实现，如前面所示。 修改 修改动作通过ip route change命令实现，如下所示： ?ip route change 192.168.1.30 dev eth0 via 192.168.1.66 realm 8 删除 删除动作通过ip route del命令实现，如下所示： ?ip route del 192.168.1.30 dev eth0 via 192.168.1.66 realm 8 ?ip route del 192.168.1.0/24 dev eth0 via 192.168.1.66 realm 4版权所有 linuxts.com

smile787

Linux 包含复杂的带宽管理系统 TC (流量控制，Traffic Control)。该系统支持分类、优先、共享和输入、输出流量限制等。这套系统可以与专用的带宽管理系统相媲美。 1. 基本的构成块 tc 包括三个基本的构成块： 队列规定（queueing discipline ）、类（class）和分类器（Classifiers） 。 队列规定可以看作设备的流量/数据包管理器。 队列规定内封装了其他两个主要TC组件（类和分类器），控制数据的流动。 目前，有一些设备队列规定可以用来管理设备，包括类基队列（CBQ），优先级和CSZ （Clark-Shenker-Zhang）等。CBQ 是一种超级队列，即它能够包含其它队列（甚至其它CBQ）。 类由设备队列规定来管理。类由若干规则（rule）构成，这些规则用以管理那个类所拥有的数据。例如，某类里的全部数据包都受到 1 Mbps的速率限度，而在午夜和早上6点的一段时间段内允许最高达 3 Mbps。 一些队列规定可以绑定到类上，包括FIFO（先进先出），RED（随机早期探测），SFQ（随机公平队列）和令牌桶（Token Bucket）。 如果设备上未绑定队列规定，则使用基本的FIFO。另外， CBQ，CSZ和优先级也能用于类，以及类的子类。这表明使用TC，可以轻松地建造非常复杂的流量控制。管理类的队列规定可以称为类队列规定（class queueing disciplines）。 一般地，类队列规定管理该类的数据和队列，能决定延迟、丢掉或者重新分类它管理的包。分类器或过滤器描述包，并且把他们映射到队列规定所管理的类。 这些过滤器通常都提供简单的描述语言，指定选择包、把包映射到类的方法。 目前，TC可以使用的过滤器有：fwmark分类器，u32分类器，基于路由的分类器和RSVP分类器（分别用于IPV6、IPV4）等；其中，fwmark分类器允许我们使用 Linux netfilter 代码选择流量，而u32分类器允许我们选择基于 ANY 头的流量 。所有的防火墙过滤器， 例如，ipchains，都能用来分类包。 TC代码位于内核，不同的功能块既能编译为模块，也能直接编进内核。 与内核代码或模块的通信和配置由用户级程序tc完成。 2. 示例 2.1 编译内核 首先要确保选中 Kernel/User netlink socket，因为只有这样 tc 才能通过 netlink 与内核通讯。 然后，把队列规定和分类器都编进内核。这其中包括： QoS or fair queueing, CBQ packet scheduler, CSZ packet scheduler, the simplest PRIO pseudoscheduler, RED queue, SFQ queue, TBF queue, QoS support, rate estimator, packet classifier API, routing-tables-based classifier, U32 classifier, special RSVP classifier 和 special RSVP classifier for IPv6。 然后就是大家熟知的编译和安装过程了。 2.2 建立 [因特网] ---〈E3、T3 等〉--- [Linux 路由器] --- [Office+ISP] eth1 eth0 上图中的 Linux 路由器有两个接口，不妨称之为 eth0 和 eth1。eth1 连接到路由器， eth0 连接到包括公司防火墙在内的子网上。 由于我们只能限制发送的内容，所以我们需要两套独立的、但可能非常相似的规则集。我们可以通过改变发送次序来控制传输速率。通过修改 eth0 上的队列，我们可以确定客户 的下载（download）速率；通过修改 eth1 上的队列，我们可以确定我们公司自己的用 户的上载（upload）速率。 比如说，公司连接到因特网的线路带宽为 10 兆，同时满足外部客户和公司自己用户的需要；此时，我们就需要一种策略，来进行管理和协调。CBQ 就可以满足我们的要求。 我们有两个主类：'ISP' 和 'Office'。我们可以决定，客户有 8 兆的带宽，Office用户有 2 兆的带宽。 我们首先发布如下的命令： # tc qdisc add dev eth0 root handle 10: cbq bandwidth 10Mbit avpkt 1000 其含义是：我们配置了 eth0 的队列规定，root 表示这是根（root）规定，其句柄 （handle）设定为 10:'。 其类型为 CBQ。带宽为 10 M，平均包大小为 1000 字节。 下面生成根类（root class）： # tc class add dev eth0 parent 10:0 classid 10:1 cbq bandwidth 10Mbit rate \ 　　10Mbit allot 1514 weight 1Mbit prio 8 maxburst 20 avpkt 1000 这条命令其实不比前一条命令有更多的含义。其中，1514 是 MTU 的值。  下面生成 ISP 类：  # tc class add dev eth0 parent 10:1 classid 10:100 cbq bandwidth 10Mbit rate \ 　　8Mbit allot 1514 weight 800Kbit prio 5 maxburst 20 avpkt 1000 bounded 我们分配了 8 兆的带宽给它，其中 bounded 表示该类不能超过该阀值。 下面生成 Office 类： # tc class add dev eth0 parent 10:1 classid 10:200 cbq bandwidth 10Mbit rate \ 　　2Mbit allot 1514 weight 200Kbit prio 5 maxburst 20 avpkt 1000 bounded 为了更清晰起见，我们的类可以用下图表示： 我们已经向内核通知了我们的类，我们还需要告诉内核如何管理队列，如下所示： # tc qdisc add dev eth0 parent 10:100 sfq quantum 1514b perturb 15 　　# tc qdisc add dev eth0 parent 10:200 sfq quantum 1514b perturb 15 这里，我们使用了随机公平队列（sfq），在消耗 CPU 周期较少的情况下，其性能还是可以接受的。其它一些队列规定可能更好，但要占用较多的 CPU 资源。令牌桶过滤器也经常使用。 下面还有一件事要作：告诉内核网络包和类的映射关系。 # tc filter add dev eth0 parent 10:0 protocol ip prio 100 u32 match ip dst \ 　　150.151.23.24 flowid 10:200 # tc filter add dev eth0 parent 10:0 protocol ip prio 25 u32 match ip dst \ 　　150.151.0.0/16 flowid 10:100 这里，我们假定 Office 位于防火墙 150.151.23.24 的后面，其它 IP 地址都属于 ISP。 u32 匹配是一种比较简单的匹配，我们可以使用 netfilter 生成更加复杂的匹配规则。 我们已经分配了下载带宽，下面是上载带宽的分配： # tc qdisc add dev eth1 root handle 20: cbq bandwidth 10Mbit avpkt 1000 # tc class add dev eth1 parent 20:0 classid 20:1 cbq bandwidth 10Mbit rate \ 　　10Mbit allot 1514 weight 1Mbit prio 8 maxburst 20 avpkt 1000 # tc class add dev eth1 parent 20:1 classid 20:100 cbq bandwidth 10Mbit rate \ 　　8Mbit allot 1514 weight 800Kbit prio 5 maxburst 20 avpkt 1000 \ 　　bounded # tc class add dev eth1 parent 20:1 classid 20:200 cbq bandwidth 10Mbit rate \ 　　2Mbit allot 1514 weight 200Kbit prio 5 maxburst 20 avpkt 1000 \ 　　bounded # tc qdisc add dev eth1 parent 20:100 sfq quantum 1514b perturb 15 　　# tc qdisc add dev eth1 parent 20:200 sfq quantum 1514b perturb 15 # tc filter add dev eth1 parent 20:0 protocol ip prio 100 u32 match ip src \ 　　150.151.23.24 flowid 20:200 # tc filter add dev eth1 parent 20:0 protocol ip prio 25 u32 match ip src \ 　　150.151.0.0/16 flowid 20:100 这与前面的描述基本一致，所以就不做更多的解释了。 注：  在前面的例子中，我们注意到：即使 ISP 客户多数离线，我们的 Office 用户也仍然只 有 2 M 的带宽，这是相当浪费的。我们可以删掉 'bounded' 参数，这样，各类之间就可以相互借用带宽了。 但是，某些类也许不希望向其它类借用带宽；比如，一条线路上的两个互为竞争对手的 ISP 的情况。在这种情况下，我们可以加上关键字 'isolated'。 3. 结束语 目前，Linux 所提供的 QoS（服务质量）是所有操作系统中最复杂、最完善的。另外， BSD 的 ALTQ 应该说也相当不错；但是，在复杂性、灵活性和可扩展性等方面要落后 Linux 一大截。我不太清楚微软的产品是否提供了这方面的功能。Sun 的 Solaris 提供 了 CBQ 和 RSVP 的功能。 Linux 也支持 IETF diffserv 特征。Linux 在 QoS 方面众多的特征，将极大提升 Linux 的市场占有率。本文出自:http://www.yesky.com/ 作者: 温福才 (2002-01-09 07:10:00)

DreamCat

代替CBQ更好的是HTB，我和BOW正在翻译，不过我的速度太慢，大家等BOW的吧，如果谁能找到已翻译的HTB别忘了发到论坛上哦~~。需要注意的是：1、TC工具里的KBPS指的是 千字节/秒，而不是 千位/秒。2、1: 等同于 1:0。摘自《HTB Linux 队列规则手册》

chen_2004

我等