自己开发的ROS 日志分析系统
接触RouterOS有些年头了，多年来一直使用，用过的朋友都知道她是非常好的软路由（没有之一），公司的路由一直使用ROS来承担，ROS自身的网络日志功能也很强大，能够快速准确的记录每条网络信息，每个数据包信息，日志搜集工具网上有很多，ROS自身也能保持这些日志，但数据庞大的日志却一直没有一个好的日志分析系统。考虑原因也许有以下2点吧。1、ROS日志文件庞大。网络日志颗粒度太高，每个IP，每个连接，每个数据包ROS都记录的很完整，因此ROS日志文件较大，测试过100M带宽流量的网络环境，每分钟的日志文件约为100M，这样估算一天完整的ROS日志大概在100G到140G之间。
2、ROS日志记录数庞大。同样按照100M带宽流量的网络环境，每分钟约100万条日志，这样估算一天完整的ROS日志记录数大概在10亿到14亿条之间。
每天分析和统计这上百G文件和10亿级的数据相对来说是比较困难的，由于本人工作与网络息息相关，确实很希望能有一套好的ros日志分析系统，便于我管理网络，发现问题，追查访问日志等等，于是自己下决心自己写一套，最开初只是为了满足自己的使用，话费几月功夫后发现这东西可以分享给所有用ROS的朋友们，于是决定将这东西拿出来分享给大家。
我不是专业的程序员，但是有一定开发能力，但个人开发能力有限，开发精力也有限，这套东西要成为大家都能使用的工具，还需要大量的改进，因此如果大家能够喜欢这套东西，并且它的确能给您的工作和管理带来好处，希望能够给予资金支持，有了大家的支持，这个分析系统才能走的越远，功能越来越完善，易用性越来越高,希望支持的朋友能够购买。 目前分析系统已实现如下介绍的基本功能，但主要为自用而实现，如果其他朋友需要的话，系统还需要做很多改进和通用性开发，所以目前系统为定金，真正可以批量使用的话预计在春节后发布通用版本，朋友们还需要耐心等待 。 目前系统的临演示地址：http://www.xbmc-china.com:8080/ ,可以连接具体功能，改演示系统为作者自用的实际环境。淘宝店铺地址： https://shop144356496.taobao.com/ ，购买价格为50或者100或者2000一套，可以自由选择， 功能都是一样的。
目前该分析系统具有的功能（系统与ROS日志无缝对接）。 一、主界面菜单
https://img.alicdn.com/imgextra/i4/296495216/TB2GG.AjXXXXXXTXXXXXXXXXXXX_!!296495216.jpg
二、查看时间流量图
https://img.alicdn.com/imgextra/i1/296495216/TB22KgpjXXXXXbFXXXXXXXXXXXX_!!296495216.png
三、查看时间连接图
https://img.alicdn.com/imgextra/i1/296495216/TB2AKj0jXXXXXcGXpXXXXXXXXXX_!!296495216.png
四、查看时间数据包图
https://img.alicdn.com/imgextra/i2/296495216/TB2kh7ojXXXXXbSXXXXXXXXXXXX_!!296495216.png
五、查看IP流量图
https://img.alicdn.com/imgextra/i3/296495216/TB27o23jXXXXXb7XpXXXXXXXXXX_!!296495216.png
六、查看IP连接数图
https://img.alicdn.com/imgextra/i3/296495216/TB29nkpjXXXXXbOXXXXXXXXXXXX_!!296495216.png
七、查看IP数据包图
https://img.alicdn.com/imgextra/i2/296495216/TB2q43djXXXXXXdXpXXXXXXXXXX_!!296495216.png
八、查看协议流量图
https://img.alicdn.com/imgextra/i4/296495216/TB2u7opjXXXXXbEXXXXXXXXXXXX_!!296495216.png
九、查看端口流量图
https://img.alicdn.com/imgextra/i2/296495216/TB2PIL1jXXXXXcoXpXXXXXXXXXX_!!296495216.png
十、查看会话明细
https://img.alicdn.com/imgextra/i3/296495216/TB2UDIejXXXXXXFXpXXXXXXXXXX_!!296495216.png
十一、查看1小时报表图
https://img.alicdn.com/imgextra/i4/296495216/TB2saEljXXXXXcCXXXXXXXXXXXX_!!296495216.png
十二、查看1天报表图
https://img.alicdn.com/imgextra/i4/296495216/TB2x_oajXXXXXaiXpXXXXXXXXXX_!!296495216.png
十三、查看一周报表图
https://img.alicdn.com/imgextra/i4/296495216/TB2nIEsjXXXXXaFXXXXXXXXXXXX_!!296495216.png
十四、查看一月报表图
https://img.alicdn.com/imgextra/i2/296495216/TB2nvn0jXXXXXc3XpXXXXXXXXXX_!!296495216.png
不错的产品，不知道这种日志是存储到ROS上，还是其他服务器上。。。。。
准备购买测试一下。。。。好东西！ 描述一下结构？ 是需要在ROS上配置remote的日志，将日志传送给我的平台进行处理和分析 都知道是remote log，我问的是......哦，你的意思是送到你服务器，而不是我自己架设服务器? 是传送到你自己架设的服务器上的，服务器上允许我的分析系统 https://img.alicdn.com/imgextra/i2/296495216/TB22WXDjFXXXXapXXXXXXXXXXXX_!!296495216.png遗漏了一个功能，IP流量追踪功能，能够统计某个IP在10分钟，1小时，1天内的流量情况 个人感觉楼主记录的这些内容用处不大，最主要记录的是用户访问了那些网站，用了那些QQ，微信，旺旺等帐号登录，备查，而这些那个时段的流量看总体就行了，个人用户就用处不大了。 yenan111 发表于 2016-1-13 09:42
是传送到你自己架设的服务器上的，服务器上允许我的分析系统
那你应该简单描述一下结构啊，例如用的什么数据库(mysql?mssql?)，用的什么web srv(iis?apache?)，什么系统(ms?linux?)，需不需要做别的什么设置或者服务(猜测你这个需要再装个服务吧)?
不错，先收藏先，现在很少有人自己去开发，都是拿人的用。最好加上QQ登陆记录这些 还有加上外网ip流量统计，（用来做分流策略，把流量大的数据转到别的线路跑） centos的系统，没有用典型的数据库，可以想象的到用数据库来处理每天上亿数10亿的数据的统计分析，效率不会很好 如果再对上网行为做具体分析，那是后续版本可以做的事情，目前这个版本功能如上所示 支持原创！！！！ 很厉害的样子，先收藏了。
页:
[1]
2