自己开发的ROS 日志分析系统

yenan111

接触routeros有些年头了，多年来一直使用，用过的朋友都知道她是非常好的软路由（没有之一），公司的路由一直使用ros来承担，ROS自身的网络日志功能也很强大，能够快速准确的记录每条网络信息，每个数据包信息，日志搜集工具网上有很多，ROS自身也能保持这些日志，但数据庞大的日志却一直没有一个好的日志分析系统。考虑原因也许有以下2点吧。

1、ROS日志文件庞大。网络日志颗粒度太高，每个IP，每个连接，每个数据包ROS都记录的很完整，因此ROS日志文件较大，测试过100M带宽流量的网络环境，每分钟的日志文件约为100M，这样估算一天完整的ROS日志大概在100G到140G之间。

2、ROS日志记录数庞大。同样按照100M带宽流量的网络环境，每分钟约100万条日志，这样估算一天完整的ROS日志记录数大概在10亿到14亿条之间。

每天分析和统计这上百G文件和10亿级的数据相对来说是比较困难的，由于本人工作与网络息息相关，确实很希望能有一套好的ros日志分析系统，便于我管理网络，发现问题，追查访问日志等等，于是自己下决心自己写一套，最开初只是为了满足自己的使用，话费几月功夫后发现这东西可以分享给所有用ROS的朋友们，于是决定将这东西拿出来分享给大家。

我不是专业的程序员，但是有一定开发能力，但个人开发能力有限，开发精力也有限，这套东西要成为大家都能使用的工具，还需要大量的改进，因此如果大家能够喜欢这套东西，并且它的确能给您的工作和管理带来好处，希望能够给予资金支持，有了大家的支持，这个分析系统才能走的越远，功能越来越完善，易用性越来越高,希望支持的朋友能够购买。

目前分析系统已实现如下介绍的基本功能，但主要为自用而实现，如果其他朋友需要的话，系统还需要做很多改进和通用性开发，所以目前系统为定金，真正可以批量使用的话预计在春节后发布通用版本，朋友们还需要耐心等待 。

目前系统的临演示地址：http://www.xbmc-china.com:8080/ ,可以连接具体功能，改演示系统为作者自用的实际环境。

淘宝店铺地址： https://shop144356496.taobao.com/   ，购买价格为50或者100或者2000一套，可以自由选择， 功能都是一样的。

目前该分析系统具有的功能（系统与ROS日志无缝对接）。

一、主界面菜单

                               
登录/注册后可看大图

二、查看时间流量图

                               
登录/注册后可看大图

三、查看时间连接图

                               
登录/注册后可看大图

四、查看时间数据包图

                               
登录/注册后可看大图

五、查看IP流量图

                               
登录/注册后可看大图

六、查看IP连接数图

                               
登录/注册后可看大图

七、查看IP数据包图

                               
登录/注册后可看大图

八、查看协议流量图

                               
登录/注册后可看大图

九、查看端口流量图

                               
登录/注册后可看大图

十、查看会话明细

                               
登录/注册后可看大图

十一、查看1小时报表图

                               
登录/注册后可看大图

十二、查看1天报表图

                               
登录/注册后可看大图

十三、查看一周报表图

                               
登录/注册后可看大图

十四、查看一月报表图

                               
登录/注册后可看大图

lcgjk

不错的产品，不知道这种日志是存储到ROS上，还是其他服务器上。。。。。
准备购买测试一下。。。。好东西！

seignior

描述一下结构？

yenan111

是需要在ROS上配置remote的日志，将日志传送给我的平台进行处理和分析

seignior

都知道是remote log，我问的是......哦，你的意思是送到你服务器，而不是我自己架设服务器?

yenan111

是传送到你自己架设的服务器上的，服务器上允许我的分析系统

yenan111

                               
登录/注册后可看大图

遗漏了一个功能，IP流量追踪功能，能够统计某个IP在10分钟，1小时，1天内的流量情况

木木

个人感觉楼主记录的这些内容用处不大，最主要记录的是用户访问了那些网站，用了那些QQ，微信，旺旺等帐号登录，备查，而这些那个时段的流量看总体就行了，个人用户就用处不大了。

seignior

yenan111 发表于 2016-1-13 09:42
是传送到你自己架设的服务器上的，服务器上允许我的分析系统

那你应该简单描述一下结构啊，例如用的什么数据库(mysql?mssql?)，用的什么web srv(iis?apache?)，什么系统(ms?linux?)，需不需要做别的什么设置或者服务(猜测你这个需要再装个服务吧)?

ryh2510

不错，先收藏先，现在很少有人自己去开发，都是拿人的用。最好加上QQ登陆记录这些

ryh2510

还有加上外网ip流量统计，（用来做分流策略，把流量大的数据转到别的线路跑）

yenan111

centos的系统，没有用典型的数据库，可以想象的到用数据库来处理每天上亿数10亿的数据的统计分析，效率不会很好

yenan111

如果再对上网行为做具体分析，那是后续版本可以做的事情，目前这个版本功能如上所示

txwwy

支持原创！！！！

tlze

很厉害的样子，先收藏了。