这几年,不管是办公系统、云服务,还是各种终端设备,产生的网络流量都在以指数级往上涨。
相应地,对网络“可视”“可查”“可溯源”的要求,也越来越高。全流量分析早已不是选配,而是基础能力的一部分。
而在这项基础能力中,查询性能,始终是一道绕不过去的门槛。
小派平时也会收到很多咨询:
“日志查得太慢怎么办?” 数据在爆发,分析要提速,是时候重新思考底层架构的效率问题了。 所以这次,我们带来了一个全新的答案——NTM Ultra。
“几百万条数据,怎么才能快速定位问题?”
“有没有办法,把分析做得又快又准?”
Update NTM Ultra正式发布 底层架构全面升级,查询性能提升10倍以上 与新版本TANGr7p4同步上线的,是全新的NTM Ultra版本。它不仅是新系列的起点,更是一次性能上的重大突破。 在大规模查询场景下,速度提升可达10倍以上。 为什么能这么快?核心原因是——底层的数据存储方式变了,从 “行式”结构,变成了 “列式”结构。 适合查某一条记录的详细内容。 但问题也来了:做统计分析的时候,它的效率相对不高。 举个例子,如果要分析一整天的“字节数”分布,行式数据库就得把所有行都扫一遍,然后再筛选“字节数”。 而列式结构,每个字段单独存储,查询时只取需要的那一列(比如“字节数”),效率就要高得多。 像NTM这样的全流量产品,统计和查询是基本功。Ultra版本这次换上了更高效的底层结构,就是为了把这项基本功做得更快、更扎实。| 时间戳 | 源IP | 目的IP | 协议 | 字节数 |
|--------|------|--------|------|--------|
| 10:01 | A | B | TCP | 1024 |
| 10:02 | C | D | UDP | 2048 |
| 10:03 | E | F | TCP | 512 | [10:01, 10:02, 10:03](时间列)
[A, C, E](源IP列)
[1024, 2048, 512](字节数列)
Update 场景化功能上线 按需呈现,贴近实际
更快的查询只是开始,NTM Ultra另一个重要变化,是场景化功能的上线。 过去,很多用户一登录系统,面对成百上千条日志,一堆的告警、图表,不知道从哪儿下手。 Ultra版本则换了一种思路:把功能按场景分类,让每一种常见的分析需求,都有一个专属的“工作台”。 点击按钮即可切换至场景化页面 目前上线的两个场景分别是:
▎场景一:全网行为审计
这个场景关注日常的审计工作,我们做了不少改进:
日志仪表盘: HTTP、HTTPS、DNS等审计日志集中展示,一眼看到每天发生了多少事 趋势图 + 类型分布: 帮助识别异常行为,比如某种协议访问量突然暴增 IPv4 / IPv6分别审计: 兼顾现网演进,方便分场景排查问题 IP画像关系图: 这个很实用,可以看到某个IP访问了哪些IP/域名、被哪些IP访问,一张图理清访问关系 仪表盘 IP画像关系图
▎场景二:跨境监测溯源
众所周知,跨境网络流量是网络安全治理中最为紧要、敏感的种类,容易出现各种安全问题,比如跨境的C2控制。 这个场景重点展示跨境访问行为,包括跨境用户、目标域名、VPS节点、关联协议等,支持快速下钻查看详情。后续,我们还会对相关流量升级进一步的行为模型分析。 仪表盘 详细会话展示
我们希望通过这些场景视图,让每一种常见的工作任务,都有一个专属的分析入口,不用东翻西找、手动拼报表。 更重要的是——这只是第一波。 我们将持续推出更多场景,让NTM Ultra真正变成一个“能看会查、专业好用”的分析助手。
Update 免费升级Ultra 平滑迁移,0成本切换新架构
这一次,Ultra不仅性能翻倍,升级也不加价。 *注:标准版(免费版)不支持迁移。 为了让迁移更顺利,我们准备了专用的迁移工具,升级到最新的普通版本(TANGr7p4)后,即可使用迁移工具完成迁移。 可访问官网下载中心获取 一分钱不花,体验全新架构的飞跃,小派建议:赶快试试吧!
如果你已经在使用NTM普通版本,现在就可以免费迁移到Ultra版本*,核心会话数据还可以平滑迁移,不清零,直接接着用。
Update 其他更新一览 快速了解各项功能优化
● 跨境监测模块 历史会话页面,可以根据会话是否关联敏感网站进行筛选展示。 ● 行为审计模块 HTTP审计日志、HTTPS审计日志、DNS审计日志,能够按照IPv4/IPv6地址类型进行区分查询。 ● 在线用户流量统计 统计在线用户的流量速率和总数大小,点击右侧流量趋势图键,可查看该IP的上下行速率和连接数趋势。 ● TOP应用协议流量统计 统计全网应用协议的流量速率和总数大小,点击右侧流量趋势图键,可查看该应用协议的上下行速率和连接数趋势图 ● Panalog对接 支持将各类型的日志,发送给Panalog设备进行分析。 ● Kafka对接 输出json格式数据,增加威胁情报,邮件,FTP,Telnet日志输出。 ● 态势大屏 支持关联链路,在大屏上展示该链路的数据。 对于Ultra版本,还支持LOGO自定义展示。 ● 资产监测访问关系图 资产监测页面中,点击任一资产,可查看该资产的访问关系图。当内网发生横向扩散时,可利用此功能快速发现。 ● 数据留存策略 页面新增显示数据包实时落盘速率。
Update 下载地址
访问Panabit官网下载中心获取: https://www.panabit.com/download 其中,以【PanaNTMPro】开头的为Ultra版本,其余为普通版本。 下载升级时请注意选择正确的操作系统(FreeBSD/Linux)与版本(标准版/专业版)。 EX100C请选择ARM专业版升级包。