设备的日志信息在数据中心的运维中至关重要,数据中心里包含有成千上万的电子设备,在各种操作或者出现故障时,都会有日志打印,系统日均几千亿条的日志信息, 量级超乎想象,系统透过分析这些日志信息可以迅速知晓故障原因,并及时消除。

处理海量日志的挑战

在信息爆炸的时代,海量日志的日志数据量非常大,大到单台服务器无法存储和处理的量级,一线CND业者每天收集到的访问日志就超过4TB的压缩数据,如果解压出来高达120TB文本数据,处理如此庞大的数据量,光收集存储这些原始日志都会成为问题,后续的处理和统计的难度就更大了。


日志处理系统遇到的难题

>严重面临IO瓶颈: 压缩后的日志文文件要放到集群里作统计分析解压缩

>日志处理的资源: 每台服务器可能给到日志处理的资源的只有1~2%, 因此I/O處理能力是關鍵

>存儲新選擇: 网络IO及传统硬盘最快都要1、2毫秒,但是在内存里面是纳秒,它们的性能差距是千倍万倍以上的,两者完全不在一个级别。