Log 档是什么?有哪些种类? Log 档管理挑战介绍
Log 档(也称作日志档案)在资讯系统中扮演重要角色,记录了各种活动和事件,以协助监控系统运作、侦测问题和进行根本原因分析,甚至提供决策参考资讯。 Log(日志)涵盖的领域广泛,从伺服器、作业系统到应用程式不等。但随着资料量和复杂度的增加,如何高效地管理和分析这些资料成为了现代企业的一大课题。
Log 档是什么?
在电脑资讯领域,Log 档指的是资讯系统中所发生的活动与事件的纪录,中文则称为「日志档案」。无论是在伺服器、作业系统、防火墙、防毒软体、网路系统、资料库查询、应用程式、硬体设备、基础架构,或使用者装置等等地方,出现的的重要活动都可以被记录到Log 档案中。
Log 档中常见的资讯包含活动叙述、谁存取了系统资源、存取时间点为何、哪些档案被打开了、涉及哪些应用程式、资料是否有被编辑过,编辑的内容为何,以及系统错误或故障问题和其他资讯。通常 Log 档中的纪录,还会附有时间的相关资讯(时间戳记),提供更完整的背景资讯,让技术人员了解不同活动与事件之间的关系。
Log 档看似简单、只是活动纪录而已,但在系统实际运作中,极为关键。因为活动和事件纪录可以协助企业更进一步的了解自己的资讯系统,并在发生错误时,找出根本问题所在的环节。
日志档种类
根据记录的活动类别或是 Log 档针对的目标,日志也有多种不同的种类,其中以事件日志、事务日志、伺服器日志、系统日志、存取日志、应用程式日志和安全日志为常见类别。但这些类别互不相斥,同一个 Log 档案可以同时属于多个类别。
-
事件日志 (Event Logs)
事件日志也称为活动纪录档,内含系统在执行期间所有的活动,有助于了解系统运作情形与系统问题的来龙去脉。比方说,企业 IT 人员,可藉由阅读事件日志判断系统停机是因为过载当机、基础架构故障还是出现网路攻击。
Log 档中,事件通常会依照发生的先后顺序排列。事件的定义广泛,多指系统中发生的特定动作或状态变更,可透过外部输入指令或内部触发所引起。从使用者按下键盘按键、以滑鼠拖曳档案、点击网页上的按钮,到网路连线中断、资料库更新完成等等都可以算是事件。而事件日志中,记录的事件种类与详细资料则依据系统管理者设定而有不同。
【事件日志示意图】
-
事务日志 (Transaction Logs)
事务日志多为资料库管理系统使用,纪录资料库中有关资料更变的操作,更变起始与结束时间、更变的内容等。和事件日志不同,事务日志的主要目的并非供人类阅读、获得系统相关资讯,而是用于系统失效后进行资料复原或维持资料完整性。
-
伺服器日志 (Server Logs)
伺服器日志由伺服器自动产生并维护,内容为该伺服器执行过的任务清单。最常见的例子即为网页伺服器日志(Server Logs),里面包含使用者连线各页面的历史记录,以及使用者连线至各页面的相关资讯,如用户端的IP 地址、用户连线的时间、连线的页面、 HTTP 代码等。一般来说,伺服器 Log 档仅开放给网页伺服器管理者存取,方便以网站分析工具进一步分析流量或使用者浏览网页习惯等相关资讯。
国际标准组织全球资讯网协会(W3C)曾制定网页伺服器Log 档的标准格式,称为通用记录格式(Common Log Format,CLF),但后也出现许多其他的网页伺服器Log 档格式,例如延伸日志格式(Extended Log Format,ELF)和合并日志格式(Combined Log Format)。
【伺服器日志示意图】
-
系統日志( System Logs)
系统日志记录作业系统的操作、错误、事件和其他重要资讯,可用来检视作业系统运作情形,例如硬碟载入情况、记忆体使用率、网路连线状态等。系统日志的内容通常包含资讯、警告和错误等类别,电脑系统管理者可借此资讯监控系统,并排除故障问题。
【系统日志示意图】
-
存取日志 (Access Logs)
记录了使用者或应用程式对 IT 资源(如伺服器、资料库、档案系统等)进行的存取请求。存取 Log 档的范畴确实很广,包括网页伺服器存取日志、FTP 指令日志,以及资料库查询日志等。
存取日志中,通常会包含存取日期与时间、IP 地址或主机名称、使用者名称、事件状态或严重性、存取成功与否等资讯,协助IT 人员侦测异常存取请求及资讯安全威胁,或是进行问题除错。
-
应用程式日志( Application Logs)
应用程式日志记录特定应用程式中发生的事件,例如网页伺服器记录资料传输、资料库执行个体记录完成资料备份、防火墙记录成功的连线请求等。
同样道理,应用程式 Log 档中的资讯,可协助 IT 人员除错、分析资讯安全事件,或研究使用者行为。
【应用程式日志示意图】
-
安全日志( Security Logs)
安全日志针对可能影响企业或组织的资安事件,记录相关活动,包含登入尝试与更改权限。记录安全日志最主要的目的为检视未经授权的活动,以及排除系统中的资安问题。
Log 档怎么看
Log 档副档名为 .log,通常是文件档。可以用任何具有基本功能的文书处理软体开启,例如:
- Notepad2
- Microsoft Notepad
- Microsoft Works
- Microsoft Word
- Microsoft WordPad
除了文书处理软体,也可以使用事件检视器(Event Viewer)软体来查看 Log 档中的内容。
日志档开启后,会看到密密麻麻的文字列,要如何看懂日志呢?首先要确认 Log 档的格式。 Log 档格式定义了档案内的资料的形式,格式规定了日志档以下几个层面:
- 日志档案中的资料为结构化或非结构化资料。
- 日志档案中的资料以纯文字或是二进位显示。
- 日志档案中的资料如何分隔(例如断行、逗号等)。
- 编码方式(如 UTF-8、UTF-16)是否会影响日志档案读取。
晟崴小知识:结构化资料是指有明确格式和规定的资料,以表格形式呈现,具有固定的栏位和资料类型,易于查询和分析。而非结构化资料则是指没有固定格式的资料,例如以文字、影像、音频或影片等。
常见的 Log 档类型有 JSON、Windows Event Logs、通用记录格式(CLF)、通用事件格式(Common Event Format,CEF)、延伸日志格式(ELF)。
- JSON 是结构化的日志格式,适合让机器分析内容。
- Windows Event Logs 是 Windows 系统专用的二进位格式日志。
- CLF 为网页伺服器日志的标准格式。
- CEF 是针对安全事件设计的日志格式。
- ELF 也是网页伺服器的日志格式,相比 CLF 包含更多详细资料,可自订栏位和内容,使用上更灵活。
为什么要进行日志管理?
Log 档在 IT 系统中,有着关键的作用,因为日志中的活动记录可以协助:
- 监控系统运作效能
- 侦测错误或问题
- 进行根本原因分析(Root Cause Analysis)
- 追踪使用者行为
前三项能为资讯系统的安全防护提供宝贵的情报,从而加强整体资安措施:无论是面对资安威胁,还是故障排除的处理效率,都可以靠分析 Log 档提升。另一方面,第四项则有利于企业在营运决策上做出更具竞争力的发展策略。在以数据为导向的现代,Log 档所提供的资料更是至关重要,无可忽视。但 Log 档记录的活动种类繁多、范围广泛,也意味企业要面临巨量资料处理的挑战,有效日志管理也就成为了企业不得不重视的课题。
日志管理的 4 项挑战
日志管理简单来说,就是持续进行收集、储存、处理、分析不同来源的 Log 记录的过程,可以简单分为:收集、监控、分析、保存资料、索引或搜寻和报告 7 个步骤。这 7 个不同步骤听起来简单,但实务上进行日志管理时,仍有挑战须面对:
- 庞大的资料量:日志种类众多,且每个日志都详细记录各项活动,进而产生庞大的 Log 档资料量。如何高效处理与保存资料是首当其冲的挑战。
- 资料复杂度高:不同来源的 Log 档可能使用不同的日志格式,增加了整合与分析资料的难度。
- 资料处理速度:基于以上两点,处理大量又有着不同格式的 Log 档,并非易事,选择高效的日志管理工具或系统成为了关键。
- 安全问题:Log 档中多含有企业机敏资料,在收集、分析、储存等过程中,同时顾及资料安全与资料完整性更是必要。
善用日志管理工具
为应对日志管理的挑战,使用日志管理工具不失为一个好选择。集网管、流量分析和 Log 日志管理平台于一体的服务,让您在单一平台简便操作,轻松监测连网设备健康状态、纪录各点网路使用量,管理系统存取日志。并可整合跨设备与不同格式的日志,将异质的资料进行正规化处理,再加以分析日志内容。更导入 AI 系统,加速日志分析,将排除资安风险的时间缩到最短。还可将资料加密,针对机敏档案多提供一层保护。欢迎与晟威科技联络,了解更多我们的日志管理工具,轻松满足企业管理、分析与稽核需求,让维运变的省时省力更高效率。
立即联络晟崴科技,让维运变的省时省力更高效率。