一个空间2个网站,大气个人网站源码,互联网营销的概念,深圳那家做网站好有时候我们需要定制Apache默认日志的格式和内容#xff0c;比如增加或减少日志所记录的信息、改变默认日志文件的格式等。本文介绍可以用日志 记录的所有信息#xff0c;以及如何设置Apache使其记录这些信息。 一、定义日志格式(4月3日) 很久以前#xff0c;日志文件… 有时候我们需要定制Apache默认日志的格式和内容比如增加或减少日志所记录的信息、改变默认日志文件的格式等。本文介绍可以用日志 记录的所有信息以及如何设置Apache使其记录这些信息。 一、定义日志格式(4月3日) 很久以前日志文件只有一种格式这就是“公共格式”许多人已经习惯于使用这种格式。随后出现了定制日志格式而且看起来定制日志格式更很受欢迎即使 公共日志格式本身也重新用定制日志格式定义。本文介绍的就是如何随心所欲地定制日志文件的格式、如何让日志文件记录自己想要的信息。 定制日志文件的格式涉及到两个指令即LogFormat指令和CustomLog指令默认httpd.conf文件提供了关于这两个指令的几个示例。 LogFormat指令定义格式并为格式指定一个名字以后我们就可以直接引用这个名字。CustomLog指令设置日志文件并指明日志文件所用的格式 通常通过格式的名字。 LogFormat指令的功能是定义日志格式并为它指定一个名字。例如在默认的httpd.conf文件中我们可以找到下面这行代码 LogFormat %h %l %u %t \%r\ %s %b common 该指令创建了一种名为“common”的日志格式日志的格式在双引号包围的内容中指定。格式字符串中的每一个变量代表着一项特定的信息这些信息按照格 式串规定的次序写入到日志文件。 Apache文档已经给出了所有可用于格式串的变量及其含义下面是其译文 %...a: 远程IP地址 %...A: 本地IP地址 %...B: 已发送的字节数不包含HTTP头 %...b: CLF格式的已发送字节数量不包含HTTP头。例如当没有发送数据时写入‘-’而不是0。 %...{FOOBAR}e: 环境变量FOOBAR的内容 %...f: 文件名字 %...h: 远程主机 %...H 请求的协议 %...{Foobar}i: Foobar的内容发送给服务器的请求的标头行。 %...l: 远程登录名字来自identd如提供的话 %...m 请求的方法 %...{Foobar}n: 来自另外一个模块的注解“Foobar”的内容 %...{Foobar}o: Foobar的内容应答的标头行 %...p: 服务器响应请求时使用的端口 %...P: 响应请求的子进程ID。 %...q 查询字符串如果存在查询字符串则包含“?”后面的部分否则它是一个空字符串。 %...r: 请求的第一行 %...s: 状态。对于进行内部重定向的请求这是指*原来*请求 的状态。如果用%...s则是指后来的请求。 %...t: 以公共日志时间格式表示的时间或称为标准英文格式 %...{format}t: 以指定格式format表示的时间 %...T: 为响应请求而耗费的时间以秒计 %...u: 远程用户来自auth如果返回状态%s是401则可能是伪造的 %...U: 用户所请求的URL路径 %...v: 响应请求的服务器的ServerName %...V: 依照UseCanonicalName设置得到的服务器名字 在所有上面列出的变量中“...”表示一个可选的条件。如果没有指定条件则变量的值将以“-”取代。分析前面来自默认httpd.conf文件的 LogFormat指令示例可以看出它创建了一种名为“common”的日志格式其中包括远程主机远程登录名字远程用户请求时间请求的第一 行代码请求状态以及发送的字节数。 有时候我们只想在日志中记录某些特定的、已定义的信息这时就要用到“...”。如果在“%”和变量之间放入了一个或者多个HTTP状态代码则只有当请 求返回的状态代码属于指定的状态代码之一时变量所代表的内容才会被记录。例如如果我们想要记录的是网站的所有无效链接那么可以使用 LogFormat %404{Referer}i BrokenLinks 反之如果我们想要记录那些状态代码不等于指定值的请求只需加入一个“!”符号即可 Apache日志访问日志(一) 想要知道什么人在什么时候浏览了网站的哪些内容吗查看Apache的访问日志就可以知道。访问日志是 Apache的标准日志本文详细解释了访问日志的内容以及相关选项的配置。 一、访问日志的格式 Apache内建了记录服务器活动的功能这就是它的日志功能。这个《Apache日志》系列文章介绍的就是Apache的访问日志、错误日志以及如何 分析日志数据如何定制Apache日志如何从日志数据生成统计报表等内容。 如果Apache的安装方式是默认安装服务器一运行就会有两个日志文件生成。这两个文件是access_log在Windows上是 access.log和error_log在Windows上是error.log。采用默认安装方式时这些文件可以在/usr/local /apache/logs下找到对于Windows系统这些日志文件将保存在Apache安装目录的logs子目录。不同的包管理器会把日志文件放到 各种不同的位置所以你可能需要找找其他的地方或者通过配置文件查看这些日志文件配置到了什么地方。 正如其名字所示访问日志access_log记录了所有对Web服务器的访问活动。下面是访问日志中一个典型的记录 216.35.116.91 - - [19/Aug/2000:14:47:37 -0400] GET / HTTP/1.0 200 654 这行内容由7项构成上面的例子中有两项空白但整行内容仍旧分成了7项。 第一项信息是远程主机的地址即它表明访问网站的究竟是谁。在上面的例子中访问网站的主机是216.35.116.91。随便说一句这个地址属于一台 名为si3001.inktomi.com的机器要找出这个信息可以使用nslookup工具查找DNSinktomi.com是一家制作Web 搜索软件的公司。可以看出仅仅从日志记录的第一项出发我们就可以得到有关访问者的不少信息。 默认情况下第一项信息只是远程主机的IP地址但我们可以要求Apache查出所有的主机名字并在日志文件中用主机名字来替代IP地址。然而这种做 法通常不值得推荐因为它将极大地影响服务器记录日志的速度从而也就减低了整个网站的效率。另外有许多工具能够将日志文件中的IP地址转换成主机名 字因此要求Apache记录主机名字替代IP地址是得不偿失的。 然而如果确实有必要让Apache找出远程主机的名字那么我们可以使用如下指令 HostNameLookups on 如果HostNameLookups设置成double而不是on日志记录程序将对它找到的主机名字进行反向查找验证该主机名字确实指向了原来出现的 IP地址。默认情况下HostNameLookups设置为off。 上例日志记录中的第二项是空白用一个“-”占位符替代。实际上绝大多数时候这一项都是如此。这个位置用于记录浏览者的标识这不只是浏览者的登录名字 而是浏览者的email地址或者其他唯一标识符。这个信息由identd返回或者直接由浏览器返回。很早的时候那时Netscape 0.9还占据着统治地位这个位置往往记录着浏览者的email地址。然而由于有人用它来收集邮件地址和发送垃圾邮件所以它未能保留多久很久之前市 场上几乎所有的浏览器就取消了这项功能。因此到了今天我们在日志记录的第二项看到email地址的机会已经微乎其微了。 日志记录的第三项也是空白。这个位置用于记录浏览者进行身份验证时提供的名字。当然如果网站的某些内容要求用户进行身份验证那么这项信息是不会空白 的。但是对于大多数网站来说日志文件的大多数记录中这一项仍旧是空白的。 日志记录的第四项是请求的时间。这个信息用方括号包围而且采用所谓的“公共日志格式”或“标准英文格式”。因此上例日志记录表示请求的时间是2000 年8月19日星期三14:47:37。时间信息最后的“-0400”表示服务器所处时区位于UTC之前的4小时。 日志记录的第五项信息或许是整个日志记录中最有用的信息它告诉我们服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”即“方法 资源 协议”。 在上例中METHOD是GET其他经常可能出现的METHOD还有POST和HEAD。此外还有不少可能出现的合法METHOD但主要就是这三种。 RESOURCE是指浏览者向服务器请求的文档或URL。在这个例子中浏览者请求的是“/”即网站的主页或根。大多数情况下“/”指向 DocumentRoot目录的index.html文档但根据服务器配置的不同它也可能指向其他文件。 PROTOCOL通常是HTTP后面再加上版本号。版本号或者是1.0或者是1.1但出现1.0的时候比较多。我们知道HTTP协议是Web得以 工作的基础HTTP/1.0是HTTP协议的早期版本而1.1是最近的版本。当前大多数Web客户程序仍使用1.0版本的HTTP协议。 日志记录的第六项信息是状态代码。它告诉我们请求是否成功或者遇到了什么样的错误。大多数时候这项值是200它表示服务器已经成功地响应浏览器的请 求一切正常。此处不准备给出状态代码的完整清单以及解释它们的含义请参考相关资料了解这方面的信息。但一般地说以2开头的状态代码表示成功以3开 头的状态代码表示由于各种不同的原因用户请求被重定向到了其他位置以4开头的状态代码表示客户端存在某种错误以5开头的状态代码表示服务器遇到了某个 错误。 日志记录的第七项表示发送给客户端的总字节数。它告诉我们传输是否被打断即该数值是否和文件的大小相同。把日志记录中的这些值加起来就可以得知服务 器在一天、一周或者一月内发送了多少数据。 二、配置访问日志 访问日志文件的位置实际上是一个配置选项。如果我们检查httpd.conf配置文件可以看到该文件中有如下这行内容 CustomLog /usr/local/apache/logs/access_log common 注意对于版本较早的Apache服务器这行内容可能略有不同。它使用的可能不是CustomLog指令而是TransferLog指令。如果你的服 务器属于这类情况建议你尽可能地早日升级服务器。 CustomLog指令指定了保存日志文件的具体位置以及日志的格式。至于如何定制日志文件的格式以及内容我们将在这个《Apache日志》系列文章的 后面几篇讨论。上面这行指令指定的是common日志格式自从有了Web服务器开始common格式就是它的标准格式。由此我们也可以理解虽然几乎 不再有任何客户程序向服务器提供用户的标识信息但访问日志却还保留着第二项内容。 CustomLog指令中的路径是日志文件的路径。注意由于日志文件是由HTTP用户打开的用User指令指定因此必须注意这个路径要有安全保 证防止该文件被随意改写。 《Apache日志》系列文章的后面几篇将继续介绍Apache错误日志定制日志的格式和内容如何将日志内容写入指定的程序而不是文件如何从日志 文件获得一些非常有用的统计信息等等。 Apache日志访问日志(二) 3. 进程统计 UNIX可以跟踪每个用户运行的每条命令如果想知道昨晚弄乱了哪些重要的文件进程统计子系统可以告诉 你。它对还跟踪一个侵入者有帮助。与连接时间日志不同进程统计子系统缺省不激活它必须启动。在Linux系统中启动进程统计使用accton命令必 须用root身份来运行。Accton命令的形式accton filefile必须先存在。先使用touch命令来创建pacct文件touch /var/log/pacct然后运行accton accton /var/log/pacct。一旦accton被激活就可以使用lastcomm命令监测系统中任何时候执行的命令。若要关闭统计可以使用不带任何 参数的accton命令。 lastcomm命令报告以前执行的文件。不带参数时lastcomm命令显示当前统计文件生命周期 内纪录的所有命令的有关信息。包括命令名、用户、tty、命令花费的CPU时间和一个时间戳。如果系统有许多用户输入则可能很长。下面的例子 crond F root ?? 0.00 secs Sun Aug 20 00:16 promisc_check.s S root ?? 0.04 secs Sun Aug 20 00:16 promisc_check root ?? 0.01 secs Sun Aug 20 00:16 grep root ?? 0.02 secs Sun Aug 20 00:16 tail root ?? 0.01 secs Sun Aug 20 00:16 sh root ?? 0.01 secs Sun Aug 20 00:15 ping S root ?? 0.01 secs Sun Aug 20 00:15 ping6.pl F root ?? 0.01 secs Sun Aug 20 00:15 sh root ?? 0.01 secs Sun Aug 20 00:15 ping S root ?? 0.02 secs Sun Aug 20 00:15 ping6.pl F root ?? 0.02 secs Sun Aug 20 00:15 sh root ?? 0.02 secs Sun Aug 20 00:15 ping S root ?? 0.00 secs Sun Aug 20 00:15 ping6.pl F root ?? 0.01 secs Sun Aug 20 00:15 sh root ?? 0.01 secs Sun Aug 20 00:15 ping S root ?? 0.01 secs Sun Aug 20 00:15 sh root ?? 0.02 secs Sun Aug 20 00:15 ping S root ?? 1.34 secs Sun Aug 20 00:15 locate root ttyp0 1.34 secs Sun Aug 20 00:15 accton S root ttyp0 0.00 secs Sun Aug 20 00:15 进程统计的一个问题是pacct文件可能增长的十 分迅速。这时需要交互式的或经过cron机制运行sa命令来保持日志数据在系统控制内。sa命令报告、清理并维护进程统计文件。它能把/var/log /pacct中的信息压缩到摘要文件/var/log/savacct和/var/log/usracct中。这些摘要包含按命令名和用户名分类的系统统 计数据。sa缺省情况下先读它们然后读pacct文件使报告能包含所有的可用信息。sa的输出有下面一些标记项 avio--每次执行的平均I/O操作次数 cp--用户和系统时间总和以分钟计 cpu--和cp一样 k--内核使 用的平均CPU时间以1k为单位 k*sec--CPU存储完整性以1k-core秒 re--实时时间以分钟计 s--系统时间以分钟计 tio--I/O操作的总数 u--用户时间以分钟计 例如 842 173.26re 4.30cp 0avio 358k 2 10.98re 4.06cp 0avio 299k find 9 24.80re 0.05cp 0avio 291k ***other 105 30.44re 0.03cp 0avio 302k ping 104 30.55re 0.03cp 0avio 394k sh 162 0.11re 0.03cp 0avio 413k security.sh* 154 0.03re 0.02cp 0avio 273k ls 56 31.61re 0.02cp 0avio 823k ping6.pl* 2 3.23re 0.02cp 0avio 822k ping6.pl 35 0.02re 0.01cp 0avio 257k md5sum 97 0.02re 0.01cp 0avio 263k initlog 12 0.19re 0.01cp 0avio 399k promisc_check.s 15 0.09re 0.00cp 0avio 288k grep 11 0.08re 0.00cp 0avio 332k awk 用 户还可以根据用户而不是命令来提供一个摘要报告。例如sa -m显示如下 885 173.28re 4.31cp 0avk root 879 173.23re 4.31cp 0avk alias 3 0.05re 0.00cp 0avk qmailp 3 0.01re 0.00cp 0avk 4. Syslog设备 Syslog已被许多 日志函数采纳它用在许多保护措施中--任何程序都可以通过syslog 纪录事件。Syslog可以纪录系统事件可以写到一个文件或设备中或给用户发送一个信息。它能纪录本地事件或通过网络纪录另一个主机上的事件。 Syslog设备依据两个重要的文件/etc/syslogd守护进程和/etc/syslog.conf配置文件习惯上多数 syslog信息被写到/var/adm或/var/log目录下的信息文件中messages.*。一个典型的syslog纪录包括生成程序的名字 和一个文本信息。它还包括一个设备和一个优先级范围但不在日之中出现。 每个syslog消息被赋予下面的主要设备之一 LOG_AUTH--认证系统login、su、getty等 LOG_AUTHPRIV--同LOG_AUTH但只登录到 所选择的单个用户可读的文件中 LOG_CRON--cron守护进程 LOG_DAEMON--其他系统守护进程如routed LOG_FTP--文件传输协议ftpd、tftpd LOG_KERN--内核产生的消息 LOG_LPR--系统打印机缓冲 池lpr、lpd LOG_MAIL--电子邮件系统 LOG_NEWS--网络新闻系统 LOG_SYSLOG--由 syslogd8产生的内部消息 LOG_USER--随机用户进程产生的消息 LOG_UUCP--UUCP子系统 LOG_LOCAL0~LOG_LOCAL7--为本地使用保留 Syslog为每个事件赋予几个不同的优先级 LOG_EMERG--紧急情况 LOG_ALERT--应该被立即改正的问题如系统数据库破坏 LOG_CRIT--重要情 况如硬盘错误 LOG_ERR--错误 LOG_WARNING--警告信息 LOG_NOTICE--不是错误情况 但是可能需要处理 LOG_INFO--情报信息 LOG_DEBUG--包含情报的信息通常旨在调试一个程序时使用 syslog.conf文件指明syslogd程序纪录日志的行为该程序在启动时查询配置文件。该文件由不同程序或消息分类的单个条目组成每个占一 行。对每类消息提供一个选择域和一个动作域。这些域由tab隔开选择域指明消息的类型和优先级动作域指明syslogd接收到一个与选择标准相匹配的 消息时所执行的动作。每个选项是由设备和优先级组成。当指明一个优先级时syslogd将纪录一个拥有相同或更高优先级的消息。所以如果指 明crit那所有标为crit、alert和emerg的消息将被纪录。每行的行动域指明当选择域选择了一个给定消息后应该把他发送到哪儿。例如 如果想把所有邮件消息纪录到一个文件中如下 #Log all the mail messages in one place mail.* /var/log/maillog 其他设备也有自己的日志。UUCP和news设备能产生 许多外部消息。它把这些消息存到自己的日志/var/log/spooler中并把级别限为err或更高。例如 # Save mail and news errors of level err and higher in aspecial file. uucp,news.crit /var/log/spooler 当一个紧急消息到来时可能想让所有的用户都得到。也可能想 让自己的日志接收并保存。 #Everybody gets emergency messages plus log them on anther machine *.emerg * *.emerg linuxaid.com.cn alert消息应该写到root和tiger的个人账号中 #Root and Tiger get alert and higher messages *.alert root,tiger 有时syslogd将产生大量的消 息。例如内核kern设备可能很冗长。用户可能想把内核消息纪录到/dev/console中。下面的例子表明内核日志纪录被注释掉了 #Log all kernel messages to the console #Logging much else clutters up the screen #kern.* /dev/console 用户可以在一行中指明所有 的设备。下面的例子把info或更高级别的消息送到/var/log/messages除了mail以外。级别none禁止一个设备 #Log anythingexcept mailof level info or higher #Dont log private authentication messages! *.info:mail.none;authpriv.none /var/log/messages 在有些情况下可以把日志送到打印机这样网络***者怎么修改日志都没有用了。通常要广泛纪 录日志。Syslog设备是一个***者的显著目标。一个为其他主机维护日志的系统对于防范服务器***特别脆弱因此要特别注意。 有个小命令logger为syslog3系统日志文件提供一个shell命令接口使用户能创建日志文件中的条目。用法logger 例如logger This is a test 它将产生一个如下的syslog纪录Aug 19 22:22:34 tiger: This is a test! 注意不要完全相信日志因为***者很容易修改它的。 5. 程序日志 许多程序通过维护日志来反映系统的安全状态。su命令允许用户获得另一个用户的权限所以它的安全很重要它的文件为 sulog。同样的还有sudolog。另外想Apache有两个日志access_log和error_log。 转载于:https://blog.51cto.com/lya041/669440
