通过shell脚本提交网站404死链

1次阅读

共计 1865 个字符，预计需要花费 5 分钟才能阅读完成。

网站运营人员对于死链这个概念一定不陌生，网站的一些数据删除或页面改版等都容易制造死链，影响用户体验不说，过多的死链还会影响到网站的整体权重或排名。

百度站长平台提供的死链提交工具, 可将网站存在的死链 (协议死链、404 页面) 进行提交, 可快速删除死链, 帮助网站 SEO 优化。在提交死链的文件中逐个手动填写死链的话太麻烦，工作中我们提倡复杂自动化，所以本文我们一起交流分享 Apache 服务中通过 shell 脚本整理网站死链，便于我们提交。
通过 shell 脚本提交网站 404 死链

1. 配置 Apache 记录搜索引擎

Apache 是目前网站建设最为主流的 web 服务，但是 apache 的日志文件默认是不记录百度、谷歌等各大搜索引擎的爬取程序的，所以首先需要我们设置 Apache 的配置文件。

找到 Apache 的配置文件 httpd.conf，在配置文件中找到下面两行：

CustomLog "logs/access_log" common
 #CustomLog "logs/access_log" combined

默认采用的是 common，这里我们只需要将 common 这一行前面加 #注释掉, 然后将 combined 这一行前的# 去掉即可。然后保存重启 Apache 服务。

注：如果你的服务器上添加了多个站点，每个站点有单独的配置文件，则我们只需要在相应站点的配置文件中设置 CustomLog 项即可，例如：

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf


    ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org"
    ServerName www.chanzhi.org
    ServerAlias chanzhi.org
    ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log"
    CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined

    SetOutputFilter DEFLATE
    Options FollowSymLinks ExecCGI
    Require all granted
    AllowOverride All
    Order allow,deny
    Allow from all
    DirectoryIndex index.html index.php

下面是配置前后的网站日志记录格式：

配置前：
通过 shell 脚本提交网站 404 死链

配置后：
通过 shell 脚本提交网站 404 死链

2. 编写 shell 脚本

我们通过 shell 脚本获取网站日志中指定爬虫的抓取记录，然后汇总到一个文件中，便于后期使用。代码如下，比如保存为 deathlink.sh

#!/bin/bash
#初始化变量
#定义蜘蛛 UA 信息（默认是百度蜘蛛）UA='+http://www.baidu.com/search/spider.html'
 
#前一天的日期（apache 日志）DATE=`date +%Y%m%d -d "1 day ago"`
 
#定义日志路径
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log
 
#定义死链文件存放路径
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
 
#定义网站访问地址
website=http://www.chanzhi.org
 
#分析日志并保存死链数据
for url in `awk -v str="${UA}" '$9=="404"&& $15~str {print $7}' ${logfile}`
do
  grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done

大家在使用该脚本时，根据自己服务器情况调整下路径和字段即可，然后执行脚本,：