香港葡京赌侠诗(中国)有限公司

?
各地市:
郑州网站建设 洛阳网站建设 开封网站建设 安阳网站建设 新乡网站建设 濮阳网站建设 焦作网站建设 鹤壁网站建设 三门峡网站建设 商丘网站建设 许昌网站建设 漯河网站建设 平顶山网站建设 驻马店网站建设 周口网站建设 南阳网站建设 信阳网站建设 济源网站建设 二七区网站建设 中原区网站建设 管城区网站建设 惠济区网站建设 金水区网站建设 上街区网站建设 巩义市网站建设 新密市网站建设 登封市网站建设 荥阳市网站建设 中牟县网站建设 经开区网站建设 高新区网站建设 涧西区网站建设 西工区网站建设 老城区网站建设 瀍河回族区网站建设 洛龙区网站建设 吉利区网站建设 偃师市网站建设 孟津县网站建设 新安县网站建设 洛宁县网站建设 宜阳县网站建设 伊川县网站建设 嵩县网站建设 栾川县网站建设 汝阳县网站建设 杞县网站建设 兰考县网站建设 通许县网站建设 尉氏县网站建设 开封县网站建设 金明区网站建设 顺河回族区网站建设 龙亭区网站建设 鼓楼区网站建设 禹王台区网站建设 安阳县网站建设 林州市网站建设 内黄县网站建设 汤阴县网站建设 滑县网站建设 龙安区网站建设 殷都区网站建设 文峰区网站建设 北关区网站建设 辉县市网站建设 卫辉市网站建设 新乡县网站建设 获嘉县网站建设 原阳县网站建设 延津县网站建设 封丘县网站建设 长垣县网站建设 卫滨区网站建设 红旗区网站建设 牧野区网站建设 凤泉区网站建设 华龙区网站建设 清丰县网站建设 南乐县网站建设 濮阳县网站建设 莘县网站建设 范县网站建设 台前县网站建设
当前位置: 主页 > 建站常识 > 网站建设观点 >

郑州网站建设教你如何分析日志文件?

发布时间:2017-03-14 16:29 | 发布者:香港葡京赌侠诗 | 浏览次数:次

第一部分日志文件分析

一般大家可以通过ftp或者连接服务器,找一个名为logfiles的文件夹,里面有很多个文件,可能大家有的人看不懂,不过没关系,咱们可以借助第三方工具爱站,爱站工具包—日志分析—选择文件—开始分析,可以清楚清楚的看到有哪些搜索引擎哪一天来爬取过大家的哪些页面。在这咱们需要注意的几个事项:

①如果你网站内容经常不更新,那么蜘蛛来的频次会越来越少

②如果蜘蛛不来你的网站爬取了,那么很可能你网站被k了,网站被k也有多种原因(可能是网站被挂木马,也有可能是站长自己操作问题,后续在我的文章中会给大家详细先容);

③搜索引擎爬取的时候空间打不开,也会导致搜索引擎爬取频率比较少

④是死链接,图片,动画太多,也会导致搜索引擎爬取频率过少或者不爬,因为搜索引擎是顺着链接爬取的,同时也无法抓取图片和动画,死链接太多,蜘蛛爬不下去了,就主动放弃不再爬取

⑤如果Roberts设置禁止全站被蜘蛛或机器人爬取,那么蜘蛛或机器人也不会再爬取

第二部分Roberts协议

通常在根目录下,会有一个Roberts协议,Roberts协议是鉴于保护自己的网络隐私去写的一个协议,简单的理解:这个协议就是告诉蜘蛛或机器人你是否有权限爬取我的网站,以及你不可以爬取我的网站那一部分内容。咱们截取百度的Roberts协议中的一段来看一下,如图所示:网站建设之日志分析篇



咱们可以来看一下,在Roberts协议中,*这个符号表示“所有”的意思,user-agent:yisouspider咱们就可以理解为百度允许一搜来抓取它的东西,Disallow是不允许的意思,那下面这句:Disallow/baidu意思就是不允许抓取baidu这个文件下的所有内容,其他的同样。最后一句:

“User-agent: *

Disallow: /”

上面这句代码的意思就是:除了我上面所列举出来的这些蜘蛛或机器人,其他的蜘蛛或机器人都不允许抓取我网站上的任何东西,违者可以追究法律责任。一般一个蜘蛛或机器人去爬取一个网站,首先就要爬取网站Roberts文件,然后遵守协议去爬行。

?
?

香港葡京赌侠诗|香港葡京赌侠诗

XML 地图 | Sitemap 地图