-
什么是搜索引擎蜘蛛?
搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。 搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。 国内各大搜索引擎蜘蛛名称: 百度:百度spider 谷歌:googlebot 搜狗:sogou spider 搜搜:Sosospider 360搜索:360Spider 有道:YodaoBot 雅虎:Yahoo Slurp 必应:msnbot Msn:msnbot 以…...- 王海海
- 0
- 0
- 1
-
什么是robots.txt
在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。 Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么,但是我们需要注意的几点: 1.robots.txt必须存放在网站的根目录下。 2.其命…...- 王海海
- 0
- 0
- 1