关于robots的讨论共有1541个 -利来登录

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。
相关话题
话题优秀回答者
1541 问题
122 浏览

请问网站地图支持放到站外么 robots 百度收录 二级域名 索引

入职一家公司不久,网站结构非常混乱,很多重复链接,他们还把重复的链接放到了网站地图里,百度收录的乱七八糟,各种链接。网站是外包给网络公司的,网络公司是个分公司,没技术处理真正的技术问题。处理个301他们都不会,还要我查了手册写好文件发给他们……

56 浏览

robots 搜索结果 文章

所有采集页不传递权重,robots屏蔽,采集大概几十万篇文章后像制作专题一样的 生成搜索结果的html页面?这样的话内容相当于是很多段描述拼凑在一起的 内容应该非常原创了吧。。。实验过一次,不这样的话采集页面对于垃圾站也来不了什么流量吧。。……

45 浏览

robots

现有网站www.abc.com,登陆页为account.abc.com/login?_ag=1234,登陆页为动态,如何书写www.abc.com的robots文件呢?……

95 浏览

关于网站分页链接的处理,大家一般是怎么解决? robots

比如网站域名/page/2  分页我觉得无意义,那么我用robots屏蔽带page的页面,那么我之前的收录的page对网站有什么影响,而且这些页面是不能删除的,只是以后更新的page页面不在抓取.请各位大神指教!……

456 浏览

robots 排名

网站被判定为采集站,关键词没有任何排名,但收录还在。robots禁止了采集网页,之后反馈给百度站长,给到反馈如下:……

43 浏览

robots

请问下各位,robots.txt,中如何屏蔽中文url,一个目录下,有英文url和中文url,xxx.com/xxx/吃饭/xxx.com/xxx/手机/xxx.com/xxx/abc/如何把其中的中文url在robots.txt中屏蔽呢?……

73 浏览

robots

比如我们一个域名www.abcde.com,我们想把带?号的url全部禁掉,利来手机娱乐首页我们不要禁掉,怎么弄?……

178 浏览

robots 百度收录

早期被百度收录了,然后设置了robots!但现在发现,还是被百度收录了,搜索结果显示title,如何删除这种快照呀!……

319 浏览

robots

robots.txt 禁止了百度抓取指定连接没,但是每天还还是有大量的蜘蛛来抓取。各位大佬你们一般怎么处理的?……

261 浏览

robots 排名 文章

1.在ftp设置robots.txt禁止组和公共读取权限,只保留过所有者,11.27日左右2.在虚机上开启了https,加上了ssl访问,11.27日左右3.网站改了部分内容,复制了一些文章,12.11日左右现在是站长平台索引量没太有变化,……

79 浏览

robots 索引

我的这个robots文件设置的有问题吗?蜘蛛一直不来抓取,语句没有禁止搜索引擎抓取吧?

88 浏览

robots 索引

我的这个robots文件设置的有问题吗?蜘蛛一直不来抓取,语句没有禁止搜索引擎抓取吧?

57 浏览

robots

77 浏览

robots

disallow: /?*utm*

165 浏览

robots

问题如下:    例如有网站www.abc.com,有www.abc.com/news?_bd=225 和www.abc.com/news两个链接,我想让蜘蛛抓取www.abc.com/news里面的内容,而不想让蜘蛛抓取www.abc.c……

97 浏览

robots 宝塔 404

某网站存在一些非主动生成的动态链接空白页面(状态码为200)总是被蜘蛛抓取,比如如图中链接类型,做了robots屏蔽还是没用,就想把这页面改成404识别让蜘蛛别来抓取了,怎么设置(tp程序,宝塔后台服务器管理)……

34 浏览

robots 404

网站访问没问题,而且用百度资源“抓取诊断”也正常。但是,百度资源“robots”监测提示:您的服务器配置有误,百度暂时无法连接您的服务器,请检查服务器的设置,确保您网站的服务器能被正常访问。错误码:404 怎么回事?……

73 浏览

robots

232 浏览

robots

网站是公司老板找别人做的      https://www.58zhuan gxiu.cn/robots.txt  

190 浏览

robots site sitemap

网站地图的txt格式放robots里有用吗?  还是txt格式的只适合用在百度站长后台提交用 的呢?写html格式的在robots里有用吗?sitemap: http://www.xxx.com/sitemap.xmlsitemap: ht……

265 浏览

robots site sitemap

比方说我们会在robots里填写:sitemap: http://www.xxx.com/sitemap.xmlsitemap: http://www.xxx.com/sitemap.html那么能不能在robots里填写:sitemap:……

88 浏览

robots

240 浏览

robots 死链接 404

404或者死链接需要做txt文档放在根目录吗,再在robots里写disallow: /404.txt吗

176 浏览

robots

82 浏览

数据库 robots

一个月前改版了网站,数据、模版可以说都换了...先说说旧链接的事:1.收录的旧链接大部分删除了,有一两条仍然删除不了(提交死链了)2.一直在关注收录,上周收录上涨,结果都是旧链接,已经打不开的...(和数据库有关系吗?)再有就是新内容不收录……

63 浏览

robots 排名 文章 索引

网站地图,又称站点地图,它就是一个页面,上面放置了网站上所有页面的链接。大多数人在网站上找不到自己所需要的信息时,可能会将网站地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图,【知心网堂】小编整理发布。接下来通过这篇文章为你具体介绍网站地……

73 浏览

robots 404 索引

robots.txt 写了不让爬某栏目 结果它还是去爬 还404 有啥办法啊😅

168 浏览

robots iis 排名 索引

在seo中,收录数对流量会有影响,因为页面的收录是页面获得排名的前提,页面排名也直接影响了网站的流量,这就是为什么站长们都注重百度权重收录量大是每一个网站优化希望得到的结果,但是就算你收录量到亿,没有流量,也就只能是个数字而已,网站质量低导……

51 浏览

robots 404 索引

中小企业通过网站seo可以获取更多客户,优化自己企业的网站,可以有效帮助获得客户。今天为您介绍企业新站如何优化。一、新站做seo优化一直不收录的原因1.新网站的服务器/空间不稳定,有时无法打开该站点,使蜘蛛难以抓取。2.网站内容包含违法信息……

239 浏览

robots php 404

遇到奇葩的事情了。网站好像被人恶意刷流量流量来自m.baidu.com,刷的是一个在一年前就删掉的织梦动态预览页面/plus/view.php?aid=******结果现在导致百度移动端收录了好多这个网址格式的页面奇葩的是明明是404页面,……

137 浏览

robots

提示:搜外问答正在升级中,升级期间只可以浏览,不能进行提问新问题、回复问题等交互操作

'); // });