78
浏览
关于企业网站内链link优化的一些方法论，内容来自oncrawl。 robots php 排名 索引
这篇优化建议由 www.leptech.cn 小编引自oncrawl官方网站，翻译效果可能不会太好，大家可以参考着学习哦~1.url 必须是每个人都可读的阅读器和搜索引擎都必须能够读取您的 url。搜索引擎作为读者，阅读您的 url 单词以……
关于robots的讨论共有1541个 -利来登录
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1541
问题
122
浏览
请问网站地图支持放到站外么 robots 百度收录 二级域名 索引
入职一家公司不久，网站结构非常混乱，很多重复链接，他们还把重复的链接放到了网站地图里，百度收录的乱七八糟，各种链接。网站是外包给网络公司的，网络公司是个分公司，没技术处理真正的技术问题。处理个301他们都不会，还要我查了手册写好文件发给他们……
56
浏览
45
浏览
robots
现有网站www.abc.com，登陆页为account.abc.com/login?_ag=1234，登陆页为动态，如何书写www.abc.com的robots文件呢？……
95
浏览
关于网站分页链接的处理，大家一般是怎么解决？ robots
比如网站域名/page/2 分页我觉得无意义,那么我用robots屏蔽带page的页面,那么我之前的收录的page对网站有什么影响,而且这些页面是不能删除的,只是以后更新的page页面不在抓取.请各位大神指教!……
43
浏览
robots
请问下各位，robots.txt，中如何屏蔽中文url，一个目录下，有英文url和中文url，xxx.com/xxx/吃饭/xxx.com/xxx/手机/xxx.com/xxx/abc/如何把其中的中文url在robots.txt中屏蔽呢？……
73
浏览
robots
比如我们一个域名www.abcde.com，我们想把带？号的url全部禁掉，利来手机娱乐首页我们不要禁掉，怎么弄？……
319
浏览
robots
robots.txt 禁止了百度抓取指定连接没，但是每天还还是有大量的蜘蛛来抓取。各位大佬你们一般怎么处理的？……
261
浏览
57
浏览
77
浏览
robots
disallow: /?*utm*
165
浏览
robots
问题如下： 例如有网站www.abc.com，有www.abc.com/news?_bd=225 和www.abc.com/news两个链接，我想让蜘蛛抓取www.abc.com/news里面的内容，而不想让蜘蛛抓取www.abc.c……
97
浏览
34
浏览
73
浏览
232
浏览
robots
网站是公司老板找别人做的 https://www.58zhuan gxiu.cn/robots.txt
190
浏览
265
浏览
88
浏览
176
浏览
82
浏览
63
浏览
168
浏览
97
浏览
51
浏览
239
浏览
137
浏览
robots
提示：搜外问答正在升级中，升级期间只可以浏览，不能进行提问新问题、回复问题等交互操作