关于蜘蛛(爬虫)的讨论共有285个 -利来登录

自动抓取网页内容的机器人robots,搜索引擎蜘蛛的简称.
相关话题
话题优秀回答者
285 问题
240 浏览

蜘蛛(爬虫) 百度蜘蛛 索引

我这个http://www.chinaxfy.com/[?] 网站的百度蜘蛛(爬虫)都不收录我的网站该怎么办?别的搜索引擎的爬虫到是来爬,就百度的不来气死我了。……

1049 浏览

蜘蛛(爬虫)

我这个http://www.aikailian.com/ 网站的百度蜘蛛(爬虫)都不收录我的网站该怎么办

948 浏览

蜘蛛(爬虫)

http://www.aikailian.com 有什么很好的方法让百度爬虫爬取并收录网站吗

4692 浏览

蜘蛛(爬虫)

15333 浏览

蜘蛛(爬虫) 日志分析

新站日志中蜘蛛大部分抓取index.html页面,栏目页也是被抓取index.html页面,同时利来手机娱乐首页带/的蜘蛛也会抓取。这问题如何处理?……

2465 浏览

蜘蛛(爬虫)

网站是用php语言写的,虽然网站内图片多,但文章也不少,每天6篇,已经坚持3个月了。今天查看网站日志发现蜘蛛的抓取页面的路径点开后全是图片!求大神解惑,是不是网站日志中只显示蜘蛛抓取的图片路径,不显示文章路径啊?还是我用的工具不行(爱站工具……

7758 浏览

蜘蛛(爬虫)

一个月无缘无故被吃掉1g流量,可以禁止吗? ip地址是:211.89.227.36

2485 浏览

蜘蛛(爬虫)

发现最近网站排名下降,而且不稳定,查看网站发现利来娱乐的简介、联系利来手机娱乐这样的固定内容页面和网站图片返回的状态吗都是304,想请教大家这是什么原因造成的,怎么解决……

2472 浏览

蜘蛛(爬虫)

比如说,我用python写了爬虫,然后按照正常人百度搜索的步骤进入我的网站进行爬取,并用不同的ip运行这一程序,那么百度会认为这是正常的搜索流量而提高网站的权值吗?……

5433 浏览

蜘蛛(爬虫) 日志分析

9月8日的日志中发现大量 124.232.152.37 以前没有,而且这个ip爬的发部分都是404 user-agent是 user-agent baiduspider 或 baiduspider 用nslookup 查询结果为……

3194 浏览

蜘蛛(爬虫) 日志分析

!因为之前在备案,现在备案下来了我再网站日志里面没有看到8月24号以后的日志! 这个问题怎解决呢?……

13920 浏览

蜘蛛(爬虫)

今天看网站的服务器日记,发现里面easouspider这个搜索引擎的蜘蛛来的很勤快,想问一下这是哪一个搜索引擎的蜘蛛呢?求各位大神。……

4025 浏览

蜘蛛(爬虫)

最近一直在分析网站日志蜘蛛的爬行情况,发现easouspider这个蜘蛛的抓取率比百度高,请问这个easouspider蜘蛛是否要进行屏蔽,还有这种蜘蛛是恶意蜘蛛吗?……

3783 浏览

蜘蛛(爬虫)

网站没有被k 或 降权 , 外链只做了利来手机娱乐的友情链接,内容也有更新。我不会seo,只在网上看了seo视频教程,只知道有那么回事,实际什么都不会。今天早上发现没有百度蜘蛛ip了,请大家指点一下,要怎么办?……

2942 浏览

蜘蛛(爬虫) 日志分析

[attach]6623[/attach] 第一问: 301状态码:我的网站是二级域名的,请问这个301提示表示什么意思? 第二问: 304状态码:如图所示,这些地址不知道是干什么用的,如何处理? 第三问: 404状态码:根据提示查看了……

3487 浏览

蜘蛛(爬虫) 引蜘蛛

在思考引蜘蛛的时候想到这个问题,蜘蛛是看到链接就抓吗?似乎不可能。那么蜘蛛看到链接的后续动作是什么呢? 于是有了标题上的这个问题: 蜘蛛访问a域名的a页面,发现了a域名的b链接和c域名的d链接,接下来蜘蛛会怎么做? 很多朋友同我一样都要使……

3088 浏览

蜘蛛(爬虫)

有没有碰到一个问题,百度在爬取我们网页的时候路径不完整: 比如:你的路径是 /food/article/1000001/ 百度却爬取 /food/article/1000001 你的路径是 ……

2507 浏览

蜘蛛(爬虫)

如题,网站中某个频道蜘蛛不访问或很少访问? 情况是这样的: 例如:网站有以下几种url分别代表不同的频道; a.com/1/* 抓取、收录良好; a.com/2/* 抓取、收录良好; a.com/3/* 几乎很少或不抓取、收录极差……

2163 浏览

蜘蛛(爬虫)

如何了解和获知baiduspider在网站中爬行的规律?

3761 浏览

蜘蛛(爬虫) 日志分析

[attach]3496[/attach] 上面圈红的目录,我网站上不存在呀,而且查看ftp并没有这些目录,怎么会爬行那么多次呢? 希望大家帮忙看下怎么回事……

3795 浏览

蜘蛛(爬虫) seo诊断 百度快照 网站恢复

话不多说,直接看图片 [attach]3266[/attach] 这些内容页都是用新的模板,之前的模板却没有这样的问题,虽然快照没多大关系,但是看着非常不舒服,而且描述全部都是一样的,完全抓取错误,请教各位,有什么办法更新吗? ……

3073 浏览

蜘蛛(爬虫) 日志分析

今天查看网站日志,结果发现有很多不存在的目录被百度蜘蛛抓取后返回200 0 0。我就纳闷了,都是些不存在的目录,什么情况这是? 还有111.173.152.227这个ip段的蜘蛛我好像都没见过,代表什么意义了?……

2493 浏览

蜘蛛(爬虫)

做了个新站,提交url蜘蛛也不来,发外链发了n多 蜘蛛还是不来.百度干嘛呢

5190 浏览

蜘蛛(爬虫)

看了很多关于seo知识,也分析过日子 那个段落代表百度蜘蛛提权,那些事降权蜘蛛 220.181.108.*** 123.125.71.** 117.28.255.** 183.91.40.*** 218.30.118.** 根……

3361 浏览

蜘蛛(爬虫)

已经1个月没有收录了,真是搞不懂呢,关键词排名也没有任何变化,蜘蛛也天天来的,文章也天天定时更新的。这是为啥啊……

4042 浏览

蜘蛛(爬虫) 百度快照

比如导航中的某块快照没有显示,是不是代表蜘蛛没有抓取?不是关于meta标签的问题

2555 浏览

蜘蛛(爬虫)

www.###.com/123/ 这样的形式去生成 而不是生成整站 www.###.com **这样是更利于蜘蛛爬行吗?**

6267 浏览

蜘蛛(爬虫) robots nofollow

其他搜索引擎抓取正常(百度,谷歌,360等),robots文件已检查,meta标已检查,无nofollow,排除内容和结构问题,各位大神指点迷津………

2233 浏览

蜘蛛(爬虫)

我的一个独立ip网站,分析日志后发现一个奇怪的问题。所有蜘蛛ip都一样。如下图: [attach]17941[/attach] 但我看了我的同一个空间,但是没有绑定独立ip的网站,这个ip就不一样了。 [attac……

4642 浏览

蜘蛛(爬虫)

网站抓取都是192.168.119.51和192.168.119.61两个ip。我nslookup下返回: [attach]25855[/attach] 于是我去报表查下,返回: [attach]25856[/attach] 百度查……

3817 浏览

蜘蛛(爬虫)

看日志,发现我的站每次发完文章后最多15分钟内百度必定会来爬行,想知道百度是怎么知道我更新了呢?话说我也没有提交url。 当然,这跟站做得久了以及外链多不无关系,但我就是想知道百度是怎么知道我更新的呢?? 它的机制是啥?为什么我一发完文……

3521 浏览

蜘蛛(爬虫)

两个多月的站,百度只抓取老页面,发布的新页面根本不抓取,什么原因,怎么办呢

3086 浏览

蜘蛛(爬虫) 更换域名

门户站,一个月前换了新域名,同时在站长后台也提交了改版规则,并也提示改版完成,但是现在通过日志文件分析看到蜘蛛一直在爬取早期的内容,新内容很少爬取,通过site发现一周才收录3、4篇,网站内容基本为原创内容,也做了主动推送(实时)和自动推送……

4644 浏览

蜘蛛(爬虫)

对于新站百度只抓取利来手机娱乐首页,元芳你怎么看?

7353 浏览

蜘蛛(爬虫) robots 网站日志

当然,这是一个关于网站日志的问题,技术层面上的,仅供大家参考。 问题:百度蜘蛛爱爬图片?内页不爬怎么办?(所爬取的图片有一定的价值,不知道用不用robots屏蔽,如果屏蔽了,蜘蛛会不会什么都不爬了?)……

4549 浏览

蜘蛛(爬虫)

网站3号换了空间,日志里只有3号有百度蜘蛛来的记录,之后就没有来过,是因为换空间的原因吗?该怎么解决?……

4691 浏览

蜘蛛(爬虫) 日志分析 增加收录 百度统计 索引量

现在一个网站每天都更新也发外链,但是通过日志分析,百度蜘蛛还就是抓取那几个页面,百度统计后台的索引量也不变,请问用什么办法可以提高点爬行页面呢?……

2767 浏览

蜘蛛(爬虫) 抓取频次

最近的日志发现百度蜘蛛的访问次数和抓取量都差不多了,最新的日志显示访问400次缺只抓取了401个页面,请问是什么问题啊,2个月了收录一直没怎么增加,小弟网址www点wtzpw点com……

3121 浏览

外链 蜘蛛(爬虫) 引蜘蛛

如题,站外引蜘蛛,用哪种方式留链接比较好?主要是考虑到时间因素,要让蜘蛛快速去爬我们url。大神们聊一下呢……

2787 浏览

蜘蛛(爬虫)

刚上线一个月的新站。 光年日志里显示的百度蜘蛛访问次数是4,蜘蛛ip又有20多个。这两者是什么关系呢? 还有怎么看百度蜘蛛每次来的时间,比如访问4次,每次来的时间在哪里看呢? ……