之所以要想这篇文章,还是要吸引下百度的蜘蛛,因为百度的蜘蛛一直处在抓取北京酒店预订网www.chinanms.com/jiudian搜索栏目的静态页面,而这些静态页面现在都是不存在的了,也就是错误的页面,所以需要把这些静态页面去掉,百度蜘蛛你也就别抓取这些静态的页面就行了!
其实你要抓搜索页面可以的,北京酒店预订网的搜索页面,你可以抓取动态的搜索页面啊,这个是北京酒店预订网的搜索频道,http://www.chinanms.com/jiudian/search.asp
比如这个搜索一个关键词,清河,http://www.chinanms.com/jiudian/hotellist.asp?cityid=53&rank=0&key=%u6E05%u6CB3
这样你就可以抓取动态的搜索页面了,而不是静态的页面,这个是我需要你百度蜘蛛区抓取的,而不需要你去抓取哪些搜索的静态页面。
还有一点就是现在北京酒店预订网,每天都在更新资讯频道和问答频道,百度蜘蛛你为啥不来抓取这些页面呢?这些页面都是原创的内容,难道原创内容也不抓取吗?
北京酒店预订网,资讯频道:http://www.chinanms.com/jiudian/news.asp
还有北京酒店预订网的问答频道,网址是:http://www.chinanms.com/jiudian/question/
个人觉得,这些页面你应该去抓取的啊,而不是抓取那些无用的页面,百度蜘蛛赶紧去抓去吧,我就把你带到这里,抓不抓取那是你的事了!