selenium
淘宝的商品信息太乱，不同配置的销售量也没办法确定，所以没有考虑不同配置的情况。具体方法是使用selenium进行手机页面的翻页，所有的信息均从页面html解析进行正则匹配得到数据。（最开始以首页的收货人数作为标准，但是处理数据的时候发现太不靠谱了。解析html后决定采用commentcount作为标准，且每页数量都是44
参考文献
- 基于半监督聚类的个性化搜索研究（青岛理工大学·杜中国）
- 基于蚁群算法的分布式爬虫技术研究及应用（江苏科技大学·张冬冬）
- 基于网络爬虫的搜索引擎的设计与实现（湖北工业大学·冯丹）
- 深度可定制的工具化爬虫系统的设计与实现（北京邮电大学·李笑语）
- 基于增量反馈和自适应机制的主题爬虫系统的设计与实现（南京理工大学·王斐）
- 基于Docker集群的分布式爬虫系统的设计与实现（武汉邮电科学研究院·方奇洲）
- 主题爬虫关键技术研究（哈尔滨工程大学·黄正德）
- 面向金融信息的主题爬虫研究与应用（哈尔滨工业大学·卜永忠）
- 网络爬虫技术在云平台上的研究与实现（电子科技大学·刘小云）
- 软件更新信息系统的开发研究（南京邮电大学·徐琼）
- 基于词库匹配方法的电商商品评论的分类及情感分析（深圳大学·黄宇杰）
- 基于蚁群算法的分布式爬虫技术研究及应用（江苏科技大学·张冬冬）
- 基于Lucene的商品垂直搜索引擎研究与实现（东华大学·潘磊宁）
- 基于Lucene的商品垂直搜索引擎研究与实现（东华大学·潘磊宁）
- 恶意URL检测项目中基于PageRank算法的网络爬虫的设计和实现（北京邮电大学·王晓梅）
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码客栈 ，原文地址：https://bishedaima.com/yuanma/36171.html
