1.项目简介
1.1你低我低 是什么? (Introduction)
- 你低我低 致力于建设绝无人工干预的比价网站
- 现支持淘宝、亚马逊
- 支持自定义排序方式
1.2网站截图
站点尚未发布，请谅解，试链接地址：http://ndwd.azurewebsites.net/1.php
1.3你低我低 的创新点 (Innovation)
- 绝无人为干预
- 实时抓取，准确无误
- 开源项目，可拓展性高
1.4你低我低 的项目前景 (Foreground)
- 增加电商数目
- 增加自定义比价功能
- 添加订单管理功能
- 逐步建立起一个集搜索比价，订单管理，售后联系为一体的一站式网站
1.4.1项目背景
- 电子商务逐渐走入寻常百姓家，电商层出不穷
- 尚未有网站集成订单管理，售后客服等功能
- 大量比价网站都无法做到公平公正，无人工干预
1.4.2项目目标
初期目标
- 构建本机单用户比价网站，完成后台抓取功能
- 修改构架支持高并发
中期目标
- 服务器预先抓取数据，实现云存储
- 集成订单管理功能
最终目标
- 实现集成搜索比价，订单管理，售后查询功能的一站式服务型网站
1.4.3项目意义
- 电商层出不穷，比价网站流量将不可估计
- 尚无人涉足一站式服务，若建成将由极大经济效益
1.4.4可行性说明
- 长期开源项目，愿有意人士加入
- 长期项目，终能实现
2.你低我低 的实现方法 (Realization)
- 项目语言：html、php、python
- 主页获取用户搜索内容，排序方式等传送到搜索页
- 搜索页获取id，并比对数据库，有的话直接输出，没有的话调用python脚本抓取信息
- python脚本抓取目标电商搜索结果页源代码，利用正则表达式进行匹配，采用多线程抓取来加速，并存入指定id表中
2.1项目文件说明 (File Description)
- source中为图片资源
- conn为php链接数据库所需文件
- index.php为主页，search.php为搜索页
- db.py为和数据库交互的脚本，get_taobao.py获取淘宝信息，get_zcn.py获取亚马逊信息
- 更多文档说明，请参见 文档说明 文件夹
2.2初期开发总结
2.2.1编写目的
- 总结初期开发过程，经验及后期计划
2.2.2初期开发过程
- 项目灵感源于之前jxy网购东西时的体验
- 项目利用SSSTA的OpenMs 完成了初期目标的一半
- 后台抓取部分已经基本实现
- web前端还需要重新构架以支持多并发
2.2.3经验及教训
- 要坚持日程安排，为期两天的时间由于一开始没有按计划完成，造成所有项目都集中在最后一晚完成，很是粗糙
- 多积累开发经验，特别是前端开发，经验很重要
- 整体构架需提前考虑完善
2.2.4后期计划
- 再次编写计划暂定暑期，目标为完成初期目标，并上线测试
2.3数据库结构
- 数据库的表名为查询id号码
- 每张表的列均为：
- 名称 , 图片地址 , 商铺地址 ,售价,邮费,销量，来源
- VCHAR(256),VCHAR(256),VCHAR(256),INT , INT,INT ,VCHAR(256)
2.4抓取过程
- 利用python的requests,re,MySQLdb
- 利用requests，模拟网页发出get指令，获取返回源代码。之所以选用requests，而没有直接用urllib2， 是因为考虑到可能会有些网页记录cookie来防止程序访问，例如google。用requests里的session就可以轻 松解决这个问题
- 通过分析网页源代码中的特异性，利用正则表达式抓取每个商品所需信息
- 利用MySQLdb库将其保存至数据库中
参考文献
- 基于Heritrix和Lucene的国内机票比价系统的设计与实现（上海交通大学·李祥仪）
- 电子产品自动搜索比价系统设计与实现（山东大学·祁良武）
- 建材价格比较和跟踪系统的设计与实现（上海交通大学·华冠群）
- 龙城电子商城购物系统的设计与实现（电子科技大学·任艳梅）
- 分布式网络爬虫在农产品搜索系统中的应用与研究（南昌大学·袁龙涛）
- 基于SSH架构的个人空间交友网站的设计与实现（北京邮电大学·隋昕航）
- 煤炭交易信息系统设计与实现（电子科技大学·柏瑞华）
- 基于Heritrix和Lucene的国内机票比价系统的设计与实现（上海交通大学·李祥仪）
- 基于J2EE&XML的比价购物系统的研究与实现（湖南工业大学·胡纯蓉）
- 潍坊市物价局价格监测系统的设计与实现（山东大学·肖艳丽）
- 面向学生的商业信息公布和话题讨论平台（吉林大学·张振中）
- 网上购物模拟系统（吉林大学·郭秋野）
- 电子产品自动搜索比价系统设计与实现（山东大学·祁良武）
- 面向商品比价应用的垂直搜索引擎系统设计与实现（西南交通大学·缪丹）
- 基于J2EE构架下的典型网上交易平台实现技术（南京工业大学·于磊）
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设工厂 ，原文地址：https://bishedaima.com/yuanma/35640.html
