爬千里顺风,用于检测是否能正常发言

DONGGUOLIANGNEW\edy 872060e707 千里顺风发消息 hai 1 ano
.gitignore 5632f4452b Merge branch 'master' of http://10.8.230.114:3000/dongguoliang/spider_qlsf %!s(int64=2) %!d(string=hai) anos
auth.py b4e5bfc570 初始化 %!s(int64=2) %!d(string=hai) anos
config.ini 872060e707 千里顺风发消息 hai 1 ano
config_sample.ini 872060e707 千里顺风发消息 hai 1 ano
data - 副本.json b4e5bfc570 初始化 %!s(int64=2) %!d(string=hai) anos
data-.json b4e5bfc570 初始化 %!s(int64=2) %!d(string=hai) anos
data.json 38a2c0ff00 千里顺风提交 %!s(int64=2) %!d(string=hai) anos
detail.py 872060e707 千里顺风发消息 hai 1 ano
geckodriver.log b4e5bfc570 初始化 %!s(int64=2) %!d(string=hai) anos
main.py 872060e707 千里顺风发消息 hai 1 ano
readme.md 872060e707 千里顺风发消息 hai 1 ano
setup.py 38a2c0ff00 千里顺风提交 %!s(int64=2) %!d(string=hai) anos

readme.md

准备

*** 将待抓取的商品导入到 数据库表 spider_data

程序入口文件 main.py

*** 用户登录: auth.login(url_login) *** 开始抓取: detail.get_detail(url_detail)

driver下载地址

*** https://googlechromelabs.github.io/chrome-for-testing/