当前位置: 首页 > news >正文

新网站怎样做外链全国疫情高峰感染进度查询

新网站怎样做外链,全国疫情高峰感染进度查询,如何做棋牌网站,宁波做网站scrapy爬取城市天气数据 一、创建scrapy项目二、修改settings,设置UA,开启管道三、编写爬虫文件四、编写items.py五、在weather.py中导入WeatherSpiderItem类六、管道中存入数据,保存至csv文件七、完整代码一、创建scrapy项目 先来看一下爬取的字段情况: 本次爬取城市天…

scrapy爬取城市天气数据

  • 一、创建scrapy项目
  • 二、修改settings,设置UA,开启管道
  • 三、编写爬虫文件
  • 四、编写items.py
  • 五、在weather.py中导入WeatherSpiderItem类
  • 六、管道中存入数据,保存至csv文件
  • 七、完整代码

一、创建scrapy项目

先来看一下爬取的字段情况:
在这里插入图片描述

本次爬取城市天气数据的scrapy项目使用pycharm创建。首先,使用pycharm创建一个项目并打开该项目,创建的项目名称为scrapyProject。打开pycharm的终端,输入命令scrapy startproject weatherspider,接下来在终端输入命令cd weatherspider进入该目录下。然后输入命令scrapy genspider weather www.xxx.com,这里的weather是spider的名字。项目便创建好了。

二、修改settings,设置UA,开启管道

打开settings.py,将ROBOTSTXT_OBEY改为False,LOG_LEVEL设置为ERROR,将User-Agent改为自己的User-Agen,如下图所示:
在这里插入图片描述
在settings.py文件中取消管道代码的注释,如下图所示:
在这里插入图片描述

<

http://www.ds6.com.cn/news/40231.html

相关文章:

  • 网站的费用可以做无形资产吗网站制作建设
  • wordpress缩略图中大大aso安卓优化公司
  • 利用qq 群做网站推广网站搜索引擎推广
  • 漯河做网站哪家好网络营销应用方式
  • 做网站说要自己贴税点是怎么回事呀百度付费推广有几种方式
  • 竹子建站下载百度竞价个人开户
  • 2022中央经济工作会议要点西安企业seo外包服务公司
  • 设计上海网站建设西安seo教程
  • 沈阳网站制作公司排名网站优化技术
  • 什么网站做任务南宁网站公司
  • 深圳搜豹网站建设公司企业建站用什么好
  • 帮我们公司做网站seo点击工具
  • 浙江响应式网站建设公司多合一seo插件破解版
  • 网站建设合同鉴于甲方委托乙方最新seo操作
  • 网站开发外包售后维护合同范本怎么自己注册网站
  • 免费论坛申请无广告上海关键词排名优化公司
  • 网站开发的前端与后端百度平台商户电话号码
  • 网站开发 经常要清理缓存广东互联网网络营销推广
  • 网站后台管理无法编辑个人网上卖货的平台
  • 网站集约化建设意见靠谱的广告联盟
  • 欧美做愛网站小程序拉新推广平台
  • 儿童网站网页设计网络零售的优势有哪些
  • 上海外贸瓦屑包装袋有限公司黑河seo
  • 中核集团2023校园招聘信息郑州网络seo公司
  • 灵感中心素材网站东莞网站建设排名
  • 网页设计师培训宣传语企业网站排名优化公司
  • 肇庆企业建站程序百度资源平台
  • 天津工程建设协会网站微信营销推广
  • 开发区经济建设网站seowhy
  • 网站开发技术的发展流程广告投放平台有哪些