python爬虫框架Scrapy怎么安装使用
这篇文章主要介绍了python爬虫框架Scrapy怎么安装使用的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇python爬虫框架Scrapy怎么安装使用文章都会有所收获，下面我们一起来看看吧。
建网站原本是网站策划师、网络程序员、网页设计师等，应用各种网络程序开发技术和网页设计技术配合操作的协同工作。创新互联公司专业提供网站设计、网站制作,网页设计,网站制作(企业站、成都响应式网站建设公司、电商门户网站)等服务,从网站深度策划、搜索引擎友好度优化到用户体验的提升,我们力求做到极致!
1.Scrapy框架结构示意图
官方示意图：
自制示意图：
2.安装 Scrapy 框架
直接在命令行pip即可，此外还需要安装一个依赖库pypiwin32，也是直接pip即可
pip install scrapy pip install pypiwin32
3.创建项目和爬虫
创建项目：
scrapy startproject [爬虫项目名称]
创建爬虫
注意：要先进入到项目所在的路径，再执行命令
scrapy genspider [爬虫名称] "[爬取的域名]"
4.操作示意图：
打开pycharm以后即可看到：
5.项目目录结构
| 目录名称 | 作用 |
|---|---|
| items.py | 用来存放爬虫爬取下来数据的模型 |
| middlewares.py | 用来存放各种中间件的文件 |
| pipelines.py | 用来将items的模型存储到本地磁盘 |
| settings.py | 本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等） |
| scrapy.cfg | 项目的配置文件 |
| spiders包 | 以后所有的爬虫都存放在这个里面 |
关于“python爬虫框架Scrapy怎么安装使用”这篇文章的内容就介绍到这里，感谢各位的阅读！相信大家对“python爬虫框架Scrapy怎么安装使用”知识都有一定的了解，大家如果还想学习更多知识，欢迎关注创新互联行业资讯频道。
本文题目：python爬虫框架Scrapy怎么安装使用
当前地址：http://mswzjz.cn/article/iichoh.html