扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要介绍了Mac环境下如何使用Python Scrapy框架，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
创新互联专注为客户提供全方位的互联网综合服务，包含不限于成都做网站、成都网站设计、固镇网络推广、微信平台小程序开发、固镇网络营销、固镇企业策划、固镇品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；创新互联为所有大学生创业者提供固镇建站搭建服务，24小时服务热线：028-86922220，官方网址：www.cdcxhl.com
前言
Scrapy的下载
在终端中输入代码'pip3 install scrapy'。
创建Scrapy项目
假设你希望将项目保存至桌面名为Python的文件夹中。可以在终端中输入'cd '，并将Python文件夹拖拽至其后。换行后，继续输入'scrapy startproject ScrapyProject'，此处的ScrapyProject为该项目的名字，可根据情况自行定义。
创建爬虫文件
同样在ScrapyProject文件夹内，找到spiders文件夹，并在内创建一个新的爬虫文件，如下图的book.py。（需要与_pychache_及_init_文件同级。）
编辑爬虫文件
此处的爬虫文件为整个Scrapy项目的核心，数据的解析与提取都是在这一步进行的。
运行Scrapy程序
在ScrapyProject文件夹内，找到settings.py文档，并更改好user_agent相关信息。之后再在终端输入代码scrapy crawl book即可。（book为此爬虫的名字。）
注：上述内容皆为Mac环境下的操作。
感谢你能够认真阅读完这篇文章，希望小编分享的“Mac环境下如何使用Python Scrapy框架”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网