扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
Python中怎么利用正则抓取数据，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
宝应网站建设公司成都创新互联公司,宝应网站设计制作，有大型网站制作公司丰富经验。已为宝应千余家提供企业网站建设服务。企业网站搭建\外贸营销网站建设要多少钱，请找那个售后服务好的宝应做网站的公司定做！
1、正则表达式基础
（1）一般字符
（2）预定义字符集
（3）数量词
（4）边界匹配
备注：最常用的一种匹配方式（.*?）代表匹配任意字符
2、re模块使用方法
re模块使得Python拥有全部的正则表达式功能。
常用函数1：search()函数匹配并提取第一个符合规律的内容，返回一个正则表达对象
常用函数2：findall()函数匹配所有符合规律的内容，并以列表的形式返回结果
备注：一般在爬取数据时候还是以findall使用居多
re模块修饰符
3、案例实践
案例名称：爬取《斗破苍穹》全文小说
网络链接：http://www.doupoxs.com/doupocangqiong/
爬取思路：
（1）打开网页，了解网页URL信息，通过打开第一章和第二章发现链接如下
http://www.doupoxs.com/doupocangqiong/1.html
http://www.doupoxs.com/doupocangqiong/2.html
http://www.doupoxs.com/doupocangqiong/3.html
明显链接通过数字递加来对每一章节进行分页。
（2）爬取全文信息，查找对应的位置如下
（3）数据存储到TXT文本中
4、详细代码如下：
import requestsimport reimport timeheaders={"User-Agent":请求头}f=open('doupo.txt','a+')def get_info(url):res=requests.get(url,headers=headers)if res.status_code==200:contents = re.findall('(.*?)
',res.content.decode('utf-8'),re.S)
for content in contents:f.write(content+'\n')print(content)else:passif __name__=='__main__':urls=['http://www.doupoxs.com/doupocangqiong/{}.html'.format(i) for i in range(2,10)]for url in urls:get_info(url)time.sleep(1)f.close()
运行结果如下：
关于Python中怎么利用正则抓取数据问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注创新互联行业资讯频道了解更多相关知识。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网