beautifulsoup解析页面
from bs4 import BeautifulSoup
soup = BeautifulSoup(htmltxt, "lxml")
# 三种装载器
soup = BeautifulSoup("", "html.parser")
### 只有起始标签的会自动补全，只有结束标签的会自动忽略
### 结果为：
soup = BeautifulSoup("", "lxml")
### 结果为：
soup = BeautifulSoup("", "html5lib")
### html5lib则出现一般的标签都会自动补全
### 结果为：
# 根据标签名、id、class、属性等查找标签
### 根据class、id、以及属性alog-action的值和标签类别查询
soup.find("a",class_="title",id="t1",attrs={"alog-action": "qb-ask-uname"}))
### 查询标签内某属性的值
pubtime = soup.find("meta",attrs={"itemprop":"datePublished"}).attrs['content']
### 获取所有class为title的标签
for i in soup.find_all(class_="title"):
print(i.get_text())
### 获取特定数量的class为title的标签
for i in soup.find_all(class_="title",limit = 2):
print(i.get_text())
### 获取文本内容时可以指定不同标签之间的分隔符，也可以选择是否去掉前后的空白。
soup = BeautifulSoup(' The Dormouses story
The Dormouses story
', "html5lib")
soup.find(class_="title").get_text("|", strip=True)
#结果为：The Dormouses story|The Dormouses story
### 获取class为title的p标签的id
soup.find(class_="title").get("id")
### 对class名称正则：
soup.find_all(class_=re.compile("tit"))
### recursive参数，recursive=False时，只find当前标签的第一级子标签的数据
soup = BeautifulSoup('abc','lxml')
soup.html.find_all("title", recursive=False)</pre> <br>
分享标题：Python常用爬虫代码总结方便查询-创新互联 <br>
当前网址：<a href="http://csdahua.cn/article/hoihh.html">http://csdahua.cn/article/hoihh.html</a>
</div>
<div class="view-qrocde cl">
<div class="m z"><img src="/Public/Home/images/ew.jpg"/></div>
<div class="text">
<h6>扫二维码与项目经理沟通</h6>
<p>我们在微信上24小时期待你的声音</p>
<p>解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流</p>
</div>
</div>
<div class="othernews cl">
<h3>其他资讯</h3>
<ul>
<li><a href="/article/ghpehg.html">Vue.js怎么实现微信过渡动画左右切换效果</a></li><li><a href="/article/ghpios.html">CentOS5.5下如何搭建PHP环境</a></li><li><a href="/article/ghpioe.html">php中=指的是什么意思</a></li><li><a href="/article/ghpico.html">java如何使用SAX解析xml</a></li><li><a href="/article/ghpicp.html">Python中怎么使用Selenium下载歌曲</a></li> </ul>
</div>
</div>
</div>
<div class="sidebar">
<div class="tuijian">
<a href="#">
<h2 class="cl"><span>行业动态</span></h2>
<h3>企业网站建设的重要性！</h3>
<p>现在虽然是移动互联网时代，但企业网站依然重要，包含PC站点，移动站。可以说企业网站关系企业的未来发展和前途，尤其对中小企业更是如此，一些中小企业老板，对自己的名片很在乎，因为这是个门面。...</p>
</a>
</div>
<div class="ser sidesub">
<h2>服务项目</h2>
<ul class="ebox">
<li class="sub sub-1">
<div>
<h3>网站建设</h3>
<p></p>
<a class="btn" href="/serve/website/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>移动端/APP</h3>
<p></p>
<a class="btn" href="/serve/moblie/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>微信/小程序</h3>
<p></p>
<a class="btn" href="/serve/small/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>技术支持</h3>
<p></p>
<a class="btn" href="/serve/tech/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>其它服务</h3>
<p></p>
<a class="btn" href="/serve/othe/">查看详情</a>
</div>
</li>
<li class="sub sub-5">
<div>
<h3>更多服务项目</h3>
<p> <a>用我们的专业和诚信赢得您的信赖，从PC到移动互联网均有您想要的服务！</a></p>
<a class="btn" href="/serve/">获取更多</a>
</div>
</li>
</ul>
</div>
<div class="contact" id="fix">
<h2 class="cl"> <span>联系吧</span> <a href="https://map.baidu.com/" class="ditu" rel="nofollow" target="_blank">在百度地图上找到我们</a> </h2>
<h3>电话：13518219792</h3>
<p>如遇占线或暂未接听请拨：136xxx98888</p>
<div class="qq"> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">业务咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">技术咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">售后服务</a> </div>
</div>
</div>
<script>
//固定滚动
(function () {
var oDiv = document.getElementById("fix");
var H = 120,
iE6;
var Y = oDiv;
while (Y) {
H += Y.offsetTop;
Y = Y.offsetParent
};
iE6 = window.ActiveXObject && !window.XMLHttpRequest;
if (!iE6) {
window.onscroll = function ()
{
var s = document.body.scrollTop || document.documentElement.scrollTop;
if (s > H) {
oDiv.className = "contact fixed";
if (iE6) {
oDiv.style.top = (s - H) + "px";
}
} else {
oDiv.className = "contact ";
}
};
}
})();
</script>
</div>
<div class="footer">
<div class="wp">
<div class="wpss cl">
<dl class="about">
<dt>网站制作</dt>
<dd><a href="http://www.wjwzjz.com/" target="_blank" title="温江网站制作">温江网站制作</a></dd><dd><a href="http://www.cdkjz.cn/" target="_blank" title="成都网站制作">成都网站制作</a></dd><dd><a href="http://www.cxjianzhan.com/" target="_blank" title="成都网站制作">成都网站制作</a></dd><dd><a href="http://www.kswsj.com/" target="_blank" title="成都网站制作">成都网站制作</a></dd> </dl>
<dl class="about">
<dt>网站建设</dt>
<dd><a href="http://www.cxjianzhan.com/baojia/" target="_blank" title="网站建设费用">网站建设费用</a></dd><dd><a href="https://www.cdxwcx.com/wangzhan/dingzhi.html" target="_blank" title="定制网站建设">定制网站建设</a></dd><dd><a href="http://seo.cdkjz.cn/yingxiao/" target="_blank" title="营销型网站建设">营销型网站建设</a></dd><dd><a href="http://m.cdcxhl.com/liucheng.html" target="_blank" title="成都网站建设流程">成都网站建设流程</a></dd> </dl>
<dl class="about">
<dt>网站设计</dt>
<dd><a href="http://www.cxjianzhan.cn/" target="_blank" title="成都网站设计">成都网站设计</a></dd><dd><a href="http://chengdu.cdcxhl.cn/dingzhi/" target="_blank" title="定制网站设计">定制网站设计</a></dd><dd><a href="http://chengdu.cdxwcx.cn/wangzhan/" target="_blank" title="企业网站设计">企业网站设计</a></dd><dd><a href="http://seo.cdkjz.cn/mobile/" target="_blank" title="自适应网站设计">自适应网站设计</a></dd> </dl>
<dl class="contact">
<dt>联系我们</dt>
<dd>电话：13518219792</dd>
<dd>邮箱：631063699@qq.com</dd>
<dd>地址：成都青羊区锦天国际1002号</dd>
<dd>网址：www.csdahua.cn</dd>
</dl>
<dl class="flow">
<dt></dt>
<div class="ma cl">
<div class="m"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</div>
</dl>
</div>
</div>
<div class="footer-link wp">
<ul class="wpss cl">
<li class="fisrt">友情链接</li>
<li><a href="https://www.xwcx.net/" title="成都托管服务器" target="_blank">成都托管服务器</a></li><li><a href="http://www.cxjianzhan.com/mobile/" title="手机网站开发" target="_blank">手机网站开发</a></li><li><a href="http://www.cxhlcq.com/mobile/" title="重庆移动网站建设" target="_blank">重庆移动网站建设</a></li><li><a href="http://www.tpbzx.cn/" title="tpbzx.cn" target="_blank">tpbzx.cn</a></li><li><a href="http://www.cdxwcx.cn/sheji/" title="网站设计公司" target="_blank">网站设计公司</a></li><li><a href="https://www.cdcxhl.cn/
" title="香港虚拟主机" target="_blank">香港虚拟主机</a></li><li><a href="http://www.cdxwcx.cn/tuoguan/mianyang.html" title="四川绵阳主机托管" target="_blank">四川绵阳主机托管</a></li><li><a href="https://www.cdcxhl.com/idc/yaan.html" title="雅安托管服务器" target="_blank">雅安托管服务器</a></li><li><a href="http://www.cdfuwuqi.com/zuyong/" title="服务器租用" target="_blank">服务器租用</a></li><li><a href="http://m.cdcxhl.cn/seo/" title="成都网站建设推广" target="_blank">成都网站建设推广</a></li> </ul>
</div>
</div>
<div class="bot-footer">
<div class="wp">
<p class="wpss"> <em>Copyright © 2002-2023 www.csdahua.cn 快上网建站品牌 QQ：244261566 版权所有</em> <em>备案号：<a href="http://beian.miit.gov.cn/" rel="external nofollow">蜀ICP备19037934号</a></em>
</p>
<p class="wpss" style="line-height:30px !important;"> </p>
</div>
</div>
<div class="footer-kefu">
<ul>
<li class="qq"><a href="https://wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes"><em></em>在线咨询</a>
</li>
<li class="tel"><a href="tel:13518219792" target="_blank"><em></em>13518219792</a></li>
<li class="wx"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</li>
<li class="m"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>移动版官网</p>
</div>
</li>
<li class="top"><em></em></li>
</ul>
</div>
<script src="/Public/Home/js/all.js"></script>
</body>
</html>
<script>
$(".cont img").each(function(){
var src = $(this).attr("src"); //获取图片地址
var str=new RegExp("http");
var result=str.test(src);
if(result==false){
var url = "https://www.cdcxhl.com"+src; //绝对路径
$(this).attr("src",url);
}
});
window.onload=function(){
document.oncontextmenu=function(){
return false;
}
}
</script>