Python中的BeautifulSoup模块

目录

BeautifulSoup

Tag

BeautifulSoup

Comment

遍历文档树

直接子节点

所有子孙节点

​ 节点内容

搜索标签

CSS选择器


BeautifulSoup

BeautifulSoup 是Python的一个库,最主要的功能就是从网页爬取我们需要的数据。BeautifulSoup将 html 解析为对象进行处理,全部页面转变为字典或者数组,相对于正则表达式的方式,可以大大简化处理过程。

from bs4 import BeautifulSoup

BeautifulSoup将htmll对象转成对象的过程

response=requests.get("https://www.baidu.com")  ##获得网页的回应
html=response.text                         ##获得网页的源代码
soup=BeautifulSoup(html,"html.parser")     ##将网页转化成BeautifSoup对象

Beautiful Soup将复杂的HTML文档转换成一个复杂的树形结构,每个节点都是python对象,所有对象可以归纳为4种

  • Tag
  • NavigableString
  • BeautifulSoup
  • Comment

Tag

Tag 是什么?通俗点讲就是 HTML 中的一个个标签,例如

<html>
<head>
   <title>谢公子的小黑屋</title>
</head>
<body>
  <h2>这是标题</h2>
  <p class="xie" name="p标签">你好,世界</p>
  <img src="1.jpg">
  <form action='action.php' method="get">
  用户名:<input type="text" name="username" />    <br/>
  密码:  <input type="password" name="passwd" />  <br/>
          <input type="submit" value="登录" />
  </form>
</body>
</html>

上面的 title 、p 等等 HTML 标签加上里面的内容就是 Tag,下面我们来感受一下怎样用 Beautiful Soup 来方便地获取 Tags

print( soup.title )           ##打印出网页的title标签
print( soup.p)                 ##打印出网页的p标签

我们可以利用soup加标签名轻松地获取这些标签的内容,但是它查找的是在所有内容中的第一个符号要求的标签
对于 Tag,它有两个重要的属性,是 name 和 attrs

soup.p.name              ##p标签的名字
soup.p.string            ##p标签的内容
soup.p.attrs             ##p标签的属性,返回的是一个字典
soup.p['class']          ##p标签的class属性
soup.p.get('class')      ##p标签的class属性,和上面的等价
soup.p['class']="newClass"   ##修改p标签的class属性
del soup.p['class']      ##删除p标签的class属性

既然我们已经得到了标签的内容,那么如果我们想要获取标签内部的文字怎么办呢?很简单,用 .string  即可 

print(soup.p)
print(soup.p.string)         ##打印出p标签的内容
## <p class="xie" name="p标签">你好,世界!</p>
## 你好,世界!

BeautifulSoup

BeautifulSoup对象表示的是一个文档的全部内容。大部分时候,可以把它当做一个Tag对象,是一个特殊的Tag,我们可以分别获取它的类型,名称,以及属性

Comment

Comment对象是一个特殊类型的NavigableString对象,其实输出的内容仍然不包括注释符号,但是如果不好好处理它,可能会对我们的文本处理造成意想不到的麻烦

现在有这么一个网页

<html>
<body>
  <p class="xie" name="p标签"><!--你好,世界!--></p>
</body>
</html>


p标签里的内容实际上是注释,但是如果我们利用 .string 来输出它的内容,我们发现它已经把注释给去掉了,所以这可能会带给我们不必要的麻烦。如果标签中有注释,则是 comment 对象,没有注释则不是 comment对象所以我们在使用前判断是不是属于 comment类型 。 

if type(soup.p.string) != bs4.element.Comment:
    print (soup.p.string)

遍历文档树

直接子节点

.contents 返回的是一个list列表,可以通过索引方式获取

.children 返回的是一个list生成器,我们需要遍历获取所有子孙节点

print(soup.body.contents)     ##打印出body标签内的所有标签,返回的是一个列表,包含\n
print(soup.body.contents[0])  ##我们可以通过索引的方式获取

print(soup.body.children)     ##返回的是list生成器,需要遍历获取值
for child in soup.body.children:
    print(child)

所有子孙节点

.contents和.children属性仅包含tag的直接子节点,.descendants属性可以对所有tag的子孙节点进行递归循环,和children类似

for child in soup.body.descendants:   ##遍历所有子孙节点标签
      print( child )

 

节点内容

如果一个标签里面没有标签了,那么.string就会返回标签里面的内容。如果标签里面还有其他的标签,则会返回 None

搜索标签

find_all( name , attrs ,recursive , text , **kwargs)  搜素当前页面符合过滤器条件的第一个标签

find_all( name , attrs ,recursive , text , **kwargs)  搜素当前页面符合过滤器条件的所有标签
 
name参数,查找所有名字为name的 tag,字符串对象会被自动忽略掉
(A) 传字符串
最简单的过滤器是字符串,在搜索方法中传入一个字符串参数,find_all方法会查找所有与字符串完整匹配的内容

print(soup.find_all('a'))    ##查找所有的a标签,返回的是一个list列表
print(soup.find_all('a',class_='xie'))   ##查找class='xie'的a标签

(B)传正则表达式
如果传入正则表达式作为参数,find_all方法会通过正则表达式的match()来匹配内容

for tag in soup.find_all(re.compile("^b")):  ##找出所有以b开头的标签
    print(tag.name)

(c)传列表
如果传入列表参数,find_all将会与列表中任一元素匹配的内容返回。

print(soup.find_all(['a', 'table']))   ##找出所有的a标签和table标签

(D)传True
True可以匹配任何值

for tag in soup.find_all(True):
    print(tag.name)

(E)传方法
如果没有合适过滤器,那么还可以定义一个方法,方法只接收一个元素。如果这个方法返回true,表示当前元素匹配并且被找到,如果不是,则返回false

def has_class_but_no_id(tag):    ##定义一个方法,如果tag中包含class属性却不包含id属性,那么返回true
    return tag.has_attr('class') and not tag.has_attr('id')
print( soup.find_all(has_class_but_no_id(tag)) )

attrs的keyword参数
注意:如果一个指定的参数不是搜素内置的函数名,搜索时会把该参数当做指定名字tag的属性来搜素,如果包含一个名字为id的参数,find_all会搜素每个tag的id属性

print(soup.find_all( id='link' ))  ##打印出所有id=link的标签
print(soup.find_all(href=re.compile("elsie"),id='link'))  ##打印出href中含有elsie,并且id=link的标签
print(soup.find_all( class_='xie'))  ##class是python的关键字,所以加下划线  打印出class为xie的标签

text参数
通过text参数可以搜素文档中的字符串内容,与name参数的可选值一样,text参数接受字符串、列表、正则表达式和True

print(soup.find_all(text="name"))    ##打印出网页中的name,返回一个列表,没有则返回空
print(soup.find_all(text=re.compile("name")))  ##打印出网页中含有name的词,返回一个列表

limit参数
find_all()方法返回全部的搜素结构,如果文档树很大那么搜素会很慢,如果我们不需要全部结果,可以使用limit参数限制返回结果的数量

print(soup.find_all('a',limit=3))   ##找出3个a标签

recursive参数
调用tag的find_all()方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜素tag的直接子节点,可以使用参数recursive=False

print(soup.find_all('head',recursive=False))

find(name,attrs,recursive,text,**kwargs)
它与find_all()方法唯一的区别是find_all()方法返回结果是只包含第一个元素的列表,而find()方法直接返回结果
 
 

CSS选择器

我们在写CSS时,标签名不加任何修饰,类名前加点,id名前加#,在这里我们也可以利用类似的方法来筛选元素,用到的方法是soup.select() , 返回类型是list


通过标签名查找

print(soup.select('title'))   ##打印出标签是title的

通过类名查找

print(soup.select('.b'))      ##打印出类名是b的

通过id名查找

print(soup.select('#sister'))  ##打印出id名是sister的

组合查找

print(soup.select('p #link .xie'))  ##打印出p标签中,id=link,class=xie的

属性查找
查找时还可以加入属性元素,属性需要用中括号括起来,注意属性和标签属于同一节点,所以中间不能加空格,否则匹配不到

print(soup.select("a[class='sister']"))  ##打印出a标签中class属性是sister的

以上的select方法返回的结果都是列表形式,可以遍历形式输出,然后用get_text()方法来获取他的内容

for i in soup.select('a'):
    print(i.get_text())   ##打印出a标签中的文本



 

 
 

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值