BeautifulSoup用法介绍
1.选择解析器
直接选择lxml,在lxml中有HTML和XML的功能,速度快,容错能力强。
2.基本用法
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml') #BeautifulSoup对象初始化
print(soup.prettify()) #把要解析的字符串按标准的缩进格式输出
print(soup.titlte.string) #输出HTML中title节点的文本内容,string属性用以获取文本内容
3选择器
3.1 节点选择器
优点:通过属性直接进行选择,非常快速。
弊端:当有多个节点时,这种选择方式只会选择到第一个匹配的点,其他的后面节点都会忽略。
3.1.1 选择元素
from bs4 import BeautifulSoup
soup=BeautifulSoup(html,'lxml')
print(soup.title)
print(type(soup.title)) #获取数据类型
print(soup.title.string) #获取文本的值
print(soup.head)
print(soup.p) # 选择p节点
上面获取的数据类型为bs4.element.Tag类型,是BeautifulSoup中的一个重要数据结构。Tag具有一些属性,比如string属性,调用该属性,可以获取节点的文本内容,接下来的输出结果正是节点的文本内容。
3.1.2 提取信息
1)获取名称
print(soup.title.name)
- 获取属性
利用attrs取属性值
print (soup.p.attrs)
print(soup.p.attrs['name'])
或者直接取用在节点后用[]取用
print(soup.p['name'])
print(soup.p['class'])
3)获取文本内容.string
<