Python爬虫实战：利用代理IP批量下载哔哩哔哩美女视频

文章目录

1.前言
2.爬取目标
3.准备工作
- 3.1 环境安装
- 3.2 代理免费获取
四、爬虫实战分析
五、总结

1.前言

粉丝们（lsp）期待已久的Python批量下载哔哩哔哩美女视频教程它终于来了，接下来跟着我的步骤一步步实现即可！

2.爬取目标

本次博主爬取的目标是哔哩哔哩在搜索框输入关键词后的所有视频：

3.准备工作

3.1 环境安装

Python：3.10

编辑器：PyCharm

由于哔哩哔哩的视频和音频是分开的，所以本次我们需要用到moviepy模块进行合并（moviepy 是一个强大的 Python 模块，用于视频编辑，如视频剪辑、视频合成、视频字幕添加、音频处理等），执行下面pip命令进行安装：

pip install requests # 网页数据爬取
pip install moviepy # 用于合并音频和视频

3.2 代理免费获取

由于哔哩哔哩限制很严，为了能正常获取数据，博主使用了代理IP。

1、注册账号：代理IP试用

2、选择查看代理IP产品：

3、有动态IP、静态IP、机房IP、移动代理IP可以选择，博主这里选择是机房IP：

4、配置通道，可以设置IP类型（共享/独享）、IP数、IP来源国家等等：

5、配置完成后可以看到主机、用户名和密码，等下我们添加到代码中去获取IP：

6、下面代码只需要修改刚才获取到的主机、用户名和密码，即可返回代理IP：

import requests  # python基础爬虫库


def get_ip():
    """获取亮数据代理IP"""
    host = '你的主机' # 主机
    user_name = '你的用户名' # 用户名
    password = '你的密码' # 密码

    proxy_url = f'http://{user_name}:{password}@{host}' # 将上面三个参数拼接为专属代理IP获取网址
    proxies = {
        'http':proxy_url,
        'https':proxy_url
    }

    url = "http://lumtest.com/myip.json" # 默认获取的接口（不用修改）
    response = requests.get(url,proxies=proxies,timeout=10).text # 发送请求获取IP
    # print('代理IP详情信息：',response)
    response_dict = eval(response)  # 将字符串转为字典，方便我们提取代理IP
    ip =  response_dict['ip']
    # print('IP：',ip)
    return ip


get_ip()

成功返回IP获取成功：

四、爬虫实战分析

4.1 翻页分析

我们搜索关键词后翻页看看链接的规律如下：

第一页链接：

https://search.bilibili.com/all?keyword=%E7%BE%8E%E5%A5%B3%E8%B7%B3%E8%88%9E&from_source=webtop_search&search_source=5

第二页链接：

https://search.bilibili.com/all?vt=67815047&keyword=%E7%BE%8E%E5%A5%B3%E8%B7%B3%E8%88%9E&from_source=webtop_search&search_source=5&page=1&o=30

第三页链接：

https://search.bilibili.com/all?keyword=%E7%BE%8E%E5%A5%B3%E8%B7%B3%E8%88%9E&from_source=webtop_search&search_source=5&page=3&o=60

第四页链接：

https://search.bilibili.com/all?keyword=%E7%BE%8E%E5%A5%B3%E8%B7%B3%E8%88%9E&from_source=webtop_search&search_source=5&page=4&o=90

由上面可以看出规律，我们只需要传入keyword、page和o参数即可：

def main():
    keyword = '美女跳舞'  # 搜索的关键词
    page = 1  # 爬取的页数（每页30个视频）
    jump_url_list = [] # 用于存放搜索页每页的全部视频跳转链接
    for i in range(1,page+1):
        if i ==1:
            url = f'https://search.bilibili.com/all?keyword={keyword}&from_source=webtop_search&search_source=5'
        else:
            url = f'https://search.bilibili.com/all?keyword={keyword}&from_source=webtop_search&search_source=5&page={i-1}&o={(i-1)*30}'
        print(url)

4.2 获取视频跳转链接

1、可以看到所有视频都在一个div下面：

2、然后找到我们要的跳转链接，可以看到在一个a标签下：

3、接下来只需要获取每一个视频跳转链接即可：

def get_jump_url(url,jump_url_list):
    """获取视频跳转链接"""
    headers = {
        'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.5',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
    }
    # 发送请求
    response = requests.get(url, headers=headers)
    # 获取网页源码
    html_str = response.content.decode()
    # print(html_str)
    html_data = etree.HTML(html_str)
    # 利用xpath取到所有的li标签
    div_list = html_data.xpath("//div[@class='video-list row']/div")
    # 打印一下div标签个数
    # print(len(div_list))
    for div in div_list:
        # 拼接跳转链接
        jump_url = 'https:'+div.xpath(".//div[@class='bili-video-card__wrap __scale-wrap']/a/@href")[0]
        # print(jump_url)
        # 这里限制一下我们需要的跳转链接，排除无用的链接
        if 'https://www.bilibili.com/video' in jump_url:
            # 跳转链接存放在列表中
            jump_url_list.append(jump_url)

5、获取成功检查一下跳转链接是否正常跳转：

没有问题正常打开：

4.3 下载视频

1、首先先找到标题所在标签：

2、视频和音频都藏在script标签里面：

3、遍历我们刚才的跳转链接列表取一个链接进行测试：

def download_video(jump_url_list,keyword):
    # 遍历我们刚才获取到的所有跳转链接
    for jump_url in jump_url_list: # 先取一个视频进行测试
        print('正在下载：',jump_url)
        # 发送请求
        headers = {
            'Accept': '*/*',
            'Accept-Language': 'en-US,en;q=0.5',
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
        }
        # 添加代理IP（这里代理IP这里需要看`3.2 获取代理IP`自己去获取）
        proxies = get_ip()
        response = requests.get(jump_url, headers=headers, proxies=proxies)
        # 视频详情json
        match = re.search( '__playinfo__=(.*?)</script><script>',response.text)
        playinfo =  json.loads(match.group(1))

        # 视频内容json
        match = re.search( r'__INITIAL_STATE__=(.*?);\(function\(\)',response.text)
        initial_state = json.loads(match.group(1))

        # 视频分多种格式，直接取分辨率最高的视频 1080p
        video_url = playinfo['data']['dash']['video'][0]['baseUrl']
        # 取出音频地址
        audio_url = playinfo['data']['dash']['audio'][0]['baseUrl']
        title = initial_state['videoData']['title']
        print('视频名字：',title)
        # print('视频地址：', video_url)
        # print('音频地址：', audio_url)

        # 根据关键词创建文件夹
        if not os.path.exists(keyword):
            os.mkdir(keyword)

        # 下载视频
        headers.update({"Referer": jump_url})
        video_content = requests.get(video_url, headers=headers)
        received_video = 0
        video_path = f'./{keyword}/{title}_video.mp4'
        with open(video_path, 'ab') as output:
            while int(video_content.headers['content-length']) > received_video:
                headers['Range'] = 'bytes=' + str(received_video) + '-'
                response = requests.get(video_url, headers=headers)
                output.write(response.content)
                received_video += len(response.content)

        # 下载音频
        audio_content = requests.get(audio_url, headers=headers)
        received_audio = 0
        audio_path = f'./{keyword}/{title}_audio.mp4'
        with open(audio_path, 'ab') as output:
            while int(audio_content.headers['content-length']) > received_audio:
                # 视频分片下载
                headers['Range'] = 'bytes=' + str(received_audio) + '-'
                response = requests.get(audio_url, headers=headers)
                output.write(response.content)
                received_audio += len(response.content)

生成指定关键词文件夹，并下载成功视频和音频：

4.4 视频音频合并

这里我们定义一个合并函数，需要传入视频和音频路径即可（注意：合并可能有点慢请耐心等待即可）：

def merge_video_audio(video_path, audio_path):
    """传入原始视频和音频路径，合并为新的视频，并删除原始视频和音频"""
    print('视频视频合并中请耐心等待~')
    # 获取下载好的音频和视频文件
    vd = VideoFileClip(video_path)
    ad = AudioFileClip(audio_path)
    vd2 = vd.set_audio(ad)  # 将提取到的音频和视频文件进行合成
    output = video_path.replace('_video','')
    vd2.write_videofile(output)  # 输出新的视频文件

    # 移除原始的视频和音频
    os.remove(video_path)
    os.remove(audio_path)

合并中：

合并成功并删除原始的视频和音频：

4.5 完整源码

下面完整代码需要看3.2获取并修改get_ip()函数中的代理IP信息（主机、用户名和密码），还可以修改关键词和爬取的页数：

import time
import requests
import json
import re
from lxml import etree
from moviepy.editor import *


def get_ip():
    """获取亮数据代理IP"""
    host = '你的主机'  # 主机
    user_name = '你的用户名'  # 用户名
    password = '你的密码'  # 密码

    proxy_url = f'http://{user_name}:{password}@{host}'  # 将上面三个参数拼接为专属代理IP获取网址
    proxies = {
        'http': proxy_url,
        'https': proxy_url
    }

    url = "http://lumtest.com/myip.json"  # 默认获取的接口（不用修改）
    response = requests.get(url, proxies=proxies, timeout=10).text  # 发送请求获取IP
    # print('代理IP详情信息：',response)
    response_dict = eval(response)  # 将字符串转为字典，方便我们提取代理IP
    ip = response_dict['ip']
    # print('IP：',ip)
    return ip


def get_jump_url(url,jump_url_list):
    """获取视频跳转链接"""
    headers = {
        'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.5',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
    }
    # 发送请求
    response = requests.get(url, headers=headers)
    # 获取网页源码
    html_str = response.content.decode()
    # print(html_str)
    html_data = etree.HTML(html_str)
    # 利用xpath取到所有的li标签
    div_list = html_data.xpath("//div[@class='video-list row']/div")
    # 打印一下div标签个数
    # print(len(div_list))
    for div in div_list:
        # 拼接跳转链接
        jump_url = 'https:'+div.xpath(".//div[@class='bili-video-card__wrap __scale-wrap']/a/@href")[0]
        # print(jump_url)
        # 这里限制一下我们需要的跳转链接，排除无用的链接
        if 'https://www.bilibili.com/video' in jump_url:
            # 跳转链接存放在列表中
            jump_url_list.append(jump_url)


def merge_video_audio(video_path, audio_path):
    """传入原始视频和音频路径，合并为新的视频，并删除原始视频和音频"""
    print('原始视频音频合并中，请耐心等待~')
    # 获取下载好的音频和视频文件
    vd = VideoFileClip(video_path)
    ad = AudioFileClip(audio_path)
    vd2 = vd.set_audio(ad)  # 将提取到的音频和视频文件进行合成
    output = video_path.replace('_video','')
    vd2.write_videofile(output)  # 输出新的视频文件

    # 移除原始的视频和音频
    os.remove(video_path)
    os.remove(audio_path)


def download_video(jump_url_list,keyword):
    # 遍历我们刚才获取到的所有跳转链接
    for jump_url in jump_url_list: # 先取一个视频进行测试
        print('正在下载：',jump_url)
        # 发送请求
        headers = {
            'Accept': '*/*',
            'Accept-Language': 'en-US,en;q=0.5',
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
        }
        # 添加代理IP（这里代理IP这里需要看`3.2 获取代理IP`自己去获取）
        proxies = get_ip()
        response = requests.get(jump_url, headers=headers, proxies=proxies)
        # 视频详情json
        match = re.search( '__playinfo__=(.*?)</script><script>',response.text)
        playinfo =  json.loads(match.group(1))

        # 视频内容json
        match = re.search( r'__INITIAL_STATE__=(.*?);\(function\(\)',response.text)
        initial_state = json.loads(match.group(1))

        # 视频分多种格式，直接取分辨率最高的视频 1080p
        video_url = playinfo['data']['dash']['video'][0]['baseUrl']
        # 取出音频地址
        audio_url = playinfo['data']['dash']['audio'][0]['baseUrl']
        title = initial_state['videoData']['title']
        print('视频名字：',title)
        # print('视频地址：', video_url)
        # print('音频地址：', audio_url)

        # 根据关键词创建文件夹
        if not os.path.exists(keyword):
            os.mkdir(keyword)

        # 下载视频
        headers.update({"Referer": jump_url})
        video_content = requests.get(video_url, headers=headers)
        received_video = 0
        video_path = f'./{keyword}/{title}_video.mp4'
        with open(video_path, 'ab') as output:
            while int(video_content.headers['content-length']) > received_video:
                headers['Range'] = 'bytes=' + str(received_video) + '-'
                response = requests.get(video_url, headers=headers)
                output.write(response.content)
                received_video += len(response.content)

        # 下载音频
        audio_content = requests.get(audio_url, headers=headers)
        received_audio = 0
        audio_path = f'./{keyword}/{title}_audio.mp4'
        with open(audio_path, 'ab') as output:
            while int(audio_content.headers['content-length']) > received_audio:
                # 视频分片下载
                headers['Range'] = 'bytes=' + str(received_audio) + '-'
                response = requests.get(audio_url, headers=headers)
                output.write(response.content)
                received_audio += len(response.content)

        # 合并视频和音频
        merge_video_audio(video_path, audio_path)
        print('********************这是一条隔离线***************************')

        time.sleep(1)  # 限制速度不能太快了，如果还是不行继续增加暂停时间


def main():
    keyword = '美女跳舞'  # 搜索的关键词
    page = 1  # 爬取的页数（每页30个视频）
    jump_url_list = [] # 用于存放搜索页每页的全部视频跳转链接
    for i in range(1,page+1):
        if i ==1:
            url = f'https://search.bilibili.com/all?keyword={keyword}&from_source=webtop_search&search_source=5'
        else:
            url = f'https://search.bilibili.com/all?keyword={keyword}&from_source=webtop_search&search_source=5&page={i-1}&o={(i-1)*30}'
        # print(url)
        get_jump_url(url,jump_url_list)
        # 翻页休息一秒
        time.sleep(1)
    download_video(jump_url_list,keyword)


if __name__ == '__main__':
    main()

下载中：

文件夹下全是视频：

五、总结

代理IP对于爬虫是密不可分的，但使用代理IP需要遵守相关法律法规和目标网站的使用规则，不得进行非法活动或滥用代理IP服务，高质量代理IP可以帮助爬虫正常采集公开数据信息，有需要代理IP的小伙伴可以试试：代理IP免费试用

如有问题，可以关注公众号 “Bright Data亮数据”，发送问题后会有官方客服进行回复：