打造自己的解析大模型：模型的安装与推理

RAG系统中要快速构建AI助理，首先要高效、准确地建立知识库，而实现这一点的关键便是具备一个功能强大的文档解析器。在上一篇中，我们介绍了PdfParser，本篇将深入讨论该解析器所依赖的模型，以及如何在Windows环境中安装并运行这些模型进行推理。

PDF解析的核心流程：

OCR处理：这是解析过程的第一步。通过光学字符识别（OCR）技术，将PDF页面中图像形式的内容转换为可处理的文本数据。这一步为后续的内容识别和分析奠定了基础。
布局分析：在将页面转化为文本后，布局分析负责解析页面的结构，识别文本块、标题、段落、图像、表格等不同的区域。这一步能够帮助程序理解文档的逻辑结构和内容分布。
表格与文本的识别与合并：不同于简单的文本识别，表格解析需要更加复杂的处理逻辑。该步骤使用特定模型分别识别文本块和表格内容，并将其合并为完整的、结构化的数据输出。通过这种方式，文档中的表格和相关文字能够被准确提取，确保文档中的信息不丢失。
输出结果：经过处理的文档会以结构化的方式输出，包括文本、表格等关键内容。这些结构化数据不仅便于进一步分析，还可以快速应用于知识库建设，为AI助理提供支持。

核心识别模型

实现上述解析流程，需要多种模型的支持，包括OCR模型、版面分析模型、表格识别模型等。

识别过程要用到的核心模型如下表：

模型安装与推理

PaddleOCR

PaddleOCR 是百度飞桨 (PaddlePaddle) 推出的开源 OCR 工具，旨在为用户提供完整的 OCR 解决方案。它支持从文本检测、识别到表格识别、版面分析等多种任务，同时支持多语言识别，如中文、英文、韩文、日文等。PaddleOCR 结合了轻量级和高精度模型，能够在 CPU、GPU 以及移动设备上高效运行。用户可根据需求自定义和训练模型，广泛应用于文档解析、发票识别等场景。

接下来我们将详细讲解如何在 PaddleOCR 源码下安装这些模型，并在 Windows 环境中运行推理程序。

运行环境准备

Windows和Mac用户推荐使用Anaconda搭建Python环境，Linux用户建议使用docker搭建Python环境。

1. 运行硬件

Windows10及以上
16G内存

2. 运行软件

Anaconda3
Python3.10.14
PaddlePaddle2.6.1 WHL包
PaddleOCR2.8 源代码

Python环境搭建

安装Anaconda并创建Python环境

要使用PaddlePaddle，首先需要安装Python环境，这里推荐使用Anaconda工具包来简化管理。网络上有许多关于Anaconda安装的详细教程，所以我们在此不再赘述。安装完Anaconda后，您可以通过命令行或其自带的可视化界面创建Conda环境。在本文中，我们将全程采用命令行进行操作，创建和管理用于PaddlePaddle的运行环境，确保简洁高效。

1.打开Anaconda Prompt终端：在Windows桌面左下角Windows Start Menu -> Anaconda3 -> Anaconda Prompt启动控制台

2. 创建新的conda环境


# 在命令行输入以下命令，创建名为paddle_env的环境
# 执行命令后可以看到Package Plan 界面
conda create --name paddle_env python=3.10.14

输入：y 继续安装直到看到以下界面，paddle_env基础环境就算安装完成。

PaddleOCR源码下载并安装依赖

1. PaddleOCR源代码下载

使用Git Bash工具在任何一个盘下（这里是在e盘根目录下），执行以下命令。


mkdir paddle_ocr

cd paddle_ocr/

git clone https://github.com/PaddlePaddle/PaddleOCR.git

cd PaddleOCR

git checkout -b release/2.8 origin/release/2.8

至此，我们已成功下载了PaddleOCR的源码，并将其切换至2.8版本。接下来，我们需要安装PaddlePaddle框架及其他依赖包。

首先，打开Anaconda Prompt，进入PaddleOCR项目路径，然后激活之前配置好的paddle_env Conda环境。通过这些步骤，您可以确保后续安装顺利进行，为PaddleOCR的使用做好准备。


# 激活paddle_env环境
conda activate paddle_env

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

2. 安装PaddlePaddle包及其它依赖


# 执行以下命令，可以看到以下安装界面
pip3 install paddlepaddle==2.6.1 -i https://pypi.tuna.tsinghua.edu.cn/simple


# 继续执行以下命令安装依赖，执行后看到以下界面说明依赖已经安装完成
pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

至此，我们已经成功安装了PaddleOCR的所有依赖包，当前环境具备了在Windows系统上进行模型推理的能力。接下来，我们将下载所需模型，并使用CPU进行推理验证，以确保模型在本地环境中的正常运行。

模型下载以及推理验证

1. 模型的下载

以下是模型下载地址列表：

版面	https://paddleocr.bj.bcebos.com/ppstructure/models/layout/picodet_lcnet_x1_0_fgd_layout_cdla_infer.tar
表格	https://paddleocr.bj.bcebos.com/ppstructure/models/slanet/ch_ppstructure_mobile_v2.0_SLANet_infer.tar
文本识别	https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_rec_infer.tar
文本检测	https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_det_infer.tar

在Windows系统中，您可以直接将模型包的下载地址输入浏览器进行下载。接下来，我们以文本检测和文本识别模型为例，详细讲解如何进行模型推理验证。通过下载后的模型，您可以利用PaddleOCR进行文本检测，识别文档中的文字信息。此过程包括加载模型、输入PDF或图像文件，并通过推理输出结果，最终验证模型在当前环境中的推理效果是否准确无误。

2. 模型推理

文本检测（中文）

模型下载为: ch_PP-OCRv4_det_infer.tar，直接解压缩，目录下模型文件有3个。


ch_PP-OCRv4_det_infer
├── inference.pdiparams         # inference模型的参数文件
├── inference.pdiparams.info    # inference模型的参数信息，可忽略
└── inference.pdmodel           # inference模型的program文件

在PaddleOCR目录下创建inference目录，将ch_PP-OCRv4_det_infer文件夹拷贝到PaddleOCR下inference文件夹下。


E:\paddle_ocr\PaddleOCR\inference\ch_PP-OCRv4_det_infer
├── inference.pdiparams         # inference模型的参数文件
├── inference.pdiparams.info    # inference模型的参数信息，可忽略
└── inference.pdmodel           # inference模型的program文件

进入Anaconda Prompt界面并进入PaddleOCR路径，然后执行如下命令。


# 执行命令后可以看到识别过程
python ./tools\infer\predict_rec.py --image_dir="./doc\imgs_words\ch\word_1.jpg" --rec_model_dir="./inference\ch_PP-OCRv4_rec_infer" --use_gpu=False

可视化文本检测结果默认保存到./inference_results文件夹里面，结果文件的名称前缀为det_res。

检测可视化效果如下图：

文本识别(中文)

模型下载为: ch_PP-OCRv4_det_infer.tar，直接解压缩，目录下模型文件有3个。


ch_PP-OCRv4_rec_infer
├── inference.pdiparams         # inference模型的参数文件
├── inference.pdiparams.info    # inference模型的参数信息，可忽略
└── inference.pdmodel           # inference模型的program文件

将ch_PP-OCRv4_rec_infer文件夹拷贝到PaddleOCR下inference文件夹下。


E:\paddle_ocr\PaddleOCR\inference\ch_PP-OCRv4_rec_infer
├── inference.pdiparams         # inference模型的参数文件
├── inference.pdiparams.info    # inference模型的参数信息，可忽略
└── inference.pdmodel           # inference模型的program文件

进入Anaconda Prompt界面并进入PaddleOCR路径，然后执行如下命令。


# 执行命令后可以看到识别过程
python ./tools\infer\predict_rec.py --image_dir="./doc\imgs_words\ch\word_1.jpg" --rec_model_dir="./inference\ch_PP-OCRv4_rec_infer" --use_gpu=False

(paddle_env) E:\paddle_ocr\PaddleOCR>python ./tools\infer\predict_rec.py --image_dir="./doc\imgs_words\ch\word_1.jpg" --rec_model_dir="./inference\ch_PP-OCRv4_rec_infer" --use_gpu=False
[2024/09/28 21:37:46] ppocr INFO: In PP-OCRv3, rec_image_shape parameter defaults to '3, 48, 320', if you are using recognition model with PP-OCRv2 or an older version, please set --rec_image_shape='3,32,320
[2024/09/28 21:37:46] ppocr INFO: Predicts of ./doc\imgs_words\ch\word_1.jpg:('韩国小馆', 0.9991557002067566)

识别结果是：(‘韩国小馆’, 0.9991557002067566)

原始图片如下：

文本检测模型还包括： DB文本检测模型推理、EAST文本检测模型推理、SAST文本检测模型推理（四边形文本检测模型、弯曲文本检测模型）

文本识别模型还包括： 基于CTC损失的识别模型推理、基于SRN损失的识别模型推理、多语言模型的推理等。

总结

我们已经迈出了打造自定义识别模型的重要第一步，即在Windows环境中成功搭建了验证环境，并以文本检测和文本识别模型为例完成了推理验证。这一验证环境不仅适用于文本识别，也可用于表格识别模型的推理。但是，版面识别模型的推理则需要额外安装PaddleDetection套件。搭建好这一系列环境后，您将能够顺利开展模型训练，轻松打造适合自己需求的高效识别模型，助力更精准的文档解析任务。

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

学习路线

在这里插入图片描述

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求：大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能，学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓