Bootstrap

16. Springboot集成Tika实现文档解析

目录

1、什么是Tika

2、基本特性

3、Tika可视化提取

4、Springboot集成

4.1、maven依赖

4.2、Tika配置文件

4.3、注入tika bean

4.4、Service类

4.5、测试类TikaParserDemoTest


1、什么是Tika

Tika是一款Apache开源的,跨平台,支持多品种文本类型的内容检测和提取工具。Apache官方的介绍如下:Apache Tika™ 工具包可检测并提取一千多种不同文件类型(如 PPT、XLS 和 PDF)中的元数据和文本。所有这些文件类型都可以通过一个界面进行解析,这使得 Tika 可用于搜索引擎索引、内容分析、翻译等。

2、基本特性

跨平台:Tika 可以在多种操作系统上运行,包括 Windows、Linux 和 Mac OS。

支持多种格式:Tika 支持多种文件格式,包括常见的文档、图片、音频和视频格式。

可扩展性:Tika 的设计是模块化的,允许开发者添加新的解析器来支持新的文件格式。

安全性:Tika 提供了防止文件注入攻击的机制,确保在处理用户上传的文件时保持安全性。

3、Tika可视化提取

Tika提供了可视化界面工具,可以直接通过可视化工具手动提取我们想要的文本内容。可视化工具需要下载tika-app.jar包,下载后,直接执行java -jar tika-app-2.9.2.jar,即可唤起程序主页面:

打开我们需要提取的文本,点击view -> 即可提取我们想要的格式。

4、Springboot集成

4.1、maven依赖

<dependencies>

        <dependency>
            <groupId>org.apache.tika</groupId>
            <artifactId>tika-core</artifactId>
            <version>2.9.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.tika</groupId>
            <artifactId>tika-parsers-standard-package</artifactId>
            <version>2.9.2</version>
        </dependency>

    </dependencies>

4.2、Tika配置文件

tika-config.xml:

<?xml version="1.0" encoding="UTF-8"?>
<properties>
    <encodingDetectors>
        <!-- 检测 HTML 文件的字符编码,它会根据 HTML 元素(如 <meta> 标签)中的声明来判断编码。 -->
        <encodingDetector class="org.apache.tika.parser.html.HtmlEncodingDetector">
            <params>
                <!-- 读取的最大字节数(这里是 64,000 字节)用于判断编码 -->
                <param name="markLimit" type="int">64000</param>
            </params>
        </encodingDetector>
        <!-- Tika 的通用编码检测器 -->
        <encodingDetector class="org.apache.tika.parser.txt.UniversalEncodingDetector">
            <params>
                <param name="markLimit" type="int">64000</param>
            </params>
        </encodingDetector>
        <!-- 基于 ICU4J 库的编码检测器。ICU4J 是一个强大的国际化库,能够更准确地检测多语言文本的编码。 -->
        <encodingDetector class="org.apache.tika.parser.txt.Icu4jEncodingDetector">
            <params>
                <param name="markLimit" type="int">64000</param>
            </params>
        </encodingDetector>
    </encodingDetectors>
</properties>

4.3、注入tika bean

@Configuration
public class ApplicationTikaConfig {

    @Autowired
    private ResourceLoader resourceLoader;

    @Bean
    public Tika tika() throws TikaException, IOException, SAXException {
        Resource resource = resourceLoader.getResource("classpath:tika-config.xml");
        InputStream inputStream = resource.getInputStream();

        TikaConfig config = new TikaConfig(inputStream);
        Detector detector = config.getDetector();
        Parser autoDetectParser = new AutoDetectParser(config);
        return new Tika(detector, autoDetectParser);
    }
}

4.4、Service类

@Service
public class TikaParserService {

    @Autowired
    private Tika tika;

    public void parser(Path srcPath) throws TikaException, IOException {
        String result = tika.parseToString(srcPath);
        System.out.println(result);
    }

}

4.5、测试类TikaParserDemoTest

@SpringBootTest(classes = Main.class)
@RunWith(SpringRunner.class)
public class TikaParserDemoTest {

    @Autowired
    private TikaParserService tikaParserService;

    @Test
    public void testTikaParser() throws TikaException, IOException {
        tikaParserService.parser(Paths.get("F:", "Java开发手册(黄山版).pdf"));
    }

}

运行结果:

具体代码已上传到git,需要的自取。地址:GitHub - Shamee99/springboot-modules

;