Apache Tika起源于2007年3月，最初是Apache Lucene项目的子项目，于2010年5月成为Apache组织的顶级项目。

它利用现有的解析类库，能够侦测和提取多种不同格式文档中的元数据和结构化内容，如HTML、PDF、Doc、PPT、XLS、DOCX、JSON等，甚至包括图像，音频，视频。他能帮助我们：识别文件类型，元数据提取，内容提取，语言检测等等功能。

tika支持的格式可以看一下官方文档：Apache Tika – Supported Document Formats

后面我们会将主要的格式都展示一下效果。现在，我们先看一下SpringAI是怎么接入tika的。

首先，老生常谈，在pom文件中引入tika：

        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-tika-document-reader</artifactId>
        </dependency>

然后，我们开发代码，代码也很简单，spring-ai-tika只暴露出来了一个接口DocumentReader.read。所以我们创建一个tika对象，执行read方法，就可以了。返回的Document，在进行一系列的处理，就可以存储到向量数据库了。代码如下：

                // Spring AI utility class to read a WORD file page by page
                TikaDocumentReader tikaReader = new TikaDocumentReader(path);
                List<Document> docbatch = tikaReader.read();
                // Sending batch of documents to vector store
                // applying tokenizer
                docbatch = TokenTextSplitter.builder().withChunkSize(512).withMaxNumChunks(100).build().apply(docbatch);
                log.info("Adding {} documents to vector store", docbatch.size());
                docbatch.forEach(doc -> {
                        log.info("Adding document to vector store: {}", doc.getText());
                        doc.getMetadata().put("label",label);
                        vectorStore.doAdd(ListUtil.of(doc));
                });

我们试一下几种格式：

html

https://baike.baidu.com/item/%E7%BA%B3%E5%B0%94%E9%80%8A%C2%B7%E7%BD%97%E5%88%A9%E8%B5%AB%E6%8B%89%E8%B5%AB%E6%8B%89%C2%B7%E6%9B%BC%E5%BE%B7%E6%8B%89/8769861?fromModule=today_on_history-lemma

WORD

pdf/building/xxxxx.doc

PDF

pdf/hr/xxxxxxxx.pdf

TXT

pdf/test/注意！模型使用前须知.txt

这里需要注意一点，tika默认的编码是UTF-8，如果是txt是其他的编码导致的乱码，tika是直接过滤掉的。

多媒体

Img需要安装Tesseract OCR，它本身是没有这部分功能，是借助了三方工具。

同理，video，audio，文件也是如此。SpringAI并不支持，所以如果使用这个功能的话，需要用原生tika单独开发。

总结

tika这个项目，支持了大部分的文档类文件的解析。通过它，我们可以轻松的进行解析工作。同时，由于大模型的token限制，我们在embedding之前，还需要对解析后的文本进行处理。即token切分。

TokenTextSplitter.builder().withChunkSize(512).withMaxNumChunks(100).build().apply(docbatch);

接下来就可以进行RAG向量化操作了。