Apache Paimon:一站式存储解决方案
Apache Flink 在过去几年里取得了长足发展，这得益于众多的贡献者和用户。Flink 已经成为最好的分布式计算引擎之一，尤其在大规模有状态流处理方面。然而，当试图深入了解实时数据时，仍然面临着一些挑战。其中一个突出的问题是缺乏满足所有计算模式的存储。
为了不同目的，部署几个存储系统来使用 Flink 是很常见的。一个典型的部署是用于流处理的消息队列、用于批处理和即席查询的可扫描文件系统/对象存储、以及用于查找的 K-V 存储。但这种架构由于复杂性和异构性，在数据质量和系统维护方面都提出了挑战。这已成为影响 Apache Flink 流批统一端到端用户体验的一大问题。
为解决这个困境，Flink 推出了 Flink Table Store，旨在提供统一的存储抽象，让用户不必自己构建混合存储。为更好推进该项目的发展，在今年三月，Flink Table Store 进入 Apache 孵化器，并更名为 Apache Paimon。
作为一款流批一体的数据存储方案，Apache Paimon 在 Apache Flink 中为流和批处理构建动态表，支持高速数据采集和实时数据查询。Apache Paimon 提供一站式存储解决方案，支持大规模数据存储、毫秒级流式查询、秒级批处理查询，并默认实现增量快照，简化了不同存储的整合过程。
作为一种新型的可更新数据湖，Apache Paimon 具有以下特点：
- 大吞吐量数据摄取,同时提供良好的查询性能。
- 具有主键过滤器的高性能查询，最快 100 毫秒。
- 湖存储上提供流式读取，湖存储也可以与 Kafka 集成，提供秒级流式读取。
Apache Paimon 旨在提供一个易于使用且功能强大的存储解决方案。它通过减轻用户管理不同存储带来的负担，从而提高 Apache Flink 的易用性，为用户提供更好的端到端体验。
Apache Paimon 的出现，标志着 Apache Flink 向着成为一个完备的统一大数据处理平台迈进了坚定的一步。
