-
Apache Paimon核心概念:快照、分区、桶和一致性保证
在使用 Apache Paimon 时,了解其基本概念对于有效地管理和操作数据非常重要。本文将介绍 Apache Paimon 中的几个核心概念,包括快照、分区、桶和一致性保证。快照(Snapshot 快照是指在某个特定时间点记录表的状态。在 Paimon 中,每当进行数据更改或提交操作时,会生成一...
02月28日[经验文章]浏览:13
-
Apache Superset:数据可视化的现代开源解决方案
Superset: 洞察数据,一目了然- 精选真开源,释放新价值。概览Apache Superset 是一个由 Apache 软件基金会支持的开源数据可视化和数据探索平台。它允许用户以直观的方式构建丰富的数据报告和仪表板,支持从多种数据源中提取数据,并通过拖放等简易操作创建可视化。Superset...
02月28日[经验文章]浏览:13
-
查询千万数据,除了分页,还有mybatis效率更高的流式查询
基本概念流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器,应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。如果没有流式查询,我们想要从数据库取 1000 万条记录而又没有足够的内存时,就不得不分页查询,而分页查询效率取决于表设计,如果设计的不好,就无法执行高效的分页查询。...
02月28日[经验文章]浏览:11
-
「好文推荐」煤矿设备状态监测系统设计
【能源人都在看,点击右上角加'关注'】可阅读全文原文发表在《工矿自动化》2021年第5期,欢迎品读。一、系统架构煤矿设备工作环境恶劣,连续作业时间长,对设备健康状态要求苛刻,准确高效地获取煤矿设备主要工作部件状态信息,对设备故障诊断有重要意义。针对煤矿井下设备群同时作业时设备监测数据高并发导致的低传...
02月28日[经验文章]浏览:11
-
SQL 查询优化原理与 Volcano Optimizer 介绍
随着大数据相关技术的发展,SQL 作为一种成熟的查询语言又逐渐回到人们视野的中心来,被称为 NewSQL 的新型关系型数据库更是蓬勃发展。 作为一种声明式编程语言,将 SQL 转化为可以高效执行的任务对于 OLAP 来说是至关重要的。 本文将尝试对相关的技术原理进行一次总结。本文将重点着眼于对 Vo...
02月28日[经验文章]浏览:16
-
-
-
探究Apache Flink支持的三种流处理场景
Apache Flink 是一个集众多具有竞争力的特性于一身的流处理引擎,是开发和运行多种不同类型应用程序的绝佳选择。Flink 提供了流处理和批处理支持、复杂的状态管理、事件时间处理语义以及状态的精确一次一致性保证等功能。此外,Flink 可以在多种资源管理框架上部署,比如 YARN 和 Kube...
02月28日[经验文章]浏览:15
-
-