发展历程
一、介绍
Apache StreamPark? 是一个流处理应用程序开发管理框架,旨在轻松构建和管理流处理应用程序,提供使用 Apache Flink? 和 Apache Spark? 编写流处理应用的开发框架和一站式实时计算平台,核心能力包括不限于应用开发、部署、管理、运维、实时数仓等。
1.1、StreamPark官网
官网地址
https://streampark.apache.org/
1.2、Github地址
Github地址
https://github.com/apache/streampark
2、核心特点
StreamPark? 让流处理作业开发 & 管理更简单的核心特性。
2.1、简单易用
Apache StreamPark? 提供了一系列快捷 API 和 Connector,开箱即用,作业状态自动追踪,快速完成作业的开发和管理。
2.2、流批一体
Apache StreamPark? 同时支持 Apache Flink? & Apache Spark?,无缝支持流式处理和批处理,连接互通,创造无限可能。
2.3、一站式解决方案
Apache StreamPark? 为流处理作业提供全生命周期支持,从开发到部署,集等众多功能于一身,是一站式流处理平台。
3、开发框架
StreamPark? 提供了开发框架,可快速完成流处理作业开发。
- 编写代码
使用 Apache StreamPark? 提供的快捷 API 开发流处理作业。
- 调试代码
传入 Apache StreamPark? 约定的配置,进行本地作业开发调试。
- 部署作业
使用 Apache StreamPark? 提供的平台来部署和管理你的作业。
二、原理与应用
1、首页登录页
2、Apache StreamPark Console
3、组件架构图
4、作业提交流程
5、核心能力
适配多种连接器
多种执行模式
支持第三方依赖
一键运维
对接 K8S-Operator
三、谁在使用?