GitHub - kioco/io.cjx.blueline: buleline 是一个非常易用，高性能，能够应对海量数据的实时数据处理，构建于Apache Spark之上。使用场景 1.海量数据ETL 2.海量数据聚合 3.多源数据处理 · GitHub

Name		Name	Last commit message	Last commit date
bin		bin
blueline-apis		blueline-apis
blueline-core		blueline-core
config		config
docs		docs
plugins		plugins
project		project
target		target
LICENSE		LICENSE
README.md		README.md
build.sbt		build.sbt
scalastyle-config.xml		scalastyle-config.xml
sonatype.sbt		sonatype.sbt

Repository files navigation

Blueline是一个非常易用，高性能，能够应对海量数据的实时数据处理产品，构建于Apache Spark之上。

使用场景海量数据ETL 海量数据聚合多源数据处理

特性简单易用，灵活配置，无需开发实时流式处理离线多源数据分析高性能海量数据处理能力模块化和插件化，易于扩展支持利用SQL做数据处理和聚合支持Spark 2.x

工作流程外部数据源 -------> input ----> filter ----->output ----->外部数据源多个Filter.output构建了数据处理的Pipeline，满足各种各样的数据处理需求，如果您熟悉SQL，也可以直接通过SQL构建数据处理的Pipeline，简单高效.

支持的插件 1.Input plugin

Kafka,mysql

2.filter

Json,Deta,sql

3.output plug

Kafka,mysql,jdbc

环境依赖

Spark on Yarn

Spark Standalone

Spark on Mesos

About

buleline 是一个非常易用，高性能，能够应对海量数据的实时数据处理，构建于Apache Spark之上。使用场景 1.海量数据ETL 2.海量数据聚合 3.多源数据处理

Apache-2.0 license

1 star

0 watching

Report repository

Releases

Packages

Contributors

Languages