开源流式数据库|RisingWave 集成速查表
为了减少用户在现有数据架构中集成 RisingWave 的麻烦,我们尽可能地支持所有主流的数据格式、工具和系统。
然而,由于资源有限短时间无法实现这个目标。本文为大家整理了 RisingWave 目前对于所有主流数据格式、工具和系统的支持状态。
RisingWave 可以将数据 Sink 到 Kafka,所以其能够间接将数据 Sink 到任何可从 Kafka 进行数据摄取的系统。本文所有表格 Sink 状态一栏:
- “可用”表示该系统已有直接的 Sink 连接器。
- “正在研究”表示尚无直接的 Sink 连接器,但如果该系统能够从 Kafka 进行数据摄取,仍然可以使用。
1. 消息代理或流服务
代理或流服务 | Source | Sink |
---|---|---|
Apache Kafka | 可用 | 可用 |
Amazon MSK | 可用 | |
Apache Pulsar | 可用 | 可用 |
Confluent Cloud | 可用 | |
DataStax Astra Streaming | 可用 | 正在研究 |
EMQX | 可用 | 可用 |
Google Pub/Sub | 可用 | 可用 |
HiveMQ | 可用 | 可用 |
Kinesis Data Streams | 可用 | 可用 |
RabbitMQ | 正在研究 | 正在研究 |
Redpanda | 可用 | 可用 |
StreamNative Cloud | 可用 | 正在研究 |
NATS / NATS JetStream | 可用 | 可用 |
2. ETL/ELT 和数据集成
系统 | 可用性 |
---|---|
Airbyte | 正在研究 |
Census | 正在研究 |
dbt | 可用 |
Fivetran | 正在研究 |
Hightouch | 正在研究 |
Vector | 可用 |
migrate | 可用
|
3. 查询引擎
系统 | 可用性 |
---|---|
Apache Spark | 正在研究 |
AWS Athena | 正在研究 |
Presto | 可用。 |
Trino | 可用。 |
GraphQL | 可用。 |
4. 数据库
4.1 PostgreSQL
系统 | Source | Sink |
---|---|---|
Postgres | 可用 | 可用 |
AWS RDS (Postgres) | 可用 | 可用 |
AWS Aurora (Postgres) | 进行中 | 正在研究 |
Citus Data | 可用 | 正在研究 |
Neon | 可用 | 正在研究 |
4.2 MySQL
系统 | Source | Sink |
---|---|---|
MySQL | 可用 | 可用 |
AWS RDS (MySQL) | 可用 | 可用 |
AWS Aurora (MySQL) | 进行中 | 正在研究 |
4.3 其他数据库
系统 | Source | Sink |
---|---|---|
Amazon DynamoDB | 进行中 | 可用 |
Apache Druid | 无计划 | 正在研究 |
Apache Pinot | 无计划 | Pinot 支持从 Kafka、Pulsar 和 Kinesis 摄取数据。 |
AWS Redshift | 无计划 | 正在研究 |
ClickHouse | 无计划 | 可用 |
CockroachDB | 正在研究 | 可用 |
DataStax Astra DB & Cassandra & ScyllaDB | 正在研究 | 可用 |
Db2 | 正在研究 | 正在研究 |
Elasticsearch | 无计划 | 可用 |
Greenplum | 无计划 | 正在研究 |
Google BigQuery | 无计划 | 可用 |
MongoDB | 可用 | 正在研究 |
Oracle Database | 正在研究 | 正在研究 |
OpenSearch | 无计划 | 可用 |
Redis | 正在研究 | 可用 |
Snowflake | 无计划 | 可用 |
SQL Server | 可用 | 可用 |
StarRocks | 无计划 | 可用 |
TiDB | 可用 | 可用 |
5. 数据湖
系统 | 可用性 |
---|---|
Delta Lake | 可用 |
Apache Hudi | 正在研究 |
Apache Iceberg | 可用 |
6. BI 和数据分析平台
系统 | 可用性 |
---|---|
Apache Superset | 可用 |
Beekeeper Studio | 可用 |
Bytebase | 可用 |
Cube.js | 可用 |
DBeaver | 可用 |
Grafana | 可用 |
Jupyter Notebook | 可用 |
Looker | 可用 |
Metabase | 可用 |
Redash | 可用 |
DataGrip | 正在研究 |
PgAdmin | 正在研究 |
Hex | 可用。对于此集成,您可以直接使用 Hex 的 PostgreSQL 数据连接。 |
7. 其他系统
系统 | 可用性 |
---|---|
Alluxio | 正在研究 |
Datadog | 正在研究 |
Google Cloud Storage (GCS) | 作为 Source 可用 |
Hasura | 正在研究 |
Liquibase | 正在研究 |
Supabase | 可用 |
8. 总结
以上就是 RisingWave 截止 1.10 版本对所有主流的数据格式、工具和系统的支持情况概览,更加详细的支持和操作信息请参考官方文档。
如果某个连接器或集成对您至关重要但尚未被支持,请在本推文下留言通知我们,或者点击文档集成页面相应单元格中的点赞图标,我们将根据系统的请求数量来安排开发顺序。 如果您希望在连接器或集成可用时收到通知,您可以点击小铃铛图标并输入您的电子邮件地址。
9. 关于 RisingWave
RisingWave 是一款开源的分布式流处理数据库,旨在帮助用户降低实时应用的开发成本。RisingWave 采用存算分离架构,提供 Postgres-style 使用体验,具备比 Flink 高出 10 倍的性能以及更低的成本。
👨🔬加入 RW 社区,欢迎关注公众号:RisingWave中文开源社区
🧑💻想要了解和探索 RisingWave,欢迎浏览我们的官网:risingwave.com/
🔧快速上手 RisingWave,欢迎体验入门教程:github.com/risingwave
💻深入理解使用 RisingWave,欢迎阅读用户文档:zh-cn.risingwave.com/docs
原文地址:https://blog.csdn.net/weixin_61169526/article/details/142590478
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!