PeerDB logo

PeerDBPostgres 的快速原生 ETL 🐘 🚀

在 PeerDB,我们正在构建一种快速、简单且经济高效的方式,将数据从 Postgres 流式传输到数据仓库、队列和存储引擎。如果您在数据堆栈的核心运行 Postgres,并且需要将大量数据从 Postgres 移动到上述任何目标,那么 PeerDB 可以提供价值。 我们支持不同的流式传输模式 - 基于日志 (CDC)、基于游标 (时间戳或整数) 和基于 XMIN。在性能方面,我们比现有工具快 10 倍。在功能方面,我们支持 Postgres 的原生功能,例如包括 jsonb/数组/postgis 在内的全面的数据类型集、高效地流式传输 Toast 列、架构变更等等。

2023-06-14
Active
Early
S23
2
B2B
RemotePartly Remote
PeerDB screenshot
更多关于 PeerDB 的信息

PeerDB:快速、简单、经济高效的 Postgres 复制

简介

PeerDB 提供了一种快速、简单且经济高效的解决方案,用于将 Postgres 数据复制到数据仓库和队列。PeerDB 具有对 Postgres 的原生支持和优化的性能,可确保无缝的数据传输和实时更改数据捕获 (CDC)。

主要功能

  • 架构变更: 利用 Postgres 复制消息来重放架构变更。
  • 警报: 提供有关槽增长和连接的警报。
  • Toast 列支持: 原生支持 Postgres Toast 列和大型 JSONB 列。
  • 仓库成本控制: 优化的查询设计,以降低仓库成本。
  • 分区表: 通过发布支持分区表。
  • 低延迟: 从 10 秒开始实现低延迟复制。
  • 并行初始加载: 通过事务快照和 CTID 扫描实现极快的初始加载。

用例

  • 实时 CDC: 将 Postgres 复制到 BigQuery、Snowflake 和其他数据仓库。
  • 流式查询: 从 Postgres 到 Snowflake、BigQuery、S3 等等的有效数据流式传输。
  • 数据迁移: 将大型数据集从 Postgres 无缝迁移到其他平台。
  • 物联网数据处理: 支持大型 JSONB 列,用于物联网应用程序。

定价

云端计划

  • 爱好: 最高 2 个虚拟核心,每月 250 美元。适合每月最多移动 1000 万行。
  • 小型: 最高 4 个虚拟核心,每月 1000 美元。适合每月移动 1000 万到 1 亿行。
  • 中型: 最高 8 个虚拟核心,每月 2000 美元。适合每月移动 1 亿到 5 亿行。
  • 大型: 最高 16 个虚拟核心,每月 4000 美元。适合每月移动 5 亿行以上。

开源

  • 免费: 非常适合个人。支持将更改数据从 Postgres 捕获到 Snowflake、BigQuery、ClickHouse、队列和 Postgres。

团队

PeerDB 背靠 Combinator,并得到全球各家公司的信赖。我们的团队致力于提供高可用性、就地升级、自动扩展、高级日志、指标、监控仪表板以及 24x7 的生产支持,并提供 SLA。我们提供白手套式实施支持,并提供专用的 Slack 频道,以确保无缝集成和运营。

PeerDB 旨在通过多个连接器来增强您的工作流程,使您能够轻松有效地将数据传入和传出 Postgres。