编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

Apache Beam 2.28.0 发布,大数据流处理编程

wxchong 2024-07-19 05:52:52 开源技术 26 ℃ 0 评论

Apache Beam 2.28.0 已发布,Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

更新亮点

  • 与 Parquet 支持相关的大量改进 (BEAM-11460, BEAM-8202 和 BEAM-11526)
  • BeamSQL 中的哈希函数 (BEAM-10074)
  • ZetaSQL 中的哈希函数 (BEAM-11624)
  • 使用 HLL Impl 创建 ApproximateDistinct (BEAM-10324)

I/Os

SpannerIO 支持面向 Numeric 字段使用 BigDecimal (BEAM-11643)

  • 将 Beam schema 支持添加到 ParquetIO (BEAM-11526)
  • 支持 ParquetTable Writer (BEAM-8202)
  • GCP BigQuery sink (streaming inserts) 使用 runner 已确定的分片 (BEAM-11408)
  • PubSub 支持类型:TIMESTAMP, DATE, TIME, DATETIME (BEAM-11533)

新特性/改进

  • ParquetIO 添加 readGenericRecordsreadFilesGenericRecords 方法可以读取具有未知 schema 的文件。详情查看 PR-13554 和 (BEAM-11460)
  • 添加对 KafkaTableProvider 中 thrift 的支持 (BEAM-11482)
  • 添加对 HadoopFormatIO 的支持以跳过 key/value 克隆 (BEAM-11457)
  • 在 Convert.to 转换中支持转换为 GenericRecords (BEAM-11571)
  • 支持读取未知 schema 的 Parquet 文件 (BEAM-11460)

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表