Skip to main content
wubx
Data AI
View all authors

使用 Databend Cloud 归档 OceanBase 数据数据库

· 8 min read
wubx
Data AI

数据归档: 随着生产数据库数据量增大,对于备份和性能都带来比较严重的影响,可以通过归档的方案,可以将主库中早期不使用的数据,如早期订单或日志移动到归档库中。减少生产数据库的数据大小,提升生产数据库的性能。 数据归档是生产数据中面临的一个重要工作,在本篇文章中使用 Databend Cloud 归档 OceanBase, 同理也适用于: MySQL, TiDB, PostgreSQL, Oracle, SQL Server 等。 使用工具: db-archiver 数据存储: 用户端的 bucket 中 计算资源: Databend Cloud 按需付费

基于 Databend 构建数据可信空间展望

· 8 min read
wubx
Data AI

随着大数据收集和存储技术的解决,公司和企业的数据量也在不断增加,但只有将更多数据组合起来,才能产生更大的价值。本篇文章结合 Databend 在某省级大数据交易所落地后的经验,探讨对数据交易的理解及可信数据空间做一些展望。。

Kubekey 环境中 Etcd 集群搭建及维护

· 5 min read
wubx
Data AI

etcd 是一个分布式、高可用的键值存储系统,专为配置管理、服务发现和分布式协调而设计。它由 CoreOS 团队开发,使用 Go 语言编写,并基于 Raft 一致性算法实现数据一致性和高可用性。etcd 是 Kubernetes 等云原生生态系统的核心组件,用于存储集群的元数据和配置信息。本篇文章用于记录 kubekey 环境 etcd 故障修复。

使用 OpenDAL 直接写对象存储

· 2 min read
wubx
Data AI

一般下载文件上传 S3 的实现流程为: 下载文件到本地盘,然后调用 s3 相关的 SDK 然后上传到 S3 中,这里的面的瓶颈很容易出现下载文件到本地盘时,出现本地盘成为瓶颈,这里使用给大家推荐 OpenDAL 可以直接写远程的 S3.

SeaTunnel MySQL-CDC Research

· 12 min read
wubx
Data AI

SeaTunnel 是一个非常易用、超高性能的分布式数据集成平台,支持实时海量数据同步。 每天可稳定高效地同步数百亿数据,已被近百家企业应用于生产,在国内较为普及。

Databend 是一款云原生存算分离的数据平台。

本文主要分析 SeaTunnel MySQL-CDC 及其 Sink 输出的数据格式,并探讨两者后续和 Databend 整合的可行性。

基于 Databend 实时计算实现

· 7 min read
wubx
Data AI

今天这篇文章和大家交流一下在 Databend 如何实现近实时计算这个能力。 该功能目前在客户应用场景:

  • 游戏用户的实时激励,玩游戏中的奖励
  • 游戏客户一场游戏结束后,下一场如何匹配队友
  • 游戏结束后,本场游戏的数值展示等场景
  • 数据实时推送到远端

基于 Databend 有实时计算,在实际客户落地的场景中替换大量的 flink 任务,大大简化了用户的流计算管理方面的开销。

基于 Databend 的实时数据汇聚平台建设

· 21 min read
wubx
Data AI

1 目标

本方案中基于 Databend 实现一个数据快速汇聚及实时去重,实现一份数据多种工作负载,把原来数据共享的推模式变成:增量订阅模式 + 抽取推送两种模式。从而让有后台开发经验或会 SQL 的人,也可以在 Databend 上实现海量数据平台的建设。

大数据是不是要凉?

· 13 min read
wubx
Data AI

近几年,“大数据要凉了”的声音似乎越来越多。有人说大数据热潮退却了,也有人感慨岗位越来越少、平台越来越重、业务越来越复杂。但这真的是大数据“凉”了吗?