11 篇博文 含有标签「Databend 使用进阶」

Databend 云原生湖仓同时支持私有化和公有云两种部署形态，因此在写入方式上也共提供了4方式种选择。本文一方面通过性能测试认识不同形态的性能差异，另一方面也尝试理解这些设计背后的原因，进而体会如何结合业务场景选择最适合的写入方式。

数据归档： 随着生产数据库数据量增大，对于备份和性能都带来比较严重的影响，可以通过归档的方案，可以将主库中早期不使用的数据，如早期订单或日志移动到归档库中。减少生产数据库的数据大小，提升生产数据库的性能。 数据归档是生产数据中面临的一个重要工作，在本篇文章中使用 Databend Cloud 归档 OceanBase, 同理也适用于: MySQL, TiDB, PostgreSQL, Oracle, SQL Server 等。 使用工具： db-archiver 数据存储： 用户端的 bucket 中 计算资源： Databend Cloud 按需付费

随着大数据收集和存储技术的解决，公司和企业的数据量也在不断增加，但只有将更多数据组合起来，才能产生更大的价值。本篇文章结合 Databend 在某省级大数据交易所落地后的经验，探讨对数据交易的理解及可信数据空间做一些展望。。

作者： sundy

Databend 作为新一代云原生数据仓库，提供了六百多个内置函数，满足了大部分用户的需求。然而，随着业务的增长，需求也变的日新月异，内置的函数可能无法服务用户变化的需求。在这种场景下， Databend 提供了多种用户自定义函数(UDF)实现方式，满足不同场景下的数据处理需求。

etcd 是一个分布式、高可用的键值存储系统，专为配置管理、服务发现和分布式协调而设计。它由 CoreOS 团队开发，使用 Go 语言编写，并基于 Raft 一致性算法实现数据一致性和高可用性。etcd 是 Kubernetes 等云原生生态系统的核心组件，用于存储集群的元数据和配置信息。本篇文章用于记录 kubekey 环境 etcd 故障修复。

在国内企业安全中大量公司的数据网是不允许连接外网，对于在这种环境上安装 Databend 有点麻烦，一般为了减少兼容上的问题推荐使用 docker 安装部署。

一般下载文件上传 S3 的实现流程为： 下载文件到本地盘，然后调用 s3 相关的 SDK 然后上传到 S3 中，这里的面的瓶颈很容易出现下载文件到本地盘时，出现本地盘成为瓶颈，这里使用给大家推荐 OpenDAL 可以直接写远程的 S3.

在早期的 CentOS 8 或是 OpenEubler 20 版本中启动 Databend 可能会遇到官方发布的 gnu 包无法使用的问题。 从实践上讲推荐使用 docker + host 网络直接启动，基本相当于直接启动一个 Databend 。

今天这篇文章和大家交流一下在 Databend 如何实现近实时计算这个能力。 该功能目前在客户应用场景：

• 游戏用户的实时激励，玩游戏中的奖励
• 游戏客户一场游戏结束后，下一场如何匹配队友
• 游戏结束后，本场游戏的数值展示等场景
• 数据实时推送到远端

基于 Databend 有实时计算，在实际客户落地的场景中替换大量的 flink 任务，大大简化了用户的流计算管理方面的开销。

1 目标​

本方案中基于 Databend 实现一个数据快速汇聚及实时去重，实现一份数据多种工作负载，把原来数据共享的推模式变成：增量订阅模式 + 抽取推送两种模式。从而让有后台开发经验或会 SQL 的人，也可以在 Databend 上实现海量数据平台的建设。