1 目标​

本方案中基于 Databend 实现一个数据快速汇聚及实时去重，实现一份数据多种工作负载，把原来数据共享的推模式变成：增量订阅模式 + 抽取推送两种模式。从而让有后台开发经验或会 SQL 的人，也可以在 Databend 上实现海量数据平台的建设。

近几年，“大数据要凉了”的声音似乎越来越多。有人说大数据热潮退却了，也有人感慨岗位越来越少、平台越来越重、业务越来越复杂。但这真的是大数据“凉”了吗？

有时我需要在数据库或应用层实现对数据的加密和解密。工程中实现方式有很多，这里提供一个基于 Databend 使用 External UDF 的实现方案。

Databend Stage 在 Databend 是一个重要的概念， 主要用于数据的暂时存储或是团队间数据交换。通过 Stage，用户可以在不同的存储位置和场景下处理数据，方便数据的上传、共享和管理。

本文用于记录利用 docker compose 启动 Databend 的 databend-meta, databend-query 以及 minio，用于理解 Databend 的环境搭建。

Databend 是一个使用 Rust 语言研发、开源、Serverless 架构 + 对象存储设计的新一代云原生数据湖仓，致力于打造开源版 Snowflake。产品专注于高效的数据计算和存储，旨在为用户提供一款简单、易用、规模化扩展的大数据分析存储一体化解决方案。

基于 Databend Cloud 在云上替代传统的 Hadoop 和 OLAP， 让云上的数据分析像用水，用电一样方便。

Databend 快速入门：5 分钟体验 Databend