基于Binlog、FlinkCDC、Doris实现实时数据同步

使用了三个主要组件:Binlog、FlinkCDC(Change Data Capture)、Doris。通过这些组件的协同作用,可以实现在数据源变更时的实时数据同步到目标数据仓库。

CDH6 集群搭建

CDH是Cloudera的100%开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流程。 简单来说:CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得集群的安装可以从几天的时间缩短为几个小时,运维人数也会从数十人降低到几个人,极大的提高了集群管理的效率。