导语
腾讯云消息队列CKafka推出数据接入平台（Data Import Platform），旨在构建数据源和数据处理系统间的桥梁。
为了让开发者们更加深入的了解数据接入平台（DIP），腾讯云消息队列团队将组织系列文章，为大家详解数据接入平台（DIP）的功能及架构。
数据实时接入和分析面临的挑战
随着大数据时代的到来，企业在生产和经营活动中产生的各类数据正以前所未有的速度增长，通过对实时及历史数据的融合分析，及时挖掘业务洞察和辅助决策，已成为企业的普遍行动。
有一种观点认为大数据存在“3V”特性：Volume, Velocity, Variety。这三个“V”表明大数据的三方面特征：量大，实时和多样。这三个主要特征对数据链路系统的影响尤为突出。多种多样的数据源，海量的数据以及实时高效的采集传输是数据链路系统主要面对的几个问题。即系统需要在满足实时性指标的同时，也具备生产环境下的高可用性和易用性。
下图是一个非常经典的数据链路的架构图。从左到右，依次是数据源、数据接入层、数据缓冲层、数据分发层、数据目标，可以看出，搭建一个完整的数据链路非常复杂繁琐。
在云原生的浪潮下，企业需要聚焦业务，迫切需要简单易行，零代码地配置搭建起自己的数据链路系统。因此数据链路系统需要如下几个特征：SAAS化、低代码化、简单易用、稳定可靠、高性能、按量付费，以达到整体上的降本增效。
基于上述诉求，我们推出了数据接入平台（Data Import Platform）。
关于数据接入平台
数据接入平台定义
腾讯云消息队列CKafka推出的数据接入平台（Data Import Platform），是腾讯云上SAAS化的数据接入和处理平台，协助客户方便快捷地完成一站式的数据接入、处理和分发。平台提供基于 HTTP/TCP 协议的 SDK 协助客户快速完成数据上报、基于 CDC（Change Data Capture）机制快速订阅、存储多款数据库（MySQL、PostgreSQL、MongoDB 等）变更信息，打通了多款云产品的日志投递。并提供了简单可配置的数据清洗 (ETL) 能力，以及丰富的数据流出渠道，协助客户低成本搭建数据流转链路，构建数据源和数据处理系统间的桥梁。
DIP类似于传统大数据解决方案中Kafka+Flink的角色，提供了通用的数据连接、处理、流转的功能。核心诉求是希望可以协助客户低成本的搭建整条的数据链路。根据二八原则，DIP希望解决大部分通用的数据连接场景。而对于业务属性强，逻辑复杂的还是需要依赖Flink等流式计算引擎来实现。
在离线计算场景，DIP提供了一个缓冲队列的作用，同时由于DIP提供了各种MQ与其他腾讯云上下游产品的对接功能，所以又扮演了数据分发枢纽的角色。
DIP和Kafka的关系
DIP是由腾讯云上CKafka孵化出的数据接入产品，底层基于开源Kafka Connector和自研接入分发层。从本质上来看，Kafka是消息队列，属于存储产品。而DIP是数据接入分发平台，定位为存储层（MQ）的上下游数据连接。
DIP与Kafka的区别
DIP旨在围绕消息队列（MQ）生态，做好上下游的数据连接。消息队列属于PAAS产品，DIP定位为SAAS产品，提供一站式的数据链路搭建方案。DIP希望达到低代码、免运维、按量付费、Serverless化的效果，后续会支持多种消息队列协议接入。
DIP优势
- 易用性
仅需通过简单的界面配置，轻松完成数据上报、清洗，存储的链路搭建。屏蔽数据接入过程中底层复杂的系统搭建、组件运维过程。 - 上下游生态融合
支持云上、云下（跨云、混合云）场景、支持自建和云上服务的数据连接。实现了五大类(数据库、文件、MQ、主动上报、日志)，15+云上产品打通，一站式实现数据的接入和流动。 - 高可用
接入层、处理层、分发层均为分布式跨可用区部署，遇到故障即可自动切换，服务可用性不低于99.9%。 - 实时性
在数据采集、上报和流转整条链路过程中，实现秒级的接收、处理、并分发到下游系统。 - 安全性
数据接入平台支持不同租户间网络隔离，支持数据上报集成 CAM 鉴权、数据流转集成 SASL 权限控制，严格控制访问权限，保证数据安全。 - 弹性伸缩
无需预估业务容量，系统会根据流量规模自动弹性伸缩，保证波峰时系统可用性。按需使用，Serverless 化的完成数据接入、处理、转储的整个流程。