字节跳动数据质量动态探查及相关前端实现

发布时间:2022-08-19 12:32

更多技术交流、求职机会、试用福利,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

需求背景

数据探查上线之前,数据验证都是通过写 SQL 方式进行查询的,从编写 SQL,到解析运行出结果,不仅时间长,还会反复消耗计算资源,探查上线后,只需要一次探查,就可以得到整张表的探查报告,但后续我们还发现了一些问题,主要有三点:

  • 无法看到探查的数据明细以及关联的行详情,无法对数据进行预处理操作。
  • 探查还是需要资源调度,等待时长平均分钟级。
  • 与质量监控没有打通,探查数据的后续走向不明确。

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号