干货 | 准实时数仓落地实战：携程商旅基于Paimon的湖仓一体架构设计与批流融合实践

主要观点总结

本文介绍了携程商旅在准实时数仓与湖仓一体化建设中的实践，包括背景、准实时数仓搭建、机票自动退票提醒优化、广告订单归因准实时上报、批流一体实践等方面。总结了基于Flink CDC与Paimon的准实时数仓架构如何有效支撑多个场景的准实时数据应用需求，并探讨了未来规划。

关键观点总结

关键观点1: 背景介绍

携程商旅专注于为企业客户提供一站式差旅管理服务，数据规模与复杂度持续攀升，对业务数据时效性要求不断提高。原有T+1离线数仓架构无法满足准实时数据分析需求。

关键观点2: 准实时数仓搭建

基于Flink CDC和Paimon搭建准实时湖仓，解决订单明细宽表字段多、数据来源分散等问题，通过Partial Update和Aggregation特性构建宽表，提升链路稳定性和开发效率。

关键观点3: 机票自动退票提醒优化

通过Flink和Paimon优化机票自动退票提醒功能，提高数据准确性和新鲜度，设计实时与离线混合链路，兼顾数据时效性和服务稳定性。

关键观点4: 广告订单归因准实时上报

解决广告订单归因上报的实时性问题，通过Aggregation for Partial Update构建宽表，采用分区数据过期机制提高Lookup Join效率和稳定性，使用Filesystem Catalog实时消费Paimon表并同步调用SOA服务进行上报。

关键观点5: 批流一体实践

探索批流一体存储，通过配置Paimon catalog实现Spark和Flink读写Paimon表，基于Tag的增量计算实现高效获取增量数据与历史数据的回溯更新。

关键观点6: 总结与未来规划

总结基于Flink CDC与Paimon的准实时数仓架构在支撑携程商旅多个场景准实时数据应用需求的有效性，并探讨未来探索Paimon与Flink的流批一体能力，推动计算与存储深度融合的方向。