今天看啥  ›  专栏  ›  小红书技术REDtech

时延降低 50%,小红书图数据库如何实现多跳查询性能大幅提升

小红书技术REDtech  · 公众号  · 前端 科技媒体  · 2024-06-24 20:00
    

主要观点总结

文章介绍了小红书基础架构存储团队基于大规模并行处理(MPP)理念,优化图数据库上的分布式并行查询框架,成功将多跳查询的时延降低了50%以上,尤其是使3跳查询在在线场景从不能用到落地,增强了在线业务的数据处理能力。团队提出了一种从框架层面优化多跳查询时延的方案,在业务上使在线场景中使用多跳查询成为可能,在技术上实现了图数据库查询的框架级优化。

关键观点总结

关键观点1: 多跳查询的挑战与解决方案

小红书在社交、风控及离线任务调度等场景中均采用了图数据库,然而在实际应用过程中遇到了一些挑战,如三跳查询时延较高,业务只能使用一至二跳查询。团队提出基于MPP理念的分布式并行查询解决方案,成功降低多跳查询时延,实现在线场景使用多跳查询。

关键观点2: REDgraph架构与优化方案

REDgraph采用存算分离+shared-nothing的架构,通过边切分的方式切分图数据。团队对多跳查询执行流程进行优化,包括取消全局Barrier,提高查询层并行性,减少重复查询,利用热点处理、负载均衡、流程控制等措施,实现了分布式并行查询。

关键观点3: 性能测试与效果

通过性能测试,原生查询和分布式查询在一跳和二跳情况下性能相当,从三跳起,分布式查询较原生查询能实现50%至60%的性能提升。测试结果显示,时延降低了50%以上,满足在线业务场景的时延要求,验证方案的有效性。

关键观点4: 未来展望与邀请

团队计划将新架构逐步应用于相关业务场景,并继续提升REDgraph的多跳查询能力,将其和REDtao融合,打造成一个统一的数据库产品。欢迎对技术有极致追求的同学加入团队,共同推动图数据技术的发展。


免责声明

免责声明:本文内容摘要由平台算法生成,仅为信息导航参考,不代表原文立场或观点。 原文内容版权归原作者所有,如您为原作者并希望删除该摘要或链接,请通过 【版权申诉通道】联系我们处理。

原文地址:访问原文地址
总结与预览地址:访问总结与预览
推荐产品:   推荐产品
文章地址: 访问文章快照