字节跳动基于 Ray 的大规模多模态数据处理框架

主要观点总结

本文主要介绍了Ray在构建可扩展的Audio/Video数据处理Pipeline中的应用，以及在字节跳动如何使用Ray处理大规模不稳定资源上的数据处理任务。文章详细阐述了Ray的优势，以及在构建Audio和Video数据处理Pipeline中所遇到的问题和解决方案。同时，分享了使用Ray的经验，包括Ray的扩展性、灵活性、Python友好性等方面的优势。最后，介绍了在不稳定资源环境下运行RayData的挑战及相应的改进方案。

关键观点总结

关键观点1: Ray用于构建可扩展的Audio/Video数据处理Pipeline

Ray提供了强大的分布式计算能力，可以方便开发分布式应用程序，构建数据处理pipeline。在构建Audio/Video数据处理Pipeline中，Ray解决了数据呈指数级增长、GPU和CPU资源有限、数据处理任务复杂等挑战。

关键观点2: Ray在字节跳动的应用

字节跳动使用Ray处理大规模不稳定资源上的数据处理任务，涉及Audio/Video数据处理、RLHF等多个业务领域。Ray的灵活性和资源调度能力帮助用户进行灵活的多角色DAG编排和异构计算，构建大规模高性能的ML基础设施。

关键观点3: 使用Ray的经验和优势

使用Ray的经验包括良好的可扩展性和灵活性、对Python友好、方便的调试和开发、Ray Dashboard提供作业相关的Restful API等。Ray的优势包括强大的分布式计算能力、自动管理数据分片的能力、自动扩缩容的能力等。

关键观点4: 在不稳定资源环境下运行RayData的挑战及改进方案

在不稳定资源环境下运行RayData面临诸多挑战，如资源抢占、任务失败和数据丢失等。为了解决这些问题，提出了任务重新分配和RayData血缘方案，通过重新分配任务和重新计算输出，减小actor异常退出对整个作业的影响。