使用MQ的时候，怎么确保消息100%不丢失？

主要观点总结

本文主要介绍了在分布式系统中，如何保证消息从生产到消费的过程中100%不丢失的问题。文章详细阐述了消息丢失的三大风险环节以及对应的解决方案，包括生产端保障、存储端保障和消费端保障。文章还强调了本地消息表方案、副本机制、手动提交位移和幂等性设计的重要性。

关键观点总结

关键观点1: 消息丢失的三大风险环节

消息的生命周期分为生产、存储和消费三个阶段，每个阶段都潜藏着丢失的风险。生产环节可能因为网络问题或Broker宕机导致消息未接收；存储环节可能因为Broker未将消息持久化到磁盘或主从架构中的Master节点故障导致消息丢失；消费环节可能因为消费者服务挂掉且使用了自动提交位移导致消息永久丢失。

关键观点2: 生产端保障措施

通过配置acks=all和合理的重试次数确保消息被MQ集群完整接收。对于一致性要求极高的业务，引入本地消息表方案，将业务操作和发送消息封装在同一个本地事务中，确保业务和消息的原子性。

关键观点3: 存储端保障措施

通过配置多副本和高同步副本数量来确保高可用性和数据不丢失。设置min.insync.replicas来平衡性能和可靠性。关键的是确保unclean.leader.election为false，防止数据丢失。

关键观点4: 消费端保障措施

关闭自动提交位移，改为手动提交。在业务逻辑完全处理成功后进行位移提交。同时，做好消费端业务逻辑的幂等性设计，防止消息重复处理。