清华厦大等提出“无限长上下文”技术，100万大海捞针全绿，Llama\Qwen\MiniCPM都能上...

主要观点总结

LLMxMapReduce团队提出了一种新的技术，打破了大模型的记忆限制，实现了上下文长度的无限稳定拓展。该技术通过将长文本切分为多个片段，让模型并行处理，并从不同片段中提取关键信息，然后汇总成为最终答案。团队提出了结构化通信协议和上下文置信度校准机制，以更好地处理跨片段信息和冲突。实验结果表明，该方法在处理长文本方面表现出卓越的能力，且在速度方面也有优势。

关键观点总结

关键观点1: 技术原理

LLMxMapReduce技术通过将长文本切分为多个片段，利用大模型的并行处理能力，从每个片段中提取关键信息，并最终汇总成答案。它解决了大模型处理长文本时的记忆限制问题。

关键观点2: 结构化通信协议

为了解决跨片段依赖和冲突的问题，LLMxMapReduce团队提出了结构化通信协议。该协议让模型在处理每个片段时输出包含丰富相关信息的结构体，以便在汇总阶段更好地处理跨片段信息。

关键观点3: 上下文置信度校准机制

为了解决跨片段冲突的问题，LLMxMapReduce还提出了上下文置信度校准机制。该机制让模型根据各个片段的置信度来汇总信息，从而更好地处理冲突信息。

关键观点4: 实验结果

实验结果表明，LLMxMapReduce技术在处理长文本方面表现出卓越的能力。结合Llama3-70B-Instruct模型的LLMxMapReduce框架在测试中取得了超越其他模型和分治策略的成绩。此外，该技术还展现出较强的通用性，在结合其他模型时也取得了优异的成绩。

关键观点5: 速度优势

由于LLMxMapReduce技术利用了分段并行处理，实验结果显示其处理速度比标准解码更快。此外，结构化通信协议和上下文置信度校准机制不影响框架的并行推理，因此在速度方面具有优势。