字节联合复旦重磅推出LayTextLLM！交错融合布局信息，文档理解能力再创新SOTA！

主要观点总结

本文主要介绍了LayTextLLM模型在文档理解任务中的应用。该模型旨在利用文本和布局信息，通过嵌入布局信息的方式提高文档理解的效果。文章详细描述了模型设计、训练方式以及实验结果，并与其他方法进行了比较。最后总结了该模型在文档理解任务中的有效性。

关键观点总结

关键观点1: LayTextLLM模型的设计

模型采用嵌入布局信息的方式，使用Embedding的方式嵌入布局信息，而非文本token的形式。该方法有效的规避了Coordinate-as-Tokens的长序列以及需借助大参数量模型的缺点。

关键观点2: 模型的训练方式

采用Layout-aware Next Token Prediction预训练方式和Shuffled-OCR Supervised Fine-tuning微调方式，使模型更好地适应文档理解任务。

关键观点3: 模型实验结果

实验结果表明，LayTextLLM模型在文档理解任务中取得了显著的效果，特别是在VQA和KIE任务上，性能大幅度提升。