Kitex/Hertz 助力大模型：三周年重要特性回顾

主要观点总结

本文介绍了Kitex和Hertz项目在助力大模型发展中的流式能力，包括流式通信的支持、新功能和性能优化等。文章还提到了对内存分配优化和内存分析工具的使用。

关键观点总结

关键观点1: 流式能力介绍

Kitex和Hertz提供了多种流式能力，包括gRPC、HTTP 1.1 Chunked、WebSocket、SSE和Thrift Streaming等。这些能力在助力大模型发展和满足其他业务场景的需求方面发挥了重要作用。

关键观点2: 流式泛化调用

为了提高流式接口的易用性和开发体验，Kitex支持流式泛化调用。这有助于用户更方便地构造请求数据，并简化了测试过程。

关键观点3: 新功能和性能优化

Kitex提供了多种新功能和性能优化，包括Thrift/gRPC多Service支持、Mixed Retry、Frugal/FastCodec、产物精简和生成提速优化等。这些功能旨在提升用户体验和框架性能。

关键观点4: 内存分配优化和内存分析工具

为了进一步优化性能，Kitex进行了内存分配优化，并提供了内存分析工具goref。这些工具可以帮助用户快速发现内存泄漏问题，提高系统的稳定性和可靠性。

关键观点5: 未来展望

未来一年，Kitex计划继续增强流式能力，优化流式用户体验，发布Kitex Streaming v2接口，解决历史问题，并加强流式的生态能力。此外，还计划提供流式相关的使用规范，帮助用户更好地开发自己的流式服务。