LangChain的OpenAI和ChatOpenAI，到底应该调用哪个？

主要观点总结

本文主要讨论了在使用LangChain连接LLM推理服务时，应调用OpenAI还是ChatOpenAI的问题。文章深入解释了两个接口的区别，涉及到completions和chat completions的区别，以及LLM推理时使用的chat template。文章还讨论了如何正确调用这些接口，特别是在使用vLLM等开源推理框架时需要注意的问题。

关键观点总结

关键观点1: OpenAI和ChatOpenAI的区别

OpenAI用于调用/v1/completions接口，提供续写能力；ChatOpenAI用于调用/v1/chat/completions接口，提供对话能力。这两个接口分别对应LLM的Base Model和Instruct Model。

关键观点2: chat template的重要性

chat template是用于将对话历史内容转化为free text的模板，对于Instruct Model的推理服务非常重要。

关键观点3: vLLM启动时的chat template获取方式

可以从模型文件夹中加载，也可以通过启动参数指定。如果没有正确加载chat template，可能会影响模型的回答准确度。

关键观点4: 如何正确调用LangChain的类

对于Base Model的推理服务，只能使用LangChain的OpenAI类；对于Instruct Model的推理服务，推荐使用ChatOpenAI类，也可以在调用OpenAI类之前手动拼接prompt。

免责声明