如何使用 sklearn 优雅地进行数据挖掘？

主要观点总结

本文主要介绍了使用sklearn进行数据挖掘的过程，包括数据挖掘的步骤、使用sklearn进行特征工程和模型训练、并行处理、流水线处理、自动化调参和持久化的技术和方法。

关键观点总结

关键观点1: 数据挖掘的步骤

数据挖掘通常包括数据采集、数据分析、特征工程、训练模型、模型评估等步骤。

关键观点2: 使用sklearn进行特征工程和模型训练

可以使用sklearn进行优雅的特征工程和模型训练工作，包括数据初貌、关键技术、并行处理、流水线处理等。

关键观点3: 并行处理

并行处理使得多个特征处理工作能够并行进行，根据对特征矩阵的读取方式不同，可分为整体并行处理和部分并行处理。

关键观点4:

流水线处理是将多个特征处理工作和模型训练工作组合成一个工作，上一个工作的输出作为下一个工作的输入。

关键观点5:

网格搜索是自动化调参的常见技术之一，通过GridSearchCV类进行自动化调参，可以省去人工调参的烦恼。

关键观点6:

训练好的模型可以保存在文件系统中，之后使用时无需再进行训练，直接从文件系统中加载即可。可以使用externals.joblib包的dump和load方法进行持久化和加载内存数据。