AutoML问题构成?

特征选择
模型选择
算法选择

特征工程选择思路？

有监督的特征选择
- 基于模型，lr的系数，树模型的importance等等
- 基于选择，前项后项选择
无监督的特征选择
- 基于统计信息的，熵、相关性、KL系数
- 基于方差，因子分解，PCA主成分分享，方差系数

模型相关的选择思路?

模型选择
- 各自模型的优劣势，线性非线性，低阶特征/高阶特征交互，场景选择
参数选择
- grid_search
- random_search
- ...

常见优化算法思路？

SGD
GD
L-BFGS
FTRL

AutoML参数选择所使用的方法？

暴力搜索
- grid_search
- random_search
拟合搜索
- 贝叶斯优化
其他方法
- Meta学习
- 转移学习

讲讲贝叶斯优化如何在automl上应用？

目的：通过拟合参数和模型能力之间的关系：模型能力=f(超参数)，找到最合适的超参数
步骤：
- 随机选取几个超参数进行f拟合，得到先验数据集合D
- 根据先验数据D得到模型M
- 根据模型M得到预测出一些较优超参数，并把该超参数对于的f结果加入原始数据集合D
- 循环2-3两步直至达到条件
问题：
- 稳定性：同一组超参数的预测结果在不同轮次不一致
- f函数需要多次计算，资源耗费时间损失
- 难以确定比较通用的拟合模型f
手记：

以高斯过程为例，超参搜索的f的最优解求解acquisition function有哪些？

随机生成若干超参点，更新gp模型
根据gp模型选取最优推荐值
推荐值附近随机生成点，根据cquisition function选取附近点极值点，acquisition function通常：
- 基于GP-UCB的最大置信上界
  - 基于均值和方差的平衡结果
- Thompson Sampling
- EI(期望提升)
重复以上步骤