一，函数
class sklearn.feature_selection.SelectFromModel(estimator,
*, threshold=None, prefit=False, norm_order=1,
max_features=None)[source]
元变压器，用于根据重要性权重选择特征。
二，参数说明
Parameters
----------
estimator: object
用来构建变压器的基本估算器。
既可以是拟合的（如果prefit设置为True），也可以是不拟合的估计量。
拟合后，估算器必须具有 feature_importances_或coef_属性。
threshold: str, float, optional default None
用于特征选择的阈值。
保留重要性更高或相等的要素，而其他要素则被丢弃。
如果为“中位数”（分别为“平均值”），
则该threshold值为要素重要性的中位数（分别为平均值）。
也可以使用缩放因子（例如，“ 1.25 *平均值”）。
如果为None且估计器的参数惩罚显式或隐式设置为l1（例如Lasso），
则使用的阈值为1e-5。
否则，默认使用“均值”。
prefit: bool, default False
预设模型是否期望直接传递给构造函数。
如果为True，transform必须直接调用和
SelectFromModel不能使用cross_val_score， GridSearchCV而且克隆估计类似的实用程序。
否则，使用训练模型fit，然后transform进行特征选择。
norm_order: 非零 int, inf, -inf, default 1
在估算器threshold的coef_属性为维度2 的情况下，
用于过滤以下系数矢量的范数的顺序 。
max_features：int or None, optional
要选择的最大功能数。
若要仅基于选择max_features，请设置threshold=-np.inf。
Attributes
----------
estimator_：一个估算器
用来建立变压器的基本估计器。
只有当一个不适合的估计器传递给SelectFromModel时，
才会存储这个值，即当prefit为False时。
threshold_：float
用于特征选择的阈值。
笔记
- 如果基础估计量也可以输入，则允许NaN / Inf。
三，方法
'fit(self, X[, y])'
训练SelectFromModel元变压器。
'fit_transform(self, X[, y])'
训练元变压器，然后对X进行转换。
'get_params(self[, deep])'
获取此估计量的参数。
'get_support(self[, indices])'
获取所选特征的掩码或整数索引
'inverse_transform(self, X)'
反向转换操作
'partial_fit(self, X[, y])'
仅将SelectFromModel元变压器训练一次。
'set_params(self, \*\*params)'
设置此估算器的参数。
'transform(self, X)'
将X缩小为选定的特征。
四，示例
>>> X = [[ 0.87, -1.34, 0.31 ],
... [-2.79, -0.02, -0.85 ],
... [-1.34, -0.48, -2.55 ],
... [ 1.92, 1.48, 0.65 ]]
>>> y = [0, 1, 0, 1]
>>> from sklearn.feature_selection import SelectFromModel
>>> from sklearn.linear_model import LogisticRegression
>>> selector = SelectFromModel(estimator=LogisticRegression()).fit(X, y)
>>> selector.estimator_.coef_
array([[-0.3252302 , 0.83462377, 0.49750423]])
>>> selector.threshold_
0.55245...
>>> selector.get_support()
array([False, True, False])
选择了X的第二个特征
>>> selector.transform(X)
array([[-1.34],
[-0.02],
[-0.48],
[ 1.48]])
五，使用SelectFromModel和LassoCV选择特征
使用SelectFromModel meta-transformer和Lasso可以从糖尿病数据集中选择最佳的几个特征。
由于L1规范促进了特征的稀疏性，我们可能只对从数据集中选择最有趣特征的子集感兴趣。此示例说明如何从糖尿病数据集中选择两个最有趣的功能。
糖尿病数据集由从442名糖尿病患者中收集的10个变量（特征）组成。此示例显示了如何使用SelectFromModel和LassoCv查找预测从基线开始一年后疾病进展的最佳两个功能。
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import load_diabetes
from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LassoCV
加载数据
首先，让我们加载sklearn中可用的糖尿病数据集。然后，我们将看看为糖尿病患者收集了哪些功能：
diabetes = load_diabetes()
X = diabetes.data
y = diabetes.target
feature_names = diabetes.feature_names
print(feature_names)
>>>['age', 'sex', 'bmi', 'bp', 's1', 's2', 's3', 's4', 's5', 's6']
已知，有10个特征
X.shape
>>>(442, 10)
查找特征的importance
为了确定功能的重要性，我们将使用LassoCV估计器。具有最高绝对值的特征coef_被认为是最重要的
clf = LassoCV().fit(X, y)
importance = np.abs(clf.coef_)
print(importance)
>>>[ 6.49684455 235.99640534 521.73854261 321.06689245 569.4426838
302.45627915 0. 143.6995665 669.92633112 66.83430445]
从具有最高分数的模型特征中进行选择
现在，我们要选择最重要的两个功能。
SelectFromModel（）允许设置阈值。仅coef_保留高于阈值的要素。在这里，我们希望将阈值设置为略高于coef_LassoCV（）根据数据计算出的第三高阈值。
idx_third = importance.argsort()[-3]
threshold = importance[idx_third] + 0.01
idx_features = (-importance).argsort()[:2]
name_features = np.array(feature_names)[idx_features]
print('Selected features: {}'.format(name_features))
>>>Selected features: ['s5' 's1']
进行特征选择
从中提取出了‘s5’和‘s1’两个特征
sfm = SelectFromModel(clf, threshold=threshold)
sfm.fit(X, y)
X_transform = sfm.transform(X)
X_transform.shape
>>>(442, 2)
画出两个最重要的特征
最后，我们将绘制从数据中选择的两个特征。
plt.title(
"Features from diabets using SelectFromModel with "
"threshold %0.3f." % sfm.threshold)
feature1 = X_transform[:, 0]
feature2 = X_transform[:, 1]
plt.plot(feature1, feature2, 'r.')
plt.xlabel("First feature: {}".format(name_features[0]))
plt.ylabel("Second feature: {}".format(name_features[1]))
plt.ylim([np.min(feature2), np.max(feature2)])
plt.show()
转载：https://blog.csdn.net/weixin_46072771/article/details/106190351
查看评论