本文将介绍如何使用 pandas 和 scipy 库有效地对 DataFrame 中的多个列执行 T 检验。我们将通过示例代码，展示如何针对不同产品类别，比较其购买成本、保修年限和服务成本等指标的差异。同时，我们还将提供针对更多产品类别进行两两比较的通用方法，并提醒注意多重比较问题。
对指定列执行 T 检验
假设我们有一个包含产品信息的数据集，其中包含产品类别（Product）、购买成本（Purchase_cost）、保修年限（Warranty_years）和服务成本（service_cost）等列。我们的目标是比较不同产品类别在这些指标上的差异，例如，比较 laptop 和 printer 在购买成本、保修年限和服务成本上的差异。
首先，导入必要的库并创建 DataFrame：
import pandas as pd from scipy.stats import ttest_ind data = {'Product': ['laptop', 'printer','printer','printer','laptop','printer','laptop','laptop','printer','printer'], 'Purchase_cost': [120.09, 150.45, 300.12, 450.11, 200.55,175.89,124.12,113.12,143.33,375.65], 'Warranty_years':[3,2,2,1,4,1,2,3,1,2], 'service_cost': [5,5,10,4,7,10,4,6,12,3] } df = pd.DataFrame(data) print(df)
接下来，我们可以使用 ttest_ind 函数对指定列执行 T 检验。该函数可以直接处理二维数组，因此我们可以一次性对多个列进行检验。
cols = df.columns.difference(['Product']) # 或者使用明确的列名列表 # cols = ['Purchase_cost', 'Warranty_years', 'service_cost'] group1 = df[df['Product']=='laptop'] group2 = df[df['Product']=='printer'] out = pd.DataFrame(ttest_ind(group1[cols], group2[cols]), columns=cols, index=['statistic', 'pvalue']) print(out)
这段代码首先定义了要进行 T 检验的列 cols，然后根据 Product 列将 DataFrame 分成两组 group1 和 group2，最后使用 ttest_ind 函数对两组数据的指定列进行 T 检验，并将结果存储在 DataFrame out 中。ttest_ind 返回 t 统计量和 p 值，分别表示两组数据在指定列上的差异程度和显著性水平。
对更多产品类别进行两两比较
如果数据集中包含更多产品类别，我们需要进行两两比较。可以使用 itertools.combinations 函数生成所有可能的类别组合，然后对每种组合执行 T 检验。
from itertools import combinations cols = df.columns.difference(['Product']) g = df.groupby('Product')[cols] out = pd.concat({(a,b): pd.DataFrame(ttest_ind(g.get_group(a), g.get_group(b)), columns=cols, index=['statistic', 'pvalue']) for a, b in combinations(df['Product'].unique(), 2) }, names=['product1', 'product2']) print(out)
这段代码首先使用 groupby 函数将 DataFrame 按照 Product 列进行分组，然后使用字典推导式和 combinations 函数生成所有可能的类别组合，并对每种组合执行 T 检验。最后，使用 pd.concat 函数将所有结果合并成一个 DataFrame。
注意事项
当进行多次 T 检验时，需要注意多重比较问题。由于每次 T 检验都有一定的概率出现假阳性结果，因此当进行多次检验时，出现至少一次假阳性结果的概率会显著增加。为了控制假阳性率，可以使用 Bonferroni 校正、FDR 校正等方法对 p 值进行调整。关于多重比较问题，可以参考 Multiple comparisons problem。
总结
本文介绍了如何使用 Pandas 和 SciPy 库对 DataFrame 中的多个列同时进行 T 检验。通过示例代码展示了如何针对不同产品类别，比较其购买成本、保修年限和服务成本等指标的差异，并提供了针对更多产品类别进行两两比较的通用方法。同时，提醒读者在进行多次 T 检验时，需要注意多重比较问题，并采取相应的校正方法。
