本文介绍了如何使用 pandas 和 scipy 库对 DataFrame 中的多个列同时执行独立样本 T 检验。通过示例代码演示了如何针对特定分组进行 T 检验，以及如何将该方法推广到更多分组情况，并提供了处理多重比较问题的建议。
对 Pandas DataFrame 的多个列执行 T 检验
在数据分析中，T 检验是一种常用的统计方法，用于比较两组样本均值是否存在显著差异。 当需要对 Pandas DataFrame 中的多个列进行 T 检验时，可以利用 SciPy 库的 ttest_ind 函数结合 Pandas 的数据处理能力来实现。
示例：对特定分组执行 T 检验
假设我们有一个包含产品类型（Product）、购买成本（Purchase_cost）、保修年限（Warranty_years）和服务成本（service_cost）的 DataFrame。 我们希望比较不同产品类型（例如 laptop 和 printer）在购买成本、保修年限和服务成本上的差异。
首先，导入必要的库并创建 DataFrame：
import pandas as pd from scipy.stats import ttest_ind data = {'Product': ['laptop', 'printer','printer','printer','laptop','printer','laptop','laptop','printer','printer'], 'Purchase_cost': [120.09, 150.45, 300.12, 450.11, 200.55,175.89,124.12,113.12,143.33,375.65], 'Warranty_years':[3,2,2,1,4,1,2,3,1,2], 'service_cost': [5,5,10,4,7,10,4,6,12,3] } df = pd.DataFrame(data) print(df)
接下来，选择需要进行 T 检验的列，并将数据按产品类型分组：
cols = df.columns.difference(['Product']) # 或者，显式指定需要进行 T 检验的列 # cols = ['Purchase_cost', 'Warranty_years', 'service_cost'] group1 = df[df['Product']=='laptop'] group2 = df[df['Product']=='printer']
然后，使用 ttest_ind 函数对每个列执行 T 检验，并将结果存储在 DataFrame 中：
out = pd.DataFrame(ttest_ind(group1[cols], group2[cols]), columns=cols, index=['statistic', 'pvalue']) print(out)
输出结果包含每个列的 T 统计量和 p 值。
推广：对多个分组执行 T 检验
如果 DataFrame 中包含多个产品类型，并且需要比较所有可能的类型组合，可以使用 itertools.combinations 函数来生成所有组合，并对每个组合执行 T 检验。
首先，导入 itertools 库：
from itertools import combinations
然后，对 DataFrame 进行分组，并使用字典推导式对每个组合执行 T 检验：
cols = df.columns.difference(['Product']) g = df.groupby('Product')[cols] out = pd.concat({(a,b): pd.DataFrame(ttest_ind(g.get_group(a), g.get_group(b)), columns=cols, index=['statistic', 'pvalue']) for a, b in combinations(df['Product'].unique(), 2) }, names=['product1', 'product2']) print(out)
输出结果包含每个产品类型组合的 T 统计量和 p 值。
注意事项
当进行多个 T 检验时，需要注意多重比较问题。 由于每次 T 检验都有一定的概率产生假阳性结果，当进行多次 T 检验时，出现至少一次假阳性结果的概率会显著增加。 为了控制多重比较问题，可以使用 Bonferroni 校正、FDR 校正等方法来调整 p 值。
总结
本文介绍了如何使用 Pandas 和 SciPy 库对 DataFrame 中的多个列同时执行独立样本 T 检验。 通过示例代码演示了如何针对特定分组进行 T 检验，以及如何将该方法推广到更多分组情况。 在实际应用中，需要根据具体情况选择合适的 T 检验方法，并注意多重比较问题。
