本文介绍了如何使用 pandas 和 scipy 库对 Pandas DataFrame 中的多个列同时进行 t 检验。通过示例代码，详细展示了如何针对特定分组进行 t 检验，并提供了将方法推广到更多分组的解决方案。此外，还提醒了在进行多重比较时需要注意的问题，以及如何处理多重检验问题。
使用 Pandas 和 SciPy 进行多列 T 检验
T 检验是一种常用的统计方法，用于比较两组数据的均值是否存在显著差异。在数据分析中，我们经常需要对 DataFrame 中的多个列进行 t 检验，以评估不同类别变量对数值型变量的影响。本文将介绍如何使用 Pandas 和 SciPy 库高效地实现这一目标。
单个 T 检验
首先，我们创建一个示例 DataFrame：
import pandas as pd from scipy.stats import ttest_ind data = {'Product': ['laptop', 'printer','printer','printer','laptop','printer','laptop','laptop','printer','printer'], 'Purchase_cost': [120.09, 150.45, 300.12, 450.11, 200.55,175.89,124.12,113.12,143.33,375.65], 'Warranty_years':[3,2,2,1,4,1,2,3,1,2], 'service_cost': [5,5,10,4,7,10,4,6,12,3] } df = pd.DataFrame(data) print(df)
假设我们想比较 Product 为 ‘laptop’ 和 ‘printer’ 的两组数据在 Purchase_cost 上的差异。我们可以使用以下代码：
#define samples group1 = df[df['Product']=='laptop'] group2 = df[df['Product']=='printer'] #perform independent two sample t-test ttest_ind(group1['Purchase_cost'], group2['Purchase_cost'])
这段代码首先根据 Product 列的值将 DataFrame 分为两组，然后使用 scipy.stats.ttest_ind 函数对两组数据的 Purchase_cost 列进行独立样本 t 检验。
同时对多列进行 T 检验
如果我们需要同时对多个列（例如 Purchase_cost、Warranty_years 和 service_cost）进行 t 检验，可以使用以下代码：
cols = df.columns.difference(['Product']) # or with an explicit list # cols = ['Purchase_cost', 'Warranty_years', 'service_cost'] group1 = df[df['Product']=='laptop'] group2 = df[df['Product']=='printer'] out = pd.DataFrame(ttest_ind(group1[cols], group2[cols]), columns=cols, index=['statistic', 'pvalue']) print(out)
这段代码首先获取需要进行 t 检验的列名列表 cols，然后将 DataFrame 分为两组。关键在于，ttest_ind 函数可以直接处理 2D 输入，即同时对多列数据进行 t 检验。最后，将结果存储在一个新的 DataFrame out 中，方便查看和分析。
另一种实现方式是使用字典推导式：
out = pd.DataFrame({c: ttest_ind(group1[c], group2[c]) for c in cols}, index=['statistic', 'pvalue'])
这种方式更加简洁，但可读性可能稍差。
推广到更多分组
如果 DataFrame 中包含更多不同的 Product 值，并且我们希望比较所有可能的组合，可以使用 itertools.combinations 函数：
from itertools import combinations cols = df.columns.difference(['Product']) g = df.groupby('Product')[cols] out = pd.concat({(a,b): pd.DataFrame(ttest_ind(g.get_group(a), g.get_group(b)), columns=cols, index=['statistic', 'pvalue']) for a, b in combinations(df['Product'].unique(), 2) }, names=['product1', 'product2']) print(out)
这段代码首先使用 groupby 函数按照 Product 列对 DataFrame 进行分组，然后使用 itertools.combinations 函数生成所有可能的组合。对于每一种组合，我们都进行 t 检验，并将结果存储在一个新的 DataFrame out 中。
注意事项
在进行多重比较时，需要注意多重检验问题。由于我们进行了多次 t 检验，因此出现假阳性的概率会增加。为了解决这个问题，可以采用一些多重检验校正方法，例如 Bonferroni 校正或 Benjamini-Hochberg 校正。这些校正方法可以调整 p 值，以控制假阳性率。
总结
本文介绍了如何使用 Pandas 和 SciPy 库对 Pandas DataFrame 中的多个列同时进行 t 检验。通过示例代码，详细展示了如何针对特定分组进行 t 检验，并提供了将方法推广到更多分组的解决方案。此外，还提醒了在进行多重比较时需要注意的问题。掌握这些技巧可以帮助我们更高效地进行数据分析。
