Python怎样实现数据分组统计？groupby高级用法解析

python中实现数据分组统计的核心方法是pandas库的groupby()，其核心机制为“split-apply-combine”。1. 首先使用groupby()按一个或多个列分组；2. 然后对每组应用聚合函数（如sum(), mean(), count()等）进行计算；3. 最后将结果合并成一个新的dataframe或series。通过groupby()可以实现单列分组、多列分组、多种聚合函数组合、自定义聚合函数、重置索引等操作，还能结合agg()实现多层聚合分析，配合apply()和transform()可执行更复杂的分组逻辑，如广播结果回原始数据结构、填充缺失值、计算组内排名等。掌握groupby及其相关方法能显著提升数据分析效率与灵活性。

python中实现数据分组统计，Pandas库的groupby方法无疑是核心利器。它能让你根据一个或多个列的值，将数据高效地拆分成若干组，然后对每组独立进行聚合计算，比如求和、计数、平均值等等。这就像是把一大堆散乱的数据，按照某种内在的逻辑自动分类整理好，方便我们从不同维度去洞察数据背后的规律。

解决方案

要实现数据分组统计，最直接也是最常用的方法就是利用Pandas DataFrame的groupby()方法。它通常与一个或多个聚合函数（如sum(), mean(), count(), min(), max(), std(), var(), first(), last(), nth()等）结合使用。

首先，你需要一个DataFrame：

立即学习“Python免费学习笔记（深入）”；

import pandas as pd import numpy as np  # 模拟一些销售数据 data = {     '产品': ['A', 'B', 'A', 'C', 'B', 'A', 'C', 'B', 'A'],     '区域': ['华东', '华北', '华东', '华南', '华北', '华中', '华南', '华中', '华东'],     '销售额': [100, 150, 120, 80, 130, 90, 110, 160, 105],     '销量': [10, 15, 12, 8, 13, 9, 11, 16, 10] } df = pd.DataFrame(data) print("原始数据：") print(df) print("-" * 30)  # 1. 单列分组并求和 # 统计每个产品的总销售额 product_sales = df.groupby('产品')['销售额'].sum() print("按产品统计总销售额：") print(product_sales) print("-" * 30)  # 2. 多列分组并计算平均值 # 统计每个区域、每个产品的平均销售额和平均销量 region_product_avg = df.groupby(['区域', '产品'])[['销售额', '销量']].mean() print("按区域和产品统计平均销售额及销量：") print(region_product_avg) print("-" * 30)  # 3. 使用agg()进行多种聚合操作 # 统计每个区域的销售额：总和、平均值、最大值 region_agg_sales = df.groupby('区域')['销售额'].agg(['sum', 'mean', 'max']) print("按区域统计销售额的多种指标：") print(region_agg_sales) print("-" * 30)  # 4. 使用agg()对不同列应用不同聚合函数 # 统计每个产品：销售额的总和，销量的平均值 product_custom_agg = df.groupby('产品').agg(     总销售额=('销售额', 'sum'),     平均销量=('销量', 'mean') ) print("按产品统计销售额总和与销量平均值：") print(product_custom_agg) print("-" * 30)  # 5. 分组后重置索引 # 如果想把分组键也作为普通列而不是索引，可以使用reset_index() reset_index_example = df.groupby('产品')['销售额'].sum().reset_index() print("分组后重置索引：") print(reset_index_example)

groupby()方法的强大之处在于它的灵活性。你可以根据业务需求，选择任意列作为分组键，然后对目标列应用各种聚合函数。我第一次接触groupby的时候，觉得它有点像excel里的数据透视表，但又灵活得多，尤其是在处理大数据集时，那效率简直是飞跃。

理解Pandas Groupby的“三板斧”：Split-Apply-Combine

说实话，很多人用groupby只是停留在表面，知道怎么写，但不一定理解它背后的工作机制。Pandas的groupby操作，核心思想其实是“Split-Apply-Combine”（拆分-应用-合并）这个范式。理解这个，能帮你更好地优化代码，解决更复杂的问题。

1. Split（拆分）: 这是groupby的第一步。Pandas会根据你指定的分组键（一个或多个列），将原始DataFrame逻辑上拆分成多个子DataFrame。每个子DataFrame都包含一个唯一分组键对应的所有行。这个过程是内存高效的，它通常不会真的创建很多小的DataFrame副本，而是内部维护一个指向原始数据视图的索引映射。
2. Apply（应用）: 拆分完成后，Pandas会对每个独立的子DataFrame应用一个函数。这个函数可以是内置的聚合函数（如sum(), mean()），也可以是你自定义的函数。这一步是计算的核心，比如你要求每组的平均值，就是在这里对每个子组的数据进行平均值计算。
3. Combine（合并）: 最后一步是将所有子DataFrame上应用函数得到的结果，合并成一个最终的DataFrame或Series。这个合并过程会根据分组键重新构建索引，并把聚合结果呈现出来。

掌握了“Split-Apply-Combine”这个概念，你就能更好地预判groupby的行为，也能在遇到性能瓶颈时，知道从哪个环节去优化。比如，如果你的apply步骤非常耗时，那可能需要考虑用矢量化操作替代，或者寻找Pandas内置的更优解。有时候，我们可能不自觉地写出一些看似合理但效率低下的groupby操作，比如对每一组都用apply去跑一个复杂的自定义函数，这时候就得停下来想想，有没有更Pandasic的办法。

高级聚合与多层索引：解锁复杂分析场景

在实际工作中，数据分析的需求往往比简单求和复杂得多。groupby结合agg()方法，可以轻松应对多列分组和多层聚合的场景，甚至还能自定义聚合函数名，让结果更清晰。

当我们需要同时对多个列进行分组，或者对同一列进行多种聚合操作时，agg()方法就显得尤为重要了。

# 模拟更复杂的销售数据，加入日期 df_complex = pd.DataFrame({     '日期': pd.to_datetime(['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02', '2023-01-03', '2023-01-03']),     '产品': ['A', 'B', 'A', 'C', 'B', 'A'],     '区域': ['华东', '华北', '华东', '华南', '华北', '华东'],     '销售额': [100, 150, 120, 80, 130, 90],     '成本': [50, 70, 60, 40, 65, 45] }) print("n复杂原始数据：") print(df_complex) print("-" * 30)  # 1. 多列分组，对不同列应用不同聚合函数，并自定义输出列名 # 统计每天每个区域：总销售额，平均成本，以及销售额的最高值和最低值 daily_region_stats = df_complex.groupby(['日期', '区域']).agg(     总销售额=('销售额', 'sum'),     平均成本=('成本', 'mean'),     销售额最大值=('销售额', 'max'),     销售额最小值=('销售额', 'min') ) print("每天每区域的销售统计：") print(daily_region_stats) print("-" * 30)  # 2. 对同一列应用多个聚合函数，并使用多层列索引 # 统计每个产品的销售额：总和、平均值、标准差 product_multi_agg = df_complex.groupby('产品')['销售额'].agg(['sum', 'mean', 'std']) print("每个产品的销售额多指标统计：") print(product_multi_agg) print("-" * 30)  # 3. 如果需要更复杂的自定义聚合，可以传入lambda函数 # 统计每个区域的销售额，并计算一个自定义的“销售额波动范围”（最大值-最小值） region_custom_range = df_complex.groupby('区域')['销售额'].agg(     总销售额='sum',     销售额波动范围=lambda x: x.max() - x.min() ) print("每个区域的销售额波动范围：") print(region_custom_range)

通过agg()，我们可以构建出非常精细的聚合报表。我记得有次做用户行为分析，需要同时按用户ID和行为类型来统计不同时段的操作次数，groupby([‘user_id’, ‘action_type’]).count()就完美解决了，那种感觉就像是找到了数据里的“密码”。而当需要更深入的分析，比如计算每个用户每次会话的平均时长，或者特定行为的转化率时，agg配合自定义函数就显得尤为灵活了。

apply()与transform()：突破简单聚合的界限

groupby的强大不仅仅体现在简单的聚合上，它还提供了apply()和transform()这两个高级方法，它们能让你在分组数据上执行更复杂、更灵活的操作，甚至可以将结果“广播”回原始DataFrame的形状。

1. apply()：自由度最高的“瑞士军刀”apply()方法会将每个分组作为一个独立的DataFrame（或Series）传递给你定义的函数。这意味着你可以在每个组内执行几乎任何Pandas操作，包括排序、筛选、合并、复杂的计算等等。它的返回值可以是Series、DataFrame，甚至是标量。

   # 查找每个区域销售额最高的两条记录 def top_n_sales(group, n=2):     return group.sort_values(by='销售额', ascending=False).head(n)  top_sales_per_region = df_complex.groupby('区域').apply(top_n_sales) print("n每个区域销售额最高的两条记录：") print(top_sales_per_region) print("-" * 30)

   但apply也有它的“陷阱”，比如性能问题，如果你的函数能被矢量化操作替代，那最好不要用apply。它在处理大数据量时可能会比较慢，因为它需要迭代每个组并调用Python函数。

2. transform()：结果形状不变的“广播器”transform()方法也对每个分组应用一个函数，但它的关键特性是：它返回的结果必须与原始分组的形状（行数）相同，并且会自动将结果对齐回原始DataFrame的索引。这使得它非常适合用于在组内进行数据标准化、填充缺失值、计算组内排名等操作，而不会改变原始DataFrame的结构。

   # 计算每个产品的销售额占该产品总销售额的比例 df_complex['销售额占比'] = df_complex.groupby('产品')['销售额'].transform(lambda x: x / x.sum()) print("添加销售额占比列：") print(df_complex) print("-" * 30)  # 填充每个区域的缺失销售额为该区域的平均销售额（假设有缺失值） df_with_nan = df_complex.copy() df_with_nan.loc[0, '销售额'] = np.nan df_with_nan.loc[4, '销售额'] = np.nan  # 使用transform填充缺失值 df_with_nan['销售额_填充'] = df_with_nan.groupby('区域')['销售额'].transform(lambda x: x.fillna(x.mean())) print("n填充缺失销售额后的数据：") print(df_with_nan)

   transform则需要特别注意它的返回结果必须和输入组的行数一致，否则会报错。它的优点是性能通常比apply好，因为它更倾向于使用Pandas的内部优化。

掌握apply和transform，意味着你不再局限于简单的聚合，可以进行更细粒度的组内操作，并将结果无缝集成回原始数据结构中。它们是处理复杂分组逻辑，尤其是需要返回与原始数据等长结果时的强大工具。