本文介绍了如何基于包含多个NaN值的DataFrame，根据特定规则生成ID列，并利用该ID列，结合原始DataFrame的不同列，分别构建新的DataFrame。核心思路是利用某一列的非NaN值来确定ID，然后根据ID和目标列筛选数据，生成所需的新DataFrame。
问题背景
在数据处理过程中，我们经常会遇到包含缺失值（NaN）的DataFrame。有时，我们需要根据DataFrame中的某一列的非NaN值来生成一个ID，然后基于这个ID，将DataFrame拆分成多个只包含特定列的DataFrame。例如，假设我们有一个包含a、b、c三列的DataFrame，其中包含一些NaN值。我们希望基于a列的非NaN值来生成ID，然后分别生成包含id和a列、id和b列、id和c列的三个新的DataFrame，且新的DataFrame不包含NaN值。
解决方案
解决这个问题的关键在于如何根据a列的非NaN值生成ID。我们可以使用pandas库中的notna()和cumsum()函数来实现。notna()函数会返回一个布尔型的Series，表示DataFrame中每个值是否为非NaN值。cumsum()函数会返回一个累加和的Series。将这两个函数结合起来，就可以根据a列的非NaN值生成ID。
具体步骤如下：
-
创建示例DataFrame:
import pandas as pd import numpy as np df = pd.DataFrame({'a':[10, np.nan, np.nan, 22, np.nan], 'b':[23, 12, 7, 4, np.nan], 'c':[13, np.nan, np.nan, np.nan, 65]}) print(df)输出：
a b c 0 10.0 23.0 13.0 1 NaN 12.0 NaN 2 NaN 7.0 NaN 3 22.0 4.0 NaN 4 NaN NaN 65.0
-
生成ID列:
df['id'] = df['a'].notna().cumsum() print(df)
输出：
a b c id 0 10.0 23.0 13.0 1 1 NaN 12.0 NaN 1 2 NaN 7.0 NaN 1 3 22.0 4.0 NaN 2 4 NaN NaN 65.0 2
这里，df[‘a’].notna() 会生成 [True, False, False, True, False]， cumsum() 会将 True 视为 1，False 视为 0，然后进行累加，最终得到ID列。
-
创建新的DataFrame:
df_a = df[['id','a']].dropna() df_b = df[['id','b']].dropna() df_c = df[['id','c']].dropna() print("df_a:n", df_a) print("df_b:n", df_b) print("df_c:n", df_c)输出：
df_a: id a 0 1 10.0 3 2 22.0 df_b: id b 0 1 23.0 1 1 12.0 2 1 7.0 3 2 4.0 df_c: id c 0 1 13.0 4 2 65.0
dropna()函数会删除包含NaN值的行。
-
重置索引（可选）:
如果需要，可以使用reset_index()函数来重置索引：
df_a = df[['id','a']].dropna().reset_index(drop=True) print("df_a with reset index:n", df_a)输出：
df_a with reset index: id a 0 1 10.0 1 2 22.0
drop=True参数表示删除旧的索引。
总结
通过以上步骤，我们可以根据DataFrame中某一列的非NaN值生成ID，并基于这个ID，将DataFrame拆分成多个只包含特定列的DataFrame。这种方法可以有效地处理包含缺失值的数据，并为后续的数据分析和建模提供便利。
注意事项：
- 上述方法依赖于a列的非NaN值来生成ID。如果需要根据其他列的非NaN值来生成ID，只需将代码中的df[‘a’]替换为相应的列即可。
- 如果DataFrame中存在多个连续的NaN值，则生成的ID可能会出现跳跃。例如，如果a列中存在三个连续的NaN值，则生成的ID可能会从1跳到4。
- reset_index(drop=True) 是可选的，取决于你是否需要重新设置索引。 如果需要保留旧索引，则不要使用 drop=True。
