Pandas DataFrame：根据条件批量更新多行数据

本文介绍了如何使用 pandas DataFrame 根据条件批量更新多行数据，避免循环操作，提高代码效率。核心思路是利用 map() 函数和 update() 函数，将第二个 DataFrame 转换为映射关系，然后根据第一个 DataFrame 的 symbol 列进行匹配，批量更新 SecurityID 列。

批量更新 DataFrame 中匹配条件的行

在数据处理过程中，经常会遇到需要根据一个 DataFrame 的信息，批量更新另一个 DataFrame 中符合特定条件的行。例如，我们有两个 DataFrame，df1 和 df2，其中 df1 包含 Symbol 和 SecurityID 列，df2 包含 Symbol 和对应的 SecurityID。我们需要根据 df2 中的 Symbol 和 SecurityID 的对应关系，更新 df1 中所有 Symbol 相同的行的 SecurityID。

以下是一种高效的方法，无需循环即可实现此目的：

1. 准备数据

首先，创建两个示例 DataFrame：

import pandas as pd  # DataFrame 1 data1 = {'Symbol': ['UGE', 'UGE', 'UGE', 'UGE', 'UGE', 'UGE'],          'SecurityID': [None, None, None, None, None, None]} df1 = pd.DataFrame(data1)  # DataFrame 2 data2 = {'Symbol': ['UGE'],          'SecurityID': [128901]} df2 = pd.DataFrame(data2)

2. 使用 map() 和 update() 函数

核心代码如下：

df1['SecurityID'].update(df1['Symbol'].map(df2.set_index('Symbol')['SecurityID']))

这行代码分两步完成：

• df2.set_index(‘Symbol’)[‘SecurityID’]: 这部分代码将 df2 的 Symbol 列设置为索引，然后选择 SecurityID 列，从而创建一个 Series，其中 Symbol 作为索引，SecurityID 作为值。本质上创建了一个从 Symbol 到 SecurityID 的映射。
• df1[‘Symbol’].map(…): 这部分代码使用 df1 的 Symbol 列，利用 map() 函数，将每个 Symbol 映射到其对应的 SecurityID。如果 Symbol 在 df2 中不存在，则映射结果为 NaN。
• df1[‘SecurityID’].update(…): 最后，使用 update() 函数，将 df1 的 SecurityID 列中，与映射结果对应位置的值进行更新。

3. 验证结果

执行完上述代码后，df1 将被更新，所有 Symbol 为 ‘UGE’ 的行的 SecurityID 都将变为 128901。

print(df1)

输出结果：

  Symbol  SecurityID 0    UGE    128901.0 1    UGE    128901.0 2    UGE    128901.0 3    UGE    128901.0 4    UGE    128901.0 5    UGE    128901.0

完整代码示例：

import pandas as pd  # DataFrame 1 data1 = {'Symbol': ['UGE', 'UGE', 'UGE', 'UGE', 'UGE', 'UGE'],          'SecurityID': [None, None, None, None, None, None]} df1 = pd.DataFrame(data1)  # DataFrame 2 data2 = {'Symbol': ['UGE'],          'SecurityID': [128901]} df2 = pd.DataFrame(data2)  # 更新 df1 的 SecurityID df1['SecurityID'].update(df1['Symbol'].map(df2.set_index('Symbol')['SecurityID']))  print(df1)

注意事项：

• 确保 df2 中的 Symbol 列是唯一的，否则 set_index() 会抛出异常。 如果不唯一，需要根据实际情况进行处理，例如选择第一个值或进行聚合。
• 如果 df1 中的 Symbol 在 df2 中不存在，则对应的 SecurityID 将被更新为 NaN。 可以使用 fillna() 函数处理这些 NaN 值。
• update() 函数会直接修改 df1，如果需要保留原始 df1，请先进行复制。

总结：

使用 map() 和 update() 函数可以高效地批量更新 Pandas DataFrame 中匹配条件的行，避免了循环操作，提高了代码的执行效率。 这种方法在处理大型数据集时尤为重要。 理解并掌握这种方法，可以提升数据处理的效率和代码的可读性。