本文介绍了如何使用 pandas DataFrame 根据条件匹配多行数据并进行更新。核心思路是利用 map() 函数将条件 DataFrame 转换为映射关系，然后使用 update() 函数高效地更新目标 DataFrame 中满足条件的所有行，避免循环操作，提升数据处理效率。
在数据处理过程中，经常会遇到需要根据另一个 DataFrame 中的信息来更新目标 DataFrame 的情况，特别是当多个行满足相同的条件时。 Pandas 提供了多种方法来实现这一目标，但有些方法效率较低，例如循环。本文将介绍一种高效且避免循环的方法，即使用 map() 和 update() 函数相结合来实现批量更新。
实现方法
假设我们有两个 DataFrame，df1 和 df2。df1 中包含需要更新的列（例如 SecurityID），而 df2 包含用于更新的信息。两个 DataFrame 之间通过共同的列（例如 symbol）建立关联。
我们的目标是，对于 df1 中所有 Symbol 值与 df2 中 Symbol 值相同的行，将 df1 中 SecurityID 的值更新为 df2 中对应的 SecurityID 值。
以下是具体的实现步骤：
-
将 df2 转换为映射关系:
首先，我们需要将 df2 转换为一个映射关系，其中 Symbol 列作为键，SecurityID 列作为值。可以使用 set_index() 函数将 Symbol 列设置为索引，然后选择 SecurityID 列，从而创建一个 Series 对象，该对象本质上就是一个字典。
mapping = df2.set_index('Symbol')['SecurityID'] -
使用 map() 函数进行映射:
接下来，使用 df1 的 Symbol 列的 map() 函数，将 df1 中的 Symbol 值映射到 mapping 中对应的 SecurityID 值。
df1['SecurityID'].update(df1['Symbol'].map(mapping))
map() 函数会将 df1[‘Symbol’] 中的每个值作为键，在 mapping 中查找对应的值，并将结果返回。
-
使用 update() 函数更新 df1:
最后，我们使用 update() 函数将 df1 中 SecurityID 列的值更新为 map() 函数返回的结果。
完整代码示例
import pandas as pd # 示例数据 data1 = {'Symbol': ['UGE', 'UGE', 'UGE', 'UGE', 'UGE', 'UGE'], 'SecurityID': [None, None, None, None, None, None]} df1 = pd.DataFrame(data1) data2 = {'Symbol': ['UGE'], 'SecurityID': [128901]} df2 = pd.DataFrame(data2) # 将 df2 转换为映射关系 mapping = df2.set_index('Symbol')['SecurityID'] # 使用 map() 和 update() 函数更新 df1 df1['SecurityID'].update(df1['Symbol'].map(mapping)) # 打印结果 print(df1)
注意事项
- 确保 df1 和 df2 中用于关联的列（例如 Symbol）的数据类型一致。
- 如果 df2 中存在多个 Symbol 值相同的行，map() 函数只会返回第一个匹配到的 SecurityID 值。 如果需要更复杂的匹配逻辑，可能需要使用其他方法。
- update() 函数会直接修改 df1，因此在执行此操作之前，最好备份 df1。
总结
通过 map() 函数将条件 DataFrame 转换为映射关系，然后使用 update() 函数可以高效地更新目标 DataFrame 中满足条件的所有行，避免了循环操作，显著提升了数据处理效率。 这种方法适用于需要根据另一个 DataFrame 中的信息批量更新目标 DataFrame 的情况。
