利用NumPy数组在Pandas DataFrame中进行向量化查找

本文介绍了如何使用numpy数组高效地在pandas DataFrame中进行向量化查找，避免使用循环，从而显著提升数据处理速度。通过DataFrame.loc方法结合Series.to_list或Series.to_numpy，可以轻松实现基于索引的批量数据检索，并将其转换为列表或NumPy数组，满足不同场景的需求。

在数据分析和处理过程中，经常需要在Pandas DataFrame中根据一组索引查找对应的值。如果使用传统的循环方式，效率会比较低。本文将介绍如何利用NumPy数组和Pandas的向量化操作，高效地完成这个任务。

使用 DataFrame.loc 进行向量化查找

Pandas 提供了 DataFrame.loc 方法，它允许我们使用标签或布尔数组来选择数据。结合NumPy数组，我们可以一次性查找多个索引对应的值，而无需使用循环。

以下是一个示例：

import pandas as pd import numpy as np  # 创建示例 DataFrame data = {'HHt': [1, 2, 3, 4, 5, 6, 7, 8]} df = pd.DataFrame(data, index=range(2643, 2651))  # 定义 NumPy 数组，包含需要查找的索引 ex_arr = np.array([2643, 2644, 2647])  # 使用 DataFrame.loc 进行向量化查找，并转换为列表 result_list = df.loc[ex_arr, 'HHt'].to_list() print(result_list)  # 使用 DataFrame.loc 进行向量化查找，并转换为 NumPy 数组 result_array = df.loc[ex_arr, 'HHt'].to_numpy() print(result_array)

代码解释：

1. 创建 DataFrame: 首先，我们创建了一个示例 DataFrame，其中包含一个名为 ‘HHt’ 的列，索引从 2643 到 2650。
2. 定义 NumPy 数组: ex_arr 包含我们想要查找的索引值。
3. 使用 DataFrame.loc: df.loc[ex_arr, ‘HHt’] 使用 ex_arr 中的索引值，在 ‘HHt’ 列中查找对应的值。 loc 方法支持使用数组作为索引，从而实现向量化查找。
4. 转换为列表/NumPy 数组: to_list() 方法将结果转换为 python 列表，to_numpy() 方法将结果转换为 NumPy 数组。

输出结果：

[1, 2, 5] [1 2 5]

性能优势

与使用循环相比，使用 DataFrame.loc 进行向量化查找可以显著提高性能，尤其是在处理大型 DataFrame 时。这是因为 Pandas 和 NumPy 底层使用了优化的算法，能够高效地处理向量化操作。

注意事项

• 确保 ex_arr 中的索引值存在于 DataFrame 的索引中。如果索引不存在，DataFrame.loc 会抛出 KeyError 异常。
• DataFrame.loc 只能用于基于标签的索引。如果需要基于位置的索引，可以使用 DataFrame.iloc 方法。

总结

本文介绍了如何使用 NumPy 数组和 DataFrame.loc 方法在 Pandas DataFrame 中进行向量化查找。这种方法避免了使用循环，从而显著提高了数据处理效率。 通过将结果转换为列表或 NumPy 数组，可以方便地进行后续的数据分析和处理。在处理大规模数据时，建议优先考虑使用向量化操作，以获得更好的性能。