使用 Pandas 合并 Excel 数据并添加状态列-小浪学习网

使用 Pandas 合并 Excel 数据并添加状态列

本文档旨在指导您如何使用 pandas 库合并两个 excel 文件的数据，并基于指定列的比较结果，自动添加一个 “Status” 列，标识数据是否匹配。我们将通过一个完整的示例代码，详细解释每一步骤，并提供注意事项，帮助您轻松完成数据比对和状态标记任务。

1. 环境准备

首先，确保您已安装 Pandas 库。如果没有，可以使用 pip 进行安装：

pip install pandas

2. 代码实现

以下是一个完整的 python 脚本，用于实现 Excel 数据的合并、比较和状态标记：

import pandas as pd  class ExcelComparator:     def __init__(self, src_file_name, src_sheet_name, src_pk, src_cols_to_compare, tgt_cols_to_compare, tgt_file_name,                  tgt_sheet_name, tgt_pk, target_excel):         self.src_file_name = src_file_name         self.src_sheet_name = src_sheet_name         self.src_pk = src_pk         self.src_cols_to_compare = src_cols_to_compare         self.tgt_cols_to_compare = tgt_cols_to_compare         self.tgt_file_name = tgt_file_name         self.tgt_sheet_name = tgt_sheet_name         self.tgt_pk = tgt_pk         self.target_excel = target_excel      def highlight_cells(self, row):         styles = [''] * len(row)         pk_cols = [col for col in row.index if col in [self.src_pk, self.tgt_pk]]          for i, col in enumerate(row.index):             if i % 2 == 0 and col not in pk_cols:                 src_col = col                 tgt_col = row.index[i - 1]  # Adjusted to get the previous column                  if row[src_col] == row[tgt_col]:                     styles[i], styles[i - 1] = 'background-color:lightgreen', 'background-color:lightgreen'                 elif pd.isnull(row[src_col]) or pd.isnull(row[tgt_col]):                     styles[i], styles[i - 1] = 'background-color:yellow', 'background-color:yellow'                 else:                     styles[i], styles[i - 1] = 'background-color:lightcoral', 'background-color:lightcoral'          return styles      def calculate_status(self, row):         for i in range(len(row.index) - 1, 0, -2):             src_col = row.index[i]             tgt_col = row.index[i - 1]              if row[src_col] != row[tgt_col]:                 return 'Fail'          return 'Pass'      def read_and_compare(self):         src_df = pd.read_excel(self.src_file_name, sheet_name=self.src_sheet_name)         tgt_df = pd.read_excel(self.tgt_file_name, sheet_name=self.tgt_sheet_name)          result = src_df.merge(tgt_df, how='inner', left_on=self.src_pk, right_on=self.tgt_pk)         result_columns = [self.src_pk] + [col for pair in zip(self.src_cols_to_compare, self.tgt_cols_to_compare) for col                                          in pair]          result = result[result_columns]         result['Status'] = result.apply(self.calculate_status, axis=1)          result.style.apply(self.highlight_cells, axis=1).to_excel(self.target_excel)   # Example usage comparator = ExcelComparator(     src_file_name='source.xlsx',     src_sheet_name='Sheet1',     src_pk='ID',     src_cols_to_compare=['Name', 'Salary'],     tgt_cols_to_compare=['FirstName', 'Sal'],     tgt_file_name='target.xlsx',     tgt_sheet_name='Sheet1',     tgt_pk='EMP_ID',     target_excel='result.xlsx' )  comparator.read_and_compare()

3. 代码详解

该代码主要分为以下几个部分：

ExcelComparator 类： 封装了所有操作，方便复用。
- __init__ 方法： 初始化类的各种参数，包括源文件、目标文件、主键列、需要比较的列等。
- highlight_cells 方法： 根据比较结果，对单元格进行颜色标记。绿色表示匹配，黄色表示空值，红色表示不匹配。
- calculate_status 方法： 遍历每一行，比较指定的列，如果所有列都匹配，则状态为 “Pass”，否则为 “Fail”。
- read_and_compare 方法： 读取源文件和目标文件，根据主键进行合并，选择需要的列，计算状态，并将结果写入到目标 Excel 文件。
示例用法： 创建 ExcelComparator 对象，并调用 read_and_compare 方法。

关键步骤解释：

读取 Excel 文件： 使用 pd.read_excel() 函数读取源文件和目标文件。
合并数据： 使用 pd.merge() 函数，根据主键列将两个 DataFrame 合并。 how=’inner’ 表示只保留两个 DataFrame 中都存在的键。
选择列： 根据 result_columns 列表，选择需要的列。
计算状态： 使用 apply() 函数，对每一行调用 calculate_status 方法，计算状态，并将结果添加到新的 “Status” 列。
颜色标记： 使用 style.apply() 函数，对单元格进行颜色标记。
写入 Excel 文件： 使用 to_excel() 函数，将结果写入到目标 Excel 文件。