python操作csv文件核心是csv模块，读取用csv.reader，写入用csv.writer。处理特殊字符需注意：1.字段含逗号需用引号包裹；2.含引号需转义或换引号包裹；3.含换行符也需引号包裹；4.quoting参数控制引用策略，如quote_minimal、quote_all等；5.escapechar设置转义字符。编码问题需在读写时指定正确encoding，可用chardet检测编码。处理超大文件可分块读取（如pandas的chunksize）、逐行读取或使用dask并行处理。
简单来说，python操作csv文件，主要就是用csv模块读写。特殊字符处理就得看具体情况，编码问题、分隔符问题、转义字符等等，一个个解决。
读写CSV文件，Python提供了多种方法，但核心还是csv模块。
使用csv模块读取CSV文件
读取CSV，最常用的就是csv.reader。它会把每一行数据解析成一个列表。
立即学习“Python免费学习笔记（深入）”；
import csv with open('your_file.csv', 'r', encoding='utf-8') as file: reader = csv.reader(file) for row in reader: print(row)
这里encoding=’utf-8’很重要，特别是处理中文CSV文件时。如果文件编码不是UTF-8，就要改成对应的编码，比如gbk。 如果你的CSV文件特别大，可以考虑逐行读取，减少内存占用。
使用csv模块写入CSV文件
写入CSV文件，可以使用csv.writer。
import csv data = [['Name', 'Age', 'City'], ['Alice', '25', 'New York'], ['Bob', '30', 'London']] with open('output.csv', 'w', encoding='utf-8', newline='') as file: writer = csv.writer(file) writer.writerows(data)
newline=”是为了避免在windows系统下出现空行。 写入模式’w’会覆盖原有文件，如果想追加内容，改成’a’。
如何处理CSV文件中的特殊字符？
CSV文件里的特殊字符，真是个麻烦事。常见的有：
- 逗号： 作为字段分隔符，如果字段内容本身包含逗号，就需要用引号包裹。
- 引号： 如果字段内容包含引号，需要转义，或者用另一种引号包裹。
- 换行符： 如果字段内容包含换行符，也需要用引号包裹。
csv模块提供了quoting参数来处理这些情况。
import csv data = [['Name', 'Description'], ['Alice', 'A, very nice person'], ['Bob', 'He said, "Hello!"']] with open('output.csv', 'w', encoding='utf-8', newline='') as file: writer = csv.writer(file, quoting=csv.QUOTE_MINIMAL) # 或者 csv.QUOTE_ALL, csv.QUOTE_NONNUMERIC, csv.QUOTE_NONE writer.writerows(data)
quoting参数有几个选项：
- csv.QUOTE_MINIMAL：只在必要时引用字段（比如包含分隔符、引号）。
- csv.QUOTE_ALL：引用所有字段。
- csv.QUOTE_NONNUMERIC：引用所有非数字字段。
- csv.QUOTE_NONE：不引用任何字段。
选择哪个，取决于你的CSV文件的具体情况。 escapechar参数可以指定转义字符，默认是None。如果你的CSV文件使用了自定义的转义字符，就要设置一下。
如何使用pandas库操作CSV文件？
pandas库是数据分析的瑞士军刀，操作CSV文件简直不要太方便。
import pandas as pd # 读取CSV文件 df = pd.read_csv('your_file.csv', encoding='utf-8') print(df.head()) # 写入CSV文件 df.to_csv('output.csv', encoding='utf-8', index=False)
pandas的read_csv函数有很多参数，可以处理各种复杂的CSV文件。比如，指定分隔符、跳过行、指定列名等等。 index=False是为了不把DataFrame的索引写入CSV文件。
如何处理CSV文件中的编码问题？
编码问题是CSV文件操作的常见坑。
- 读取时： 确保open()函数和pd.read_csv()函数的encoding参数与CSV文件的编码一致。
- 写入时： 同样要指定正确的编码。
- 检测编码： 如果不知道CSV文件的编码，可以用chardet库检测。
import chardet with open('your_file.csv', 'rb') as file: result = chardet.detect(file.read()) print(result['encoding'])
chardet不一定100%准确，但大多数情况下都能给出正确的编码。 如果CSV文件编码混乱，可能需要先用文本编辑器转换编码，再用Python处理。
如何处理超大型CSV文件？
如果CSV文件太大，一次性加载到内存可能会导致程序崩溃。这时，可以考虑：
- 分块读取： 使用pandas的chunksize参数分块读取。
import pandas as pd for chunk in pd.read_csv('large_file.csv', encoding='utf-8', chunksize=10000): # 处理每个chunk print(chunk.head())
- 逐行读取： 使用csv.reader逐行读取，减少内存占用。
- 使用Dask： Dask是一个并行计算库，可以处理大型数据集。
import dask.dataframe as dd df = dd.read_csv('large_file.csv', encoding='utf-8') # 进行并行计算 print(df.head())
选择哪种方法，取决于你的具体需求和硬件条件。 如果只是简单地过滤数据，逐行读取可能就够了。如果需要进行复杂的数据分析，Dask可能更适合。
