Python中 pandas 数据处理常用函数与方法的详细介绍

import pandas as pd
# 读取 csv 文件
df = pd.read_csv('data.csv')
print(df.head())

import pandas as pd
# 读取 Excel 文件
df = pd.read_excel('data.xlsx')
print(df.head())

import pandas as pd
import sqlite3
# 连接 SQLite 数据库
conn = sqlite3.connect('data.db')
# 读取 SQL 数据库
df = pd.read_sql('SELECT * FROM my_table', conn)
print(df.head())
# 关闭数据库连接
conn.close()

import pandas as pd
# 写入 csv 文件
df.to_csv('output.csv', index=False)
pandas.DataFrame.to_excel(excel_writer, sheet_name='Sheet1', index=True, header=True): 将数据写入到 Excel 文件中，返回 None。其中 excel_writer 表示文件名或文件对象，sheet_name 表示要写入的工作表名，默认为 Sheet1，index 表示是否写入行索引，默认为 True，header 表示是否写入列名，默认为 True。
python
import pandas as pd
# 写入 Excel 文件
with pd.ExcelWriter('output.xlsx') as writer:
    df.to_excel(writer, sheet_name='Sheet1', index=False)

import pandas as pd
# 查看前 10 行数据
print(df.head(10))

import pandas as pd
# 查看后 10 行数据
print(df.tail(10))

import pandas as pd
# 查看 DataFrame 的基本信息
df.info()

import pandas as pd
# 查看 DataFrame 中数值型列的基本统计量
print(df.describe())

import pandas as pd
# 查看 Series 中各元素出现次数的统计结果
print(df['color'].value_counts())

import pandas as pd
# 检测 DataFrame 中哪些元素为缺失值
print(df.isnull())

import pandas as pd
# 检测 DataFrame 中哪些元素为非缺失值
print(df.notnull())

import pandas as pd
# 根据行列索引值进行定位并筛选相应的数据
df.loc[df['color'] == 'red', ['name', 'age']]

import pandas as pd
# 根据行列索引编号进行定位并筛选相应的数据
df.iloc[[0, 2, 4], [1, 3, 5]]

import pandas as pd
# 根据条件表达式对 DataFrame 进行筛选
df.query('age > 30 & name == "Alice"')

import pandas as pd
# 根据列名进行筛选
df.filter(items=['name', 'age'])
# 根据正则表达式进行筛选
df.filter(regex='[a-z]+')
# 根据通配符进行筛选
df.filter(like='name')

import pandas as pd
# 删除 DataFrame 中的缺失值
df.dropna()

import pandas as pd
# 填充 DataFrame 中的缺失值
df.fillna(0)

import pandas as pd
# 合并多个 DataFrame
df1 = pd.DataFrame({'key': ['A', 'B', 'C'], 'value': [1, 2, 3]})
df2 = pd.DataFrame({'key': ['B', 'C', 'D'], 'value': [4, 5, 6]})
pd.merge(df1, df2, how='outer', on='key')

import pandas as pd
# 基于索引进行 DataFrame 的连接操作
df1 = pd.DataFrame({'value1': [1, 2, 3], 'value2': [4, 5, 6]}, index=['A', 'B', 'C'])
df2 = pd.DataFrame({'value3': [7, 8, 9], 'value4': [10, 11, 12]}, index=['B', 'C', 'D'])
df1.join(df2, how='outer')

import pandas as pd
# 根据列名进行分组并计算均值
df.groupby('color').mean()

import pandas as pd
# 对 Series 中的元素进行映射操作
df['color'].map({'red': 'r', 'green': 'g', 'blue': 'b'})

import pandas as pd
# 对 Series 中的每个元素应用指定的函数
df['age'].apply(lambda x: x + 1)

import pandas as pd
# 对 DataFrame 的每个元素应用指定的函数
df.applymap(lambda x: str(x).upper())