Python数据处理工具

array(list,dtype=) # 将输入的序列类型转换为ndarray,如果不指定类型则自动判断
arange(num) # 返回一个等差数列

eye()  identity() #生成与给定形状一样的全1数组

ones() #生成与给定形状一样的全1数组
zeros() #生成与给定形状一样的全0数组
empty() #生成与给定形状一样的空数组
full(size,num) #根据给定形状和数据类型生成数值一样的数组
#以上的函数可以加_like 变成根据一个数组的大小来生成

reshape((x,y)) #使得一个序列进行array样式变化

# 常见的类型
int 64 #有符号的64位整数
uint64 #无符号的64位整数

float64 # 单精度浮点数。兼容c语言的float
float64 # 双精度浮点数。兼容c语言的double

comple #64位的复数

boll #布尔类型
object #对象类型
string_ #字符串类型

#方法一
arr[1][3]
#方法二
arr[1,3]

# 基础用法（bool值的数量与行数和列数一样）
data[[ True, False,True]] #读取输出date的1，3两行
data[:,[True,False]] #读取date的第一列

# 常见用法（读取符合是bob与alex名字位置对应的data行）
name=np.array(['bob','jone','bob','Alex'])
data[(name=='bob') | (alex=='alex') ]

#也可以用来设置数组的值（将负数都变成0）
data[data<0] =0

#基础用法
arr[[4,3,2,5]] #复制出arr里面的4，3，2，5列

#交错取值
arr[[4,3,2],[1,3,2]]  #取出4行1列的元素……

abs,fabs #计算实数或者复数的绝对值
sqrt #取每一个的绝对值
square #取每一个的平方
exp #取每一个的e^x
log,log10,log1p #取每一个的loge log10 以及log（1+x）

sign #计算每一个的符号值
ceil #计算比这个元素大的第一个整数
floor #计算比这个元素小的第一个整数
rint #在不改变类型的情况下将元素保留到整数位
modf #将小数与整数两个部分分别返回

isnan #返回元素是否是一个非数值类型
isfinite,isinf # 返回数组内元素是否有限是否无限

sin,cos,tan #三角函数
arccos,arccosh,arcsin #反三角函数

logical_not #全部取反
max #计算数组内的最大值
min #计算数组内的最小值

add = +
multiply = *
divide,floor_divide = /,//
mod #求模计算
power # 将第二个作为第一个的幂次方

subtract #在第二个数组中将第一个所包含的元素去除
maximun,fmax #两个对应的元素相互比较，计算元素的最大值（第二个可以忽略num）
minimum,fmin #两个对应的元素相互比较，计算元素的最小值（第二个可以忽略num）

copysign #将第一个的符号改为第二个的符号

result=np.where(cond,true,false)

# 第一个参数是判断条件，二三两个代表的是选项
# 之后两个可以不是向量而是标量

arr.mean与np.mean(arr)等价

# 基础的数学统计方法

sum  #按照轴向计算所有元素的累加
mean #按照轴向计算元素的平均值
std,var # 计算标准差与方差
min,max # 计算最小（大）值
cumsun # 从0开始元素的累加
cumprod #从0开始元素的累乘
## 以上函数自带一个参数：axis来给定轴向，0代表按行求和，1代表按列求和
argmin,argmix # 找到最小（大）的位置

any #检查数组内是否有一个true
all #检查数组内是否全都是true

arr.sort(axis=) #来指定排序的轴

unique(x) #计算x中唯一值，并进行排序
intersectld(x,y) #计算x与y的交集再排序
unionld (x,y) #计算x与y的并集再排序
inld(x,y) #计算x的元素是否都在y里面（返回bool）
setdiffld(x,y) # 计算差集，在x中单不在y中的x的元素
setxorld(x,y) #异或集，在x或y中，但不同时在x与y中的元素

np.save('name',arr) #保存文件
np.load('name') #加载文件
no.savez('name',a=arr1,b=arr2) #保存多个文件

dot() #向量点乘，矩阵乘法
trace() #计算对角元素和
diag() #将一个方阵的对角元素作为一个一维数组返回，或者将一维数组转换成一个方阵，并且在非对角线上都为零。
det() #计算矩阵的行列式
eig() #计算方阵的特征值和特征向量
inv() #计算方阵的逆矩阵
pinv() #计算矩阵的Moore-Penrose伪逆
qr() #计算QR分解
svd() #计算奇异值分解
solve() #计算线性系统 Ax=b
lstsq() #计算Ax=b的最小二乘解

normal #从正态高斯分布中抽取样本
seed #向随机数生成器传递随机状态种子
permutation #返回一个数列的随机排列。或者返回一个乱序的整数范围序列
shuffle #随机排列一个序列
rand #从均匀分布中抽取样本
randint #根据给定的由低到高的范围抽取随机整数
randn #从均值0方差1的正态分布中抽取样本
binomial #从二项分布中抽去样本
beta #从beat分布中抽取样本
chisquare#从卡方分布中抽取样本
gamma #从伽马分布中抽取样本
uniform #从均匀[0,1)分布中抽取样本

# 基本创建
obj = pd.series([list]) #只添加序列值，索引将从0到n-1
obj = pd.series([list],index=list2) #指定索引序列创建
obj1 =pd.series(dir) # 我们也可以使用字典类型直接声称一个series

# 我们可以获取信息
obj.values # 获取序列值
obj.index # 获取索引

# 对于serise中可以存在缺失数据的情况
obj.isnull
obj.notnull
#可以进行判断

# 创建dataframe
常见的方法是使用包含等长度的列表或者numpy数组的字典来生成
data={'a':[list1],'b':[list2],'c',[list3]}
# 其中的list也可以换为字典类型，而字典的所有值将变成每一行的索引。
frame=pd.DataFrame(data)
#我们也可以指定排列的顺序,指定每一行的索引
frame=pd.DataFrame(data,columns=['b','a','c'], index=['1','2','3'])

# 索引一个列
frame[columnsname] #返回的是一个series对象，返回的series对象的索引和frame是同一个，而序列的名字就是dataframe的列名。
# 索引一个行
frame.loc[index]
#赋值
frame[columnsname] =

# 索引对象的方法和属性
append # 将一个索引粘贴到另一个索引后产生一个新的索引
difference #计算两个索引的差集
intersection #计算索引的交集
union #计算索引的并集
isin #计算每一个值是否在传值容器中的布尔数组
delete # 给出将位置i的元素删除的新的索引
drop # 根据传参删除指定的索引值，产生新的索引
inster #在位置i插入新元素并产生索引
is_monotonic # 索引递增就返回true
is_unique #索引都唯一返回true
unique # 计算索引的唯一序列

# series的索引重建
obj2=obj.reindex(['a','b','c','d','e']) #将obj中的索引重建后给obj2，本身不改变

# dataframe的索引重建
data.reindex(['oh','co','ut','ny','aa'])# 对于行标的转换
data.reindex(columns=['oh','co','ut','ny','aa'])# 对于列标的转换

# 对于series对象
obj.drop(indexlist) # 返回去掉索引列表内索引值的对象
# 对于DataFeame对象，一般情况下会根据轴向为0的删除（按照行标签）
data.drop(list) 
# 如果要删除竖列，则应该设置参数axis
data.drop(list,axis=1)
# 如果要直接更改元对象 要使用inplace=True参数

data[list] # 列索引
data[:2]# 行索引

data.loc['列标', [行标]]
data.iloc['列数', [行数]]

df1.add(df2,fill_value=0) #如果两个有不一样的序列，那么我们会使用0来填充

# 示例代码
d.sub(s) # 直接在行上对每一行相减（默认axis=1）
d.add(s,axis=0) #在列上进行广播

f = lambda x: x.max() - x.min()
frame.apply(f) #对每一列求最大值与最小值的差，然后以列表为索引，变成一个series
#如果对行进行操作，可以加上anxi = 1这一参数

#而如果对每一个元素要进行一次自定义，可以使用
Frame.applymap()

# 使用sort_index方法可以按照索引值进行排序
series.sort_index() #默认是升序，可以给ascending=false参数来变成逆序
# 在frame中使用这个类型，可以通过给定参数来在不同的轴上排序

# 使用sort_values方法可以按照数值进行排序
data.sort_values()
# 对于dataframe来说可以使用一列或者多列作为排序的关键序列
data.sort_values(by=indexlist)

obj.rank() # 基础
obj.rank(ascending=false,method='first') # 倒着排序，第一次出现的大

average #默认方法取平均
min #使用最小的排名
max # 使用最大排名
first #先出现的先排
dense #与min类似，但排名总是增加一

df.sum() # 每一行求和
#通常情况下是以横向为轴，自动忽略了不存在值的位置，也可以通过参数来改变
df.sum(axis=1,skipna=false)

count # 计算非NA的个数
describe #给出部分统计结果
min,max #计算最大值或最小值
argmin,argmax #分别计算最大值最小值的索引位置
idmin,idmax #给出最大值最小值的标签
sum #求和
mean #求均值
median #求中位数
prod # 求所有值的积
var #所有值的分差
std #所有值的标准差
cunsum #求累计值
cumprod #求累计值
pct_change # 求百分比

# 获得相关性（协方差）矩阵
DF.corr()
DF.cov()
# 计算一个列于另一个列的相关性
DF.corrwith(DF.A)