前言
numpy 结构化数组可以支持多数据类型的元素,类似于Python 内置的字典。
在前面,我们已经对numpy 结构化数组数据类型主要是使用 numpy.dtype 定义。
结构化数组的索引有三种形式:
- 以字段名称为索引访问单个字段值
- 以字段名称列表为索引访问多个字段值
- 以整数标量为索引进行访问字段值
在结构化数组索引返回值的形式都是视图
numpy 模块提供了ndarray 子类 recarray,可以允许属性直接访问结构化数组字段。
我们在numpy 结构化数组之记录数组学习后,可以通过numpy.rec.array()方法进行创建记录数组或者将结构化数组转换成记录数组。
并且,numpy.lib.recfunctions中提供对结构化数组记录数组相关操作的方法。
本期,我们将学习recfunctions模块中常用的方法进行学习和使用,Let’s go~
1.numpy.lib.recfunctions概述
numpy.lib.recfunctions 存在大量用于创建和操作结构化数组的辅助方法集合
目前,recfunctions 里面的方法都已经被重写和拓展了。
我们可以在 numpy->lib->recfunctions.py 文件中看到相关方法介绍。
我们在使用 recfunctions 模块相关方法时,需要提前使用from导入recfunctions库
from numpy.lib import recfunctions as rfn复制代码
2. 添加新字段
numpy.lib.recfunctions 模块中提供 append_fields 方法,实现在现有的结构化数组中添加性字段
append_fields(base, names, data, dtypes=None, fill_value=-1, usemask=True, asrecarray=False)复制代码
参数说明:
参数 | 说明 |
base | 需要拓展的数组 |
names | 新字段名称 |
data | 数组或者数据序列 |
dtypes | 可选项,数据类型序列 |
fill_value | 可选项,用于填充数组上缺失的数据 |
usemask | 可选项,是否返回掩码数组 |
asrecarray | 可选项,是否返回一个记录数组 |
- 字段名称和名称参数需要一起给出
- 对应的值和数据参数需要一起给出
- 如果只附加单个字段,则names,data,dtypes 可以为值
>>> from numpy.lib import recfunctions as rfn>>> arr = np.array([(\"Tom\",12,\"Beijing\"),(\"Anne\",10,\"Guangzhou\"),(\"Kenty\",15,\"Shengzheng\")],dtype=[(\"name\",\"U5\"),(\"age\",\"i8\"),(\"address\",\"U5\")])>>> rfn.append_fields(arr,\"province\",[\"hebei\",\"guangdong\",\"guangdong\"],\"S16\")masked_array(data=[(\'Tom\', 12, \'Beiji\', b\'hebei\'), (\'Anne\', 10, \'Guang\', b\'guangdong\'), (\'Kenty\', 15, \'Sheng\', b\'guangdong\')], mask=[(False, False, False, False), (False, False, False, False), (False, False, False, False)], fill_value=(\'N/A\', 999999, \'N/A\', b\'N/A\'), dtype=[(\'name\', \'<U5\'), (\'age\', \'<i8\'), (\'address\', \'<U5\'), (\'province\', \'S16\')])复制代码
3. 结构化数组字段缩减
recfunctions 提供 apply_along_fields 方法可以使用func 函数对结构化数组的字段进行缩减操作。
apply_along_fields(func, arr)复制代码
参数说明:
参数 | 说明 |
func | 应用于字段维度的函数,必须要支持轴参数如np.mean,np.sum等 |
arr | 结构化数组 |
apply_along_fields 方法类似与 apply_along_axis,将结构化数组的字段视为额外的轴。
这个过程中,会调用 numpy.result_type 将dtypes 类型转换为同样类型。
>>> arr = np.array([(10,5),(3,9),(0,8)],dtype=[(\"x\",\"i8\"),(\"y\",\"i8\")])>>> rfn.apply_along_fields(np.mean,arr)array([7.5, 6. , 4. ])>>> rfn.apply_along_fields(np.sum,arr)array([15, 12, 8], dtype=int64)>>> rfn.apply_along_fields(np.gradient,arr)array([[-5., -5.], [ 6., 6.], [ 8., 8.]])>>>复制代码
func 支持axis numpy 函数方法常见有:
- nump.mean:计算平均数
- numpy.sum: 计算和
- numpy.gradient: j计算数组的梯度
- numpy.namin: 计算数组最小值,忽略NaN
- numpy.amin:计算数组最小值
- numpy.amax:计算数组最大值
4. 删除结构化数组的字段
recfunctions 模块提供 drop_fields 方法可以删除指定的字段,并返回一个新数组
同时,drop_fields 可以支持嵌套字段
drop_fields(base, drop_names, usemask=True, asrecarray=False)复制代码
参数说明:
标题 | 说明 |
base | 输入数组 |
drop_names | 删除的字段或字段序列 |
usemask | 是否返回掩码数组,可选项 |
asrecarray | 是否返回一个记录数组,默认值为False |
>>> arr = np.array([(10,5,\"X\"),(3,9,\"Y\"),(0,8,\"Z\")],dtype=[(\"x\",\"i8\"),(\"y\",\"i8\"),(\"z\",\"S6\")])>>> rfn.drop_fields(arr,\"x\")array([(5, b\'X\'), (9, b\'Y\'), (8, b\'Z\')], dtype=[(\'y\', \'<i8\'), (\'z\', \'S6\')])>>> rfn.drop_fields(arr,\"z\")array([(10, 5), ( 3, 9), ( 0, 8)], dtype=[(\'x\', \'<i8\'), (\'y\', \'<i8\')])>>> rfn.drop_fields(arr,[\"x\",\"z\"])array([(5,), (9,), (8,)], dtype=[(\'y\', \'<i8\')])>>>复制代码
注意:1.18.0版本:drop_fields 方法如果删除所有字段,则会返回一个包含0字段的数组,而不是以前一样返回None。
>>> rfn.drop_fields(arr,[\"x\",\"z\",\"y\"])array([(), (), ()], dtype=[])>>>复制代码
5. 连接两个结构化数组
recfunctions 提供 join_by 方法通过key 将两个结构化数组连接在一起。
join_by(key, r1, r2, jointype=\'inner\', r1postfix=\'1\', r2postfix=\'2\', defaults=None, usemask=True, asrecarray=False)复制代码
参数说明:
标题 | 说明 |
key | 用于比较字段对应的字符串或字符串序列 |
r1 | 结构化数组1 |
r2 | 结构化数组2 |
jointype | 连接类型,可选择为inner,outer,leftouter |
r1postfix | 附加到r2中不存在的键r1 字段名称的字符串,可选 |
r2postfix | 附加到r1中不存在的键r2 字段名称的字符串,可选 |
default | 字典将字段名称映射到相应的默认值 |
usemask | 是否返回掩码数组,默认为True |
asrecarray | 是否返回一个记录数组 |
>>> arr = np.array([(10,5,\"X\"),(3,9,\"Y\"),(0,8,\"Z\")],dtype=[(\"x\",\"i8\"),(\"y\",\"i8\"),(\"z\",\"S6\")])>>> arr2 = np.array([(10,5),(3,9),(0,8)],dtype=[(\"x\",\"i8\"),(\"y\",\"i8\")])>>> rfn.join_by(\"x\",arr,arr2)masked_array(data=[(0, 8, 8, b\'Z\'), (3, 9, 9, b\'Y\'), (10, 5, 5, b\'X\')], mask=[(False, False, False, False), (False, False, False, False), (False, False, False, False)], fill_value=(999999, 999999, 999999, b\'N/A\'), dtype=[(\'x\', \'<i8\'), (\'y1\', \'<i8\'), (\'y2\', \'<i8\'), (\'z\', \'S6\')])>>>复制代码
注意:
- key 应该是用于连接数组的字段相对于应的字符串获字符串序列。
- 如果两个数组中找不到key,则会引发异常
- 数组1和数组2尽量不要包含重复key。连接时,不会查重,会导致返回结果不可靠。
如下,arr 和 arr2 中,如果选择字段为z进行连接,则系统会报ValueError
>>> rfn.join_by(\"z\",arr,arr2)Traceback (most recent call last): File \"\", line 1, in <module> File \"\", line 6, in join_by File \"C:\\Users\\user\\AppData\\Roaming\\Python\\Python37\\site-packages\\numpy\\lib\\recfunctions.py\", line 1480, in join_by raise ValueError(\'r2 does not have key field %r\' % name)ValueError: r2 does not have key field \'z\'>>>复制代码
6. 合并结构化数组
recfunctions 提供 merge_fields 方法将两个数组序列进行字段合并。
merge_arrays(seqarrays, fill_value=-1, flatten=False, usemask=False, asrecarray=False)复制代码
参数说明:
标题 | 说明 |
seqarrays | 数组序列 |
fill_value | 填充用于较短数组上的缺失数据 |
flatten | 是否折叠嵌套字段,可选项 |
usemask | 是否使用掩码数组,可选 |
asrecarray | 是否返回一个记录数组 |
>>> arr = np.array([(10,5,\"X\"),(3,9,\"Y\"),(0,8,\"Z\")],dtype=[(\"x\",\"i8\"),(\"y\",\"i8\"),(\"z\",\"S6\")])>>> arr2 = np.array([(10,5),(3,9),(0,8)],dtype=[(\"x\",\"i8\"),(\"y\",\"i8\")])>>> rfn.merge_arrays((arr,arr2))array([((10, 5, b\'X\'), (10, 5)), (( 3, 9, b\'Y\'), ( 3, 9)), (( 0, 8, b\'Z\'), ( 0, 8))], dtype=[(\'f0\', [(\'x\', \'<i8\'), (\'y\', \'<i8\'), (\'z\', \'S6\')]), (\'f1\', [(\'x\', \'<i8\'), (\'y\', \'<i8\')])])>>>复制代码
总结
本期,我们对recfunctions模块对结构化数组操作如添加新字段append_feilds()方法,合并两个数组merge_feilds()方法、连接两个数组join_by()方法,删除指定字段drop_fields()方法。
recfunctions 模块中还有对结构化数组其他方法,我们下一期继续学习。