numpy.memmap#

class numpy.memmap(filename, dtype=<class 'numpy.ubyte'>, mode='r+', offset=0, shape=None, order='C')[源代码]#

创建到存储在磁盘上的二进制文件中的数组的内存映射.

内存映射文件用于访问磁盘上大型文件的小段数据,而无需将整个文件读取到内存中.NumPy 的 memmap 是类数组对象.这与 Python 的 mmap 模块不同,后者使用类文件对象.

ndarray 的这个子类与某些操作存在一些令人不快的交互,因为它作为子类不太合适.使用这个子类的替代方法是自己创建 mmap 对象,然后直接使用 ndarray.__new__ 创建一个 ndarray,并在其 ‘buffer=’ 参数中传递创建的对象.

此类在某个时候可能会变成一个工厂函数,该函数返回一个 mmap 缓冲区的视图.

刷新 memmap 实例以将更改写入文件.目前没有关闭底层 mmap 的 API.很难确保资源实际上已关闭,因为它可能在不同的 memmap 实例之间共享.

参数:
filenamestr,类文件对象或 pathlib.Path 实例

用作数组数据缓冲区的文件名或文件对象.

dtypedata-type,可选

用于解释文件内容的数据类型.默认为 uint8 .

mode{‘r+’, ‘r’, ‘w+’, ‘c’}, optional

文件以此模式打开:

‘r’

打开现有文件以进行只读.

‘r+’

打开现有文件以进行读写.

‘w+’

创建或覆盖现有文件以进行读写.如果 mode == 'w+' ,则还必须指定 shape .

‘c’

写入时复制:赋值会影响内存中的数据,但更改不会保存到磁盘.磁盘上的文件是只读的.

默认为 ‘r+’.

offsetint, optional

在文件中,数组数据从该偏移量开始.由于 offset 以字节为单位测量,因此通常应该是 dtype 的字节大小的倍数.当 mode != 'r' 时,即使超出文件末尾的正偏移量也是有效的;文件将被扩展以容纳额外的数据.默认情况下,即使 filename 是文件指针 fp 且 fp.tell() != 0 , memmap 也会从文件开头开始.

shapeint 或 int 序列,可选

所需的数组形状.如果 mode == 'r' 并且 offset 之后的剩余字节数不是 dtype 的字节大小的倍数,则必须指定 shape .默认情况下,返回的数组将是 1-D 的,元素数量由文件大小和数据类型确定.

在 2.0 版本发生变更: shape 参数现在可以是任何整数序列类型,以前类型仅限于 tuple 和 int.

order{‘C’, ‘F’},可选

指定 ndarray 内存布局的顺序 row-major ,C 风格或 column-major ,Fortran 风格.只有当形状大于 1-D 时,这才会生效.默认顺序为 ‘C’.

参见

lib.format.open_memmap

创建或加载一个内存映射的 .npy 文件.

注释

memmap 对象可以在接受 ndarray 的任何地方使用.给定一个 memmap fp , isinstance(fp, numpy.ndarray) 返回 True .

在 32 位系统上,内存映射文件不能大于 2GB.

当一个 memmap 导致文件被创建或扩展到超出其在文件系统中的当前大小时,新部分的内容是未指定的.在使用 POSIX 文件系统语义的系统上,扩展部分将填充零字节.

示例

>>> import numpy as np
>>> data = np.arange(12, dtype='float32')
>>> data.resize((3,4))

此示例使用临时文件,以便 doctest 不会将文件写入您的目录.您将使用"普通"文件名.

>>> from tempfile import mkdtemp
>>> import os.path as path
>>> filename = path.join(mkdtemp(), 'newfile.dat')

创建一个具有与我们的数据匹配的 dtype 和 shape 的 memmap:

>>> fp = np.memmap(filename, dtype='float32', mode='w+', shape=(3,4))
>>> fp
memmap([[0., 0., 0., 0.],
        [0., 0., 0., 0.],
        [0., 0., 0., 0.]], dtype=float32)

将数据写入 memmap 数组:

>>> fp[:] = data[:]
>>> fp
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

>>> fp.filename == path.abspath(filename)
True

将内存更改刷新到磁盘,以便将它们读回

>>> fp.flush()

加载 memmap 并验证数据是否已存储:

>>> newfp = np.memmap(filename, dtype='float32', mode='r', shape=(3,4))
>>> newfp
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

只读 memmap:

>>> fpr = np.memmap(filename, dtype='float32', mode='r', shape=(3,4))
>>> fpr.flags.writeable
False

写入时复制 memmap:

>>> fpc = np.memmap(filename, dtype='float32', mode='c', shape=(3,4))
>>> fpc.flags.writeable
True

可以分配给写入时复制数组,但值仅写入数组的内存副本中,而不写入磁盘:

>>> fpc
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)
>>> fpc[0,:] = 0
>>> fpc
memmap([[  0.,   0.,   0.,   0.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

磁盘上的文件未更改:

>>> fpr
memmap([[  0.,   1.,   2.,   3.],
        [  4.,   5.,   6.,   7.],
        [  8.,   9.,  10.,  11.]], dtype=float32)

偏移到 memmap 中:

>>> fpo = np.memmap(filename, dtype='float32', mode='r', offset=16)
>>> fpo
memmap([  4.,   5.,   6.,   7.,   8.,   9.,  10.,  11.], dtype=float32)
属性:
filenamestr 或 pathlib.Path 实例

映射文件的路径.

offsetint

文件中的偏移位置.

modestr

文件模式.

方法

flush ()

将数组中的任何更改写入磁盘上的文件.
On this page