字节交换#

字节顺序和 ndarray 简介#

ndarray 是一个对象,它为内存中的数据提供了一个 python 数组接口.

通常情况下,你想用数组查看的内存的字节顺序与运行 Python 的计算机的字节顺序不同.

例如,我可能正在使用一个具有小端 CPU 的计算机(例如 Intel Pentium),但是我从一台大端计算机写入的文件中加载了一些数据.假设我从 Sun(大端)计算机写入的文件中加载了 4 个字节.我知道这 4 个字节代表两个 16 位整数.在大端机器上,一个双字节整数首先存储最高有效字节 (MSB),然后存储最低有效字节 (LSB).因此,字节在内存顺序中为:

  1. MSB 整数 1

  2. LSB 整数 1

  3. MSB 整数 2

  4. LSB 整数 2

假设这两个整数实际上是 1 和 770.因为 770 = 256 * 3 + 2,所以内存中的 4 个字节将分别包含:0,1,3,2.我从文件加载的字节将包含以下内容:

>>> big_end_buffer = bytearray([0,1,3,2])
>>> big_end_buffer
bytearray(b'\x00\x01\x03\x02')

我们可能想要使用 ndarray 来访问这些整数.在这种情况下,我们可以围绕此内存创建一个数组,并告诉 numpy 有两个整数,它们是 16 位和 big-endian:

>>> import numpy as np
>>> big_end_arr = np.ndarray(shape=(2,),dtype='>i2', buffer=big_end_buffer)
>>> big_end_arr[0]
np.int16(1)
>>> big_end_arr[1]
np.int16(770)

请注意上面的数组 dtype 为 >i2 . > 表示 "big-endian"( < 是 little-endian), i2 表示"有符号 2 字节整数".例如,如果我们的数据表示单个无符号 4 字节 little-endian 整数,则 dtype 字符串将为 <u4 .

事实上,我们为什么不试试呢?

>>> little_end_u4 = np.ndarray(shape=(1,),dtype='<u4', buffer=big_end_buffer)
>>> little_end_u4[0] == 1 * 256**1 + 3 * 256**2 + 2 * 256**3
True

回到我们的 big_end_arr - 在这种情况下,我们的底层数据是 big-endian(数据字节序),并且我们已将 dtype 设置为匹配(dtype 也是 big-endian).但是,有时您需要将它们翻转过来.

警告

标量不包含字节顺序信息,因此从数组中提取标量将返回本机字节顺序的整数.因此:

>>> big_end_arr[0].dtype.byteorder == little_end_u4[0].dtype.byteorder
True

NumPy 有意不尝试始终保留字节顺序,例如,在 numpy.concatenate 中转换为本机字节顺序.

更改字节顺序#

正如您可以从介绍中想象的那样,有两种方法可以影响数组的字节顺序与其正在查看的底层内存之间的关系:

  • 更改数组 dtype 中的字节顺序信息,以便将底层数据解释为采用不同的字节顺序. 这是 arr.view(arr.dtype.newbyteorder()) 的作用

  • 更改底层数据的字节顺序,保持 dtype 解释不变. 这就是 arr.byteswap() 所做的.

您需要更改字节顺序的常见情况是:

  1. 您的数据和 dtype 字节序不匹配,并且您想要更改 dtype 以使其与数据匹配.

  2. 您的数据和 dtype 字节序不匹配,并且您想要交换数据以使其与 dtype 匹配

  3. 您的数据和 dtype 字节序匹配,但您希望数据被交换,并且 dtype 反映这一点

数据和 dtype 字节序不匹配,更改 dtype 以匹配数据#

我们制造一些它们不匹配的东西:

>>> wrong_end_dtype_arr = np.ndarray(shape=(2,),dtype='<i2', buffer=big_end_buffer)
>>> wrong_end_dtype_arr[0]
np.int16(256)

这种情况的明显解决方法是更改 dtype,使其给出正确的字节序:

>>> fixed_end_dtype_arr = wrong_end_dtype_arr.view(np.dtype('<i2').newbyteorder())
>>> fixed_end_dtype_arr[0]
np.int16(1)

请注意,数组在内存中没有改变:

>>> fixed_end_dtype_arr.tobytes() == big_end_buffer
True

数据和类型字节序不匹配,更改数据以匹配 dtype#

如果需要内存中的数据采用某种顺序,您可能需要这样做. 例如,您可能正在将内存写入需要特定字节顺序的文件.

>>> fixed_end_mem_arr = wrong_end_dtype_arr.byteswap()
>>> fixed_end_mem_arr[0]
np.int16(1)

现在数组在内存中发生了变化:

>>> fixed_end_mem_arr.tobytes() == big_end_buffer
False

数据和 dtype 字节序匹配,交换数据和 dtype#

您可能有一个正确指定的数组 dtype,但是您需要该数组在内存中具有相反的字节顺序,并且您希望 dtype 匹配,以便数组值有意义. 在这种情况下,您只需执行前面的两个操作:

>>> swapped_end_arr = big_end_arr.byteswap()
>>> swapped_end_arr = swapped_end_arr.view(swapped_end_arr.dtype.newbyteorder())
>>> swapped_end_arr[0]
np.int16(1)
>>> swapped_end_arr.tobytes() == big_end_buffer
False

可以使用 ndarray astype 方法更轻松地将数据强制转换为特定的 dtype 和字节顺序:

>>> swapped_end_arr = big_end_arr.astype('<i2')
>>> swapped_end_arr[0]
np.int16(1)
>>> swapped_end_arr.tobytes() == big_end_buffer
False
On this page