关于字节对齐的一点整理

2019-07-20 06:20发布

本帖最后由 学习stm32f4 于 2018-4-2 11:27 编辑

大家好。
在学习内存管理实验时,对字节对齐很迷惑。于是就在论坛里搜了一下,有大神发链接说C**N中的一个帖子讲的很不错。我将它整理了一下,主要内容来自这个帖子,感谢C**N的原作者21aspnet,这里只是修改了几处笔误,以期能较容易理解。

第一部分:对齐跟数据在内存中的位置有关。如果一个变量的内存地址正好位于它长度的整数倍,他就被称做自然对齐。比如在32位cpu下,假设一个整型变量的地址为0x00000004,那它就是自然对齐的。又如一个整型变量的地址为0x00000006,该地址不为整型变量的整数倍(即6%4!=0),那么该整型变量就没有自然对齐。需要字节对齐的根本原因在于CPU访问数据的效率问题。假设上面整型变量的地址不是自然对齐,比如为0x00000002,则CPU如果取它的值的话需要访问两次内存,第一次取从0x00000002-0x00000003的一个short,第二次取从0x00000004-0x00000005的一个short,然后组合得到所要的数据。如果变量在0x00000003地址上的话则要访问三次内存,第一次为char,第二次为short,第三次为char,然后组合得到整型数据。而如果变量在自然对齐位置上,则只要一次就可以取出数据。一些系统对对齐要求非常严格,比如sparc系统,如果取未对齐的数据会发生错误,举个例:1.  char ch[8];  2.  char *p = &ch[1];  3.  int i = *(int *)p;  
运行时会报segment error,而在x86上就不会出现错误,只是效率下降。对于标准数据类型,它的地址只要是它的长度的整数倍就行了,而非标准数据类型按下面的原则对齐:数组 :按照基本数据类型对齐,第一个对齐了后面的自然也就对齐了。联合 :按其包含的长度最大的数据类型对齐。结构体: 结构体中每个数据类型都要对齐。比如有如下一个结构体:1.  struct stu{  2.     char sex;  3.     int length;  4.     char name[10];  5.    };  6.  struct stu my_stu;  
由于在x86下,GCC默认按4字节对齐,它会在sex后面填充三个字节,在name后面两个字节,这是因为,char sex是单字节,地址是0。接着填充3个字节,到intlength时,地址为4。接着是char name[10],有10个字节,此时,共1+3+4+10=18字节,而18%4!=0(这里的4,是指结构体中最大类型的字节数,故该结构体要按照4对齐),故为了使结构体总字节数对4求余后为0,就需要在char name[10]后面填充2个字节,于是sizeof(my_stu)会得到长度为20。可以按照自己设定的对齐大小来编译程序,GNU使用__attribute__选项来设置,比如想让刚才的结构按一字节对齐,我们可以这样定义结构体:1.  struct stu{  2.     char sex;  3.     int length;  4.     char name[10];  5.  }__attribute__ ((aligned (1)));   6.  struct stu my_stu;
则sizeof(my_stu)可以得到大小为15,这是因为上面已经指定了结构体按单字节对齐。上面的定义等同于:1.  struct stu{  2.   char sex;  3.   int length;  4.   char name[10];  5.  }__attribute__ ((packed));   6.  struct stu my_stu;  
__attribute__((packed))使变量或者结构体成员使用最小的对齐方式,即对变量是一字节对齐,对域(field)是位对齐.
在设计不同CPU下的通信协议时,或者编写硬件驱动程序时寄存器的结构体,这两个地方都需要按一字节对齐。即使看起来本来就自然对齐的也要使其对齐,以免不同的编译器生成的代码不一样.第二部分:在C语言中,结构是一种复合数据类型,其构成元素既可以是基本数据类型(如int、long、float等)的变量,也可以是一些复合数据类型(如数组、结构、联合等)的数据单元。在结构中,编译器为结构的每个成员按其自然边界(alignment)分配空间。各个成员按照它们被声明的顺序在内存中顺序存储,第一个成员的地址和整个结构的地址相同。为了使CPU能够对变量进行快速的访问,变量的起始地址应该具有某些特性,即所谓的“对齐”。比如4字节的int型,其起始地址应该位于4字节的边界上,即起始地址能够被4整除。字节对齐的作用不仅是便于cpu快速访问,同时合理的利用字节对齐可以有效地节省存储空间。对于32位机来说,4字节对齐能够使cpu访问速度提高,比如说一个long类型的变量,如果跨越了4字节边界存储(即其地址对4求余不为0),那么cpu要读取两次,这样效率就低了。故在32位机中,对于4字节变量,若使用1字节或者2字节对齐,会使变量访问速度降低,所以要考虑处理器类型,另外还得考虑编译器的类型。在vc中默认是4字节对齐的,GNU gcc 也是默认4字节对齐。在缺省情况下,C编译器为每一个变量或是数据单元按其自然边界条件分配空间。一般地,可以通过下面的方法来改变缺省的边界条件:· 使用伪指令#pragma pack (n),C编译器将按照n个字节对齐。
· 使用伪指令#pragma pack (),取消自定义字节对齐方式。另外,还有如下的一种方式:
· __attribute((aligned (n))),让所作用的结构成员对齐在n字节自然边界上。如果结构中有成员的长度大于n,则按照最大成员的长度来对齐。· __attribute__((packed))使变量或者结构体成员使用最小的对齐方式,即对变量是一字节对齐,对域(field)是位对齐。4. 举例说明例11.  struct test  2.  {  3.    char x1;  4.    short x2;  5.    float x3;  6.    char x4;  7.  };  
由于编译器默认情况下会对这个struct作自然边界对齐,结构的第一个成员x1,其偏移地址为0,占据了第1个字节。第二个成员x2为short类型,其起始地址必须2字节对界,因此,编译器在x2和x1之间填充了一个空字节。结构的第三个成员x3的地址为4,这恰好落在其自然边界地址上,第四个成员x4是char类型,地址为8。此时,总总字节数为1+1+2+4+1=9。另一方面,在test结构中,成员x3要求4字节对界,是该结构所有成员中要求的最大边界单元,故test结构的自然边界条件为4字节,编译器在成员x4后面填充了3个空字节,故整个结构所占据空间为12字节。例21.  #pragma pack(1) //让编译器对这个结构作1字节对齐  2.  struct test  3.  {  4.    char x1;  5.    short x2;  6.    float x3;  7.    char x4;  8.  };  9.  #pragma pack() //取消1字节对齐,恢复为默认4字节对齐  
这时候sizeof(struct test)的值为8。例31.  #define GNUC_PACKED __attribute__((packed))  2.  struct PACKED test  3.  {  4.    char x1;  5.    short x2;  6.    float x3;  7.    char x4;  8.  }GNUC_PACKED;  
这时候sizeof(struct test)的值仍为8。第三部分:现代计算机中内存空间都是按照byte划分的,从理论上讲似乎对任何类型的变量的访问可以从任何地址开始,但实际情况是在访问特定类型变量的时候经常在特定的内存地址访问,这就需要各种类型数据按照一定的规则在空间上排列,而不是顺序的一个接一个的排放,这就是对齐。对齐的作用和原因:各个硬件平台对存储空间的处理上有很大的不同。一些平台对某些特定类型的数据只能从某些特定地址开始存取。比如有些架构的CPU在访问一个没有进行对齐的变量的时候会发生错误,那么在这种架构下编程必须保证字节对齐。其他平台可能没有这种情况,但是最常见的是如果不按照适合其平台要求对数据存放进行对齐,会在存取效率上带来损失。比如有些平台每次读都是从偶地址开始,如果一个int型(假设为32位系统)如果存放在偶地址开始的地方,那么一个读周期就可以读出这32bit,而如果存放在奇地址开始的地方,就需要2个读周期,并对两次读出结果的高低字节进行拼凑才能得到该32bit数据,显然在读取效率上下降很多。先看几个例子(32bit,x86环境,gcc编译器):
设结构体如下定义:1.  struct A  2.  {  3.          int a;  4.          char b;  5.          short c;  6.  };  7.  struct B  8.  {  9.          char b;  10.         int a;  11.         short c;  12. };  
现在已知32位机器上各种数据类型的长度如下:
char:1(有符号无符号同)   
short:2(有符号无符号同)   
int:4(有符号无符号同)   
long:4(有符号无符号同)   
float:4        double:8
那么上面两个结构大小如何呢?
结果是:
sizeof(strcut A)值为8(这是因为int a的地址为0,char b的地址为4,接着填充一个字节,short c的地址为6,此时故总字节数为8,又最大类型字节数为4,故结构体A要按4字节自然边界对齐,而8%4=0,故该结构体总字节数为8)
sizeof(struct B)的值却是12(这是因为charb的地址为0,接着填充3个字节,int a的地址为4,short c的地址为8,此时总字节说为10,又最大类型字节数为4,故结构体B要按4字节自然边界对齐,而10%4!=0,故要加2个字节,12%4=0,故该结构体总字节数为12)结构体A中包含了4字节长度的int一个,1字节长度的char一个和2字节长度的short型数据一个,B也一样;按理说A,B大小应该都是7字节。
之所以出现上面的结果是因为编译器要对数据成员在空间上进行对齐。上面是按照编译器的默认设置进行对齐的结果,那么我们是不是可以改变编译器的这种默认对齐设置呢,当然可以.例如:1.  #pragma pack (2) /*指定按2字节对齐*/  2.  struct C  3.  {  4.          char b;  5.          int a;  6.          short c;  7.  };  8.  #pragma pack () /*取消指定对齐,恢复缺省对齐*/  
sizeof(struct C)值是8(这是因为char b的地址为0,接着填充1个字节,由于指定按2字节对齐,故int a的地址为2,short c的地址为6,此时总字节数为8,由于指定按2字节对齐,而8%2=0,故结构体总字节数为8)
修改对齐值为1:1.  #pragma pack (1) /*指定按1字节对齐*/  2.  struct D  3.  {  4.          char b;  5.          int a;  6.          short c;  7.  };  8.  #pragma pack () /*取消指定对齐,恢复缺省对齐*/  
编译器是按照什么样的原则进行对齐的?先让我们看四个重要的基本概念:1.数据类型自身的对齐值:对于char型数据,其自身对齐值为1,对于short型为2,对于int,float,double类型,其自身对齐值为4,单位字节。
2.结构体或者类的自身对齐值:其成员中自身对齐值最大的那个值。
3.指定对齐值:#pragma pack (value)时的指定对齐值value。
4.数据成员、结构体和类的有效对齐值:自身对齐值和指定对齐值中小的那个值。
有了这些概念,我们就可以很方便的来讨论具体数据结构的成员和其自身的对齐方式。有效对齐值N是最终用来决定数据存放地址方式的值,最重要。有效对齐N,就是表示“对齐在N上”,也就是说该数据的"存放起始地址%N=0".而数据结构中的数据变量都是按定义的先后顺序来排放的。第一个数据变量的起始地址就是数据结构的起始地址。结构体的成员变量要对齐排放,结构体本身也要根据自身的有效对齐值圆整(就是结构体成员变量占用总长度要为对结构体有效对齐值的整数倍,结合下面例子理解)。这样就不难理解上面的几个例子的值了。
例子分析:
分析例子B1.  struct B  2.  {  3.          char b;  4.          int a;  5.          short c;  6.  };  
假设B从地址空间0x0000开始排放。该例子中没有定义指定对齐值,在笔者环境下,该值默认为4。第一个成员变量b的自身对齐值是1,比指定或者默认指定对齐值4小,所以其有效对齐值为1,所以其存放地址0x0000符合0x0000%1=0.第二个成员变量a,其自身对齐值为4,所以有效对齐值也为4,所以只能存放在起始地址为0x0004到0x0007这四个连续的字节空间中,复核0x0004%4=0,且紧靠第一个变量。第三个变量c,自身对齐值为2,所以有效对齐值也是2,可以存放在0x0008到0x0009这两个字节空间中,符合0x0008%2=0。所以从0x0000到0x0009存放的都是B内容。再看数据结构B的自身对齐值为其变量中最大对齐值(这里是b)所以就是4,所以结构体的有效对齐值也是4。根据结构体圆整的要求,(10+2)%4=0。所以地址0x0000A到地址0x000B也为结构体B所占用。故B从0x0000到0x000B共有12个字节,sizeof(struct B)=12;其实如果就这一个就来说它已将满足字节对齐了,因为它的起始地址是0,因此肯定是对齐的,之所以在后面补充2个字节,是因为编译器为了实现结构数组的存取效率,试想如果我们定义了一个结构B的数组,那么第一个结构起始地址是0没有问题,但是第二个结构呢?按照数组的定义,数组中所有元素都是紧挨着的,如果我们不把结构的大小补充为4的整数倍,那么下一个结构的起始地址将是0x0000A,这显然不能满足结构的地址对齐了,因此我们要把结构补充成有效对齐大小的整数倍.其实诸如:对于char型数据,其自身对齐值为1,对于short型为2,对于int,float,double类型,其自身对齐值为4,这些已有类型的自身对齐值也是基于数组考虑的,只是因为这些类型的长度已知了,所以他们的自身对齐值也就已知了.
同理,分析上面例子C:1.  #pragma pack (2) /*指定按2字节对齐*/  2.  struct C  3.  {  4.          char b;  5.          int a;  6.          short c;  7.  };  8.  #pragma pack () /*取消指定对齐,恢复缺省对齐*/  
第一个变量b的自身对齐值为1,指定对齐值为2,所以,其有效对齐值为1,假设C从0x0000开始,那么b存放在0x0000,符合0x0000%1=0;第二个变量,自身对齐值为4,指定对齐值为2,所以有效对齐值为2,所以顺序存放在0x0002、0x0003、0x0004、0x0005四个连续字节中,符合0x0002%2=0。第三个变量c的自身对齐值为2,所以有效对齐值为2,顺序存放在0x0006、0x0007中,符合0x0006%2=0。所以从0x0000到0x00007共八字节存放的是C的变量。又结构体指定按2字节对齐,又8%2=0,故结构体C只占用0x0000到0x0007的八个字节。所以sizeof(struct C)=8.如何修改编译器的默认对齐值?1.在VC IDE中,可以这样修改:[Project]|[Settings],c/c++选项卡Category的Code Generation选项的Struct Member Alignment中修改,默认是8字节。
2.在编码时,可以这样动态修改:#pragma pack .注意:是pragma而不是progma.针对字节对齐,我们在编程中如何考虑?如果在编程的时候要考虑节约空间的话,那么我们只需要假定结构的首地址是0,然后各个变量按照上面的原则进行排列即可,基本的原则就是把结构中的变量按照类型大小从小到大声明,尽量减少中间的填补空间.还有一种就是为了以空间换取时间的效率,我们显式的进行填补空间进行对齐,比如:有一种使用空间换时间做法是显式的插入reserved成员:1.   struct A{  2.     char a;  3.     char reserved[3];//使用空间换时间  4.     int b;  5.  }  
reserved成员对我们的程序没有什么意义,它只是起到填补空间以达到字节对齐的目的,当然即使不加这个成员通常编译器也会给我们自动填补对齐,我们自己加上它只是起到显式的提醒作用.若不添加字节对齐这个约束,可能带来的隐患:代码中关于没有添加字节对齐的隐患,很多是隐式的。比如在强制类型转换的时候。例如:1.  unsigned int i = 0x12345678;  2.  unsigned char *p=NULL;  3.  unsigned short *p1=NULL;  4.  p=&i;  5.  *p=0x00;  6.  p1=(unsigned short *)(p+1);  7.  *p1=0x0000;  
最后两句代码,从奇数边界去访问unsignedshort型变量,显然不符合对齐的规定。在x86上,类似的操作只会影响效率,但是在MIPS或者sparc上,可能就是一个error,因为它们要求必须字节对齐.如果出现对齐或者赋值问题首先查看
1. 编译器的big little端设置
2. 看这种体系本身是否支持非对齐访问,如果支持看设置了对齐与否,如果没有则看访问时需要加某些特殊的修饰来标志其特殊访问操作举例:1.  #include <stdio.h>  2.  main()  3.  {  4.  struct A {  5.      int a;  6.      char b;  7.      short c;  8.  };  9.   10. struct B {  11.     char b;  12.     int a;  13.     short c;  14. };  15.   16. #pragma pack (2) /*指定按2字节对齐*/  17. struct C {  18.     char b;  19.     int a;  20.     short c;  21. };  22. #pragma pack () /*取消指定对齐,恢复缺省对齐*/  23.   24. #pragma pack (1) /*指定按1字节对齐*/  25. struct D {  26.     char b;  27.     int a;  28.     short c;  29. };  30. #pragma pack ()/*取消指定对齐,恢复缺省对齐*/  31.   32. int s1=sizeof(struct A);  33. int s2=sizeof(struct B);  34. int s3=sizeof(struct C);  35. int s4=sizeof(struct D);  36. printf("%d ",s1);  37. printf("%d ",s2);  38. printf("%d ",s3);  39. printf("%d ",s4);  40. }  

输出:8,12,8,7。有了前面的文字说明,对输出结果就很容易理解了。
友情提示: 此问题已得到解决,问题已经关闭,关闭后问题禁止继续编辑,回答。
该问题目前已经被作者或者管理员关闭, 无法添加新回复
5条回答
学习stm32f4
1楼-- · 2019-07-20 09:19
其实,看了上面的文字后,明白了在字节对齐情况下求结构体所占的总字节数。但是对于内存管理实验中:
[mw_shl_code=c,true]//内存池(32字节对齐)
__align(32) u8 mem1base[MEM1_MAX_SIZE];                                                                                                        //内部SRAM内存池
__align(32) u8 mem2base[MEM2_MAX_SIZE] __attribute__((at(0X68000000)));                                        //外部SRAM内存池
__align(32) u8 mem3base[MEM3_MAX_SIZE] __attribute__((at(0X10000000)));                                        //内部CCM内存池
//内存管理表
u16 mem1mapbase[MEM1_ALLOC_TABLE_SIZE];                                                                                                        //内部SRAM内存池MAP
u16 mem2mapbase[MEM2_ALLOC_TABLE_SIZE] __attribute__((at(0X68000000+MEM2_MAX_SIZE)));        //外部SRAM内存池MAP
u16 mem3mapbase[MEM3_ALLOC_TABLE_SIZE] __attribute__((at(0X10000000+MEM3_MAX_SIZE)));        //内部CCM内存池MAP
//内存管理参数           
const u32 memtblsize[SRAMBANK]={MEM1_ALLOC_TABLE_SIZE,MEM2_ALLOC_TABLE_SIZE,MEM3_ALLOC_TABLE_SIZE};        //内存表大小
const u32 memblksize[SRAMBANK]={MEM1_BLOCK_SIZE,MEM2_BLOCK_SIZE,MEM3_BLOCK_SIZE};                                        //内存分块大小
const u32 memsize[SRAMBANK]={MEM1_MAX_SIZE,MEM2_MAX_SIZE,MEM3_MAX_SIZE};                                                        //内存总大小[/mw_shl_code]
有两个问题依然想不明白:
1.为何只对mem1base、mem2base、mem3base进行字节对齐,而不对其它的数组进行字节对齐?
2.为何对mem1base、mem2base、mem3base进行32字节对齐?而不是8字节、4字节对齐?
szczyb1314
2楼-- · 2019-07-20 09:42
学习stm32f4 发表于 2018-4-2 11:44
其实,看了上面的文字后,明白了在字节对齐情况下求结构体所占的总字节数。但是对于内存管理实验中:
[mw_ ...

原子哥的malloc的内存池中以32byte为一个最小内存块
szczyb1314
3楼-- · 2019-07-20 12:11
 精彩回答 2  元偷偷看……
学习stm32f4
4楼-- · 2019-07-20 13:57
szczyb1314 发表于 2018-7-6 10:48
原子哥的malloc是以32byte作为一个最小的内存块来管理的

哦,原来如此。多谢大神。
Kinglkf2R
5楼-- · 2019-07-20 19:51
C:Users王伟Desktop CFC323D8-45A1-4eb9-9EA1-3B9EDFFD60CD.png 这里的MEM_MAX_SIZE是42*1024   如果按1一字节对齐的话内存池就是42K字节
但加上4字节对齐的话那么内存池大小就变成4*42*1024字节   也就是168K字节
这是mini版的内存管理代码,但我查资料发现mini版的内存似乎只有64K字节
求解

一周热门 更多>