计算机原理-程序编译及运行(五)

前面一篇我们已经知道CPU所需的指令和数据都在内存中的基本工作原理,现在再介绍下程序运行在内存的分布情况。

我们知道对于计算机系统来说,最底层的是硬件,硬件之上是操作系统,而我们的程序都是基于操作系统来运行的,而不是基于硬件,这样操作系统为我们提供了一层抽象,所以对于程序员来说,不需要特别的关注计算机硬件。所以正常来说介绍完硬件后,应该来介绍操作系统。但是我们知道在计算机在不断的发展,硬件,操作系统都在不断发展。而无论怎么发展,程序运行都离不开内存,所以我决定以内存和出发点,来看硬件,操作系统以及应用程序的发展过程。

一.操作系统历史

1.手工系统:独占处理,程序运行独占所有CPU,内存资源。

2.单道批处理系统:程序独占资源,自动化操作

3.多道批处理操作系统:程序独占CPU,共享内存(同时加载到内存)

4.分时操作系统:CPU时间分片,通过调度按权限让程序轮流执行。

5.现在操作系统:多CPU,多进程,多线程,虚拟内存等等,进化史基本就是为了更好的执行效率,更好的用户体验,基本都是为了克服硬件的IO问题。

二.程序编译和链接

一里面我们知道了操作系统如何调度让程序在机器上更加高效的运行起来,现在我们来看看程序是如何从一行行代码变成可运行的可执行程序的。

编译过程:

(源代码)–预处理–编译—汇编—链接–(可执行文件)。在Linux下一般使用GCC来编译C语言程序, 而VS中使用cl.exe。下图就是上面的代码在GCC中编译的过程。我们后面讨论的都以C语言为例。编译器

 

2.1.1 预处理

预处理是程序编译的第一步,以C语言为例, 预编译会把源文件预编译成一个 .I 文件。而C++则是编译成 .ii。 GCC中预编译命令如下

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. #gcc -E hello.c -o hello. I 

当我们打开hello.i 文件是会发现这个文件变的好大,因为其中包含的<stdio.h> 文件被插入到了hello.i 文件中,一下是截取的一部分内容

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. # 1 “hello.c”
  2. # 1 “<built-in>”
  3. # 1 “<命令行>”
  4. # 1 “hello.c”
  5. # 1 “/usr/include/stdio.h” 1 3 4
  6. # 28 “/usr/include/stdio.h” 3 4
  7. # 1 “/usr/include/features.h” 1 3 4
  8. # 324 “/usr/include/features.h” 3 4
  9. # 1 “/usr/include/i386-linux-gnu/bits/predefs.h” 1 3 4
  10. # 325 “/usr/include/features.h” 2 3 4
  11. # 357 “/usr/include/features.h” 3 4
  12. # 1 “/usr/include/i386-linux-gnu/sys/cdefs.h” 1 3 4
  13. # 378 “/usr/include/i386-linux-gnu/sys/cdefs.h” 3 4
  14. # 1 “/usr/include/i386-linux-gnu/bits/wordsize.h” 1 3 4
  15. # 379 “/usr/include/i386-linux-gnu/sys/cdefs.h” 2 3 4
  16. # 358 “/usr/include/features.h” 2 3 4
  17. # 389 “/usr/include/features.h” 3 4
  18. # 1 “/usr/include/i386-linux-gnu/gnu/stubs.h” 1 3 4# 940 “/usr/include/stdio.h” 3 4
  19. # 2 “hello.c” 2
  20. int main()  
  21. {  
  22.     printf(“Hello, world.\n”);  
  23. return 0;  

总结下来预处理有一下作用:

  • 所有的#define删除,并且展开所有的宏定义
  • 处理所有的条件预编译指令,比如我们经常使用#if #ifdef #elif #else #endif等来控制程序
  • 处理#include 预编译指令,将被包含的文件插入到该预编译指令的位置。这也就是为什么我们要防止头文件被多次包含。
  • 删除所有注释 “//”和”/* */”.
  • 添加行号和文件标识,以便编译时产生调试用的行号及编译错误警告行号。比如上面的 # 2 “hello.c” 2
  • 保留所有的#pragma编译器指令,因为编译器需要使用它们。
2.1.2 编译

编译是一个比较复杂的过程。编译后产生的是汇编文件,其中经过了词法分析、语法分析、语义分析、中间代码生成、目标代码生成、目标代码优化等六个步骤。如要要详细深入研究,就要去看下《编译原理》。当我们语法有错误、变量没有定义等问题是,就会出现编译错误。

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. #gcc -S hello.i -o hello.s 

通过上面的命令,可以从预编译文件生成汇编文件,当然也可以之际从源文件编译成汇编文件。实际上是通过一个叫做ccl的编译程序来完成的。

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1.     .file   “hello.c”  
  2.     .section    .rodata  
  3. .LC0:  
  4.     .string “Hello, world.”  
  5.     .text  
  6.     .globl  main  
  7.     .type   main, @function  
  8. main:  
  9. .LFB0:  
  10.     .cfi_startproc  
  11.     pushl   %ebp  
  12.     .cfi_def_cfa_offset 8  
  13.     .cfi_offset 5, -8  
  14.     movl    %esp, %ebp  
  15.     .cfi_def_cfa_register 5  
  16.     andl    $-16, %esp  
  17.     subl    $16, %esp  
  18.     movl    $.LC0, (%esp)  
  19.     call    puts  
  20.     movl    $0, %eax  
  21.     leave  
  22.     .cfi_restore 5  
  23.     .cfi_def_cfa 4, 4  
  24.     ret  
  25.     .cfi_endproc  
  26. .LFE0:  
  27.     .size   main, .-main  
  28.     .ident  “GCC: (Ubuntu/Linaro 4.6.3-1ubuntu5) 4.6.3″  
  29.     .section    .note.GNU-stack,””,@progbits 

上面就是生成的汇编文件。我们看出其中分了好几个部分。我们只需要关注,LFB0这个段中保存的就是C语言的代码对于的汇编代码.。

2.1.3 汇编

汇编的过程比较简单,就是把汇编代码转换为机器可执行的机器码,每一个汇编语句机会都对应一条机器指令。它只需要根据汇编指令和机器指令的对照表进行翻译就可以了。汇编实际是通过汇编器as来完成的,gcc只不过是这些命令的包装。

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. #gcc -c hello.s -o hello.o  
  2. //或者  
  3. #as hello.s -o hello.o 

汇编之后生成的文件是二进制文件,所以用文本打开是无法查看准确的内容的,用二进制文件查看器打开里面也全是二进制,我们可以用objdump工具来查看:

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. cc@cheng_chao-nb-vm:~$ objdump -S hello.o  
  2. hello.o:     file format elf32-i386  
  3. Disassembly of section .text:  
  4. 00000000 <main>:  
  5.    0:   55                      push   %ebp  
  6.    1:   89 e5                   mov    %esp,%ebp  
  7.    3:   83 e4 f0                and    $0xfffffff0,%esp  
  8.    6:   83 ec 10                sub    $0x10,%esp  
  9.    9:   c7 04 24 00 00 00 00    movl   $0x0,(%esp)  
  10.   10:   e8 fc ff ff ff          call   11 <main+0x11>  
  11.   15:   b8 00 00 00 00          mov    $0x0,%eax  
  12.   1a:   c9                      leave    
  13.   1b:   c3                      ret     

上面我们看到了Main函数汇编代码和机器码对应的关系。关于objdump工具后面会介绍。这里生成的.o文件我们一般称为目标文件,此时它已经和目标机器相关了。

2.1.4 链接

链接是一个比较复杂的过程,其实链接的存在是因为库文件的存在。我们知道为了代码的复用,我们可以把一些常用的代码放到一个库文件中提供给其他人使用。而我们在使用C,C++等高级语言编程时,这些高级语言也提供了一些列这样的功能库,比如我们这里调用的printf 函数就是C标准库提供的。 为了让我们程序正常运行,我们就需要把我们的程序和库文件链接起来,这样在运行时就知道printf函数到底要执行什么样的机器码。

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. #ld -static crt1.o crti.o crtbeginT.o hello.o -start-group -lgcc -lgcc_eh -lc-end-group crtend.o crtn.o 

我们看到我们使用了链接器ld程序来操作,但是为了得到最终的a.out可执行文件(默认生成a.out),我们加入了很多目标文件,而这些就是一个printf正常运行所需要依赖的库文件。

2.1.5 托管代码的编译过程

对于C#和Java这种运行在虚拟机上的语言,编译过程有所不同。 对于C,C++的程序,生成的可执行文件,可以在兼容的计算机上直接运行。但是C#和JAVA这些语言则不同。他们编译过程是相似的,但是他们最终生成的并不是机器码,而是中间代码,对于C#而言叫IL代码,对于JAVA是字节码。所以C#,JAVA编译出来的文件并不能被执行。

我们在使用.NET或JAVA时都需要安装.NET CLR或者JAVA虚拟机,以.NET为例,CLR实际是一个COM组件,当你点击一个.NET的EXE文件时,它和C++等不一样,不能直接被执行,而是有一个垫片程序来启动一个进程,并且初始化CLR组件。当CLR运行后,一个叫做JIT的编译器会吧EXE中的IL代码编译成对应平台的机器码,然后如同其他C++程序一样被执行。

计算机原理-内存(四)

前面讲了些CPU及CPU与其他部件之间的交互等,我们也知道,对于计算机来说,CPU跟内存是衡量性能的很重要的指标,同时也跟编程性能有莫大关系,所以现在就专门来看看内存里的一些道道~

内存组成

不多说,先上图,好对内存有个直观的印象

图中内存大小为128M,其他是它是由多个内存颗粒组成,而并非单个颗粒就是128M,内存颗粒学名 DRAM芯片。一般的内存都是由多个DRAM芯片组成,进行字长及容量的扩展。比如128M,32位内存,可能是有 8个 16M*4位的单个DRAM芯片组成!这样做应该是工艺成本的制约。篇幅所限,DRAM芯片张啥样及如何进行字长及容量的扩展在其他篇幅中再介绍!

内存地址

字长

计算机在同一时间内处理的一组二进制数称为一个计算机的“字”,而这组二进制数的位数就是“字长”。通常称处理字长为8位数据的CPU叫8位CPU,32位CPU就是在同一时间内处理字长为32位的二进制数据。 所以这里的字并不是我们理解的双字节(Word)而是和硬件相关的一个概念。一般来说计算机的数据线的位数和字长是相同的。这样从内存获取数据后,只需要一次就能把数据全部传送给CPU。

地址总线

前面我们已经介绍过地址总线的功能。地址总线的数量决定了他最大的寻址范围。就目前来说一般地址总线先字长相同。比如32位计算机拥有32为数据线和32为地线,最大寻址范围是4G(0x00000000 ~ 0xFFFFFFFF)。当然也有例外,Intel的8086是16为字长的CPU,采用了16位数据线和20位数据线。

内存编址

内存的大小和它芯片扩展方式有关。比如我们内存模块是采用 16M*8bit的内存颗粒,那么我们使用4个颗粒进行位扩展,成为16M*32bit,使用4个颗粒进行字容量扩展变为64M*32bit。那么我们内存模块使用了8个内存颗粒,实际大小是128MB。

我们需要对这个128M的内存进行编址以便CPU能够使用它,通常我们多种编址方式:

  1. 按字编址:    对于这个128M内存来说,它的寻址范围是32M,而每个内存地址可以存储32bit数据。
  2. 按半字编址:对于这个128M内存来说,它的寻址范围是64M,而每个内存地址可以存储16bit数据。
  3. 按字节编址:对于这个128M内存来说,它的寻址范围是128M,而每个内存地址可以存储8bit数据。

目前的计算机,主要都是采用按字节编址的方式这也是为什么对于32位计算机来说,能使用的最多容量的内存为4GB如果我们按字编地址,能使用的最大内存容量就是16GB了。

内存数据存放

前面我们知道了,内存是按字节编址,每个地址的存储单元可以存放8bit的数据。我们也知道CPU通过内存地址获取一条指令和数据,而他们存在存储单元中。现在就有一个问题。我们的数据和指令不可能刚好是8bit,如果小于8位,没什么问题,顶多是浪费几位(或许按字节编址是为了节省内存空间考虑)。但是当数据或指令的长度大于8bit呢?因为这种情况是很容易出现的,比如一个16bit的Int数据在内存是如何存储的呢?

其实一个简单的办法就是使用多个存储单元来存放数据或指令。比如Int16使用2个内存单元,而Int32使用4个内存单元。当读取数据时,一次读取多个内存单元。于是这里又出现2个问题:

  1. 多个存储单元存储的顺序?
  2. 如何确定要读几个内存单元?
  3. 如何快速寻址?
大端和小端存储
  1. Little-Endian 就是低位字节排放在内存的低地址端,高位字节排放在内存的高地址端。
  2. Big-Endian 就是高位字节排放在内存的低地址端,低位字节排放在内存的高地址端。

需要说明的是,计算机采用大端还是小端存储是CPU来决定的, 我们常用的X86体系的CPU采用小端,一下ARM体系的CPU也是用小端,但有一些CPU却采用大端比如PowerPC、Sun。

存储顺序解决了,那么再来看看如何确定大小,而这也是cpu决定的所以我们先来看看cpu指令。

cpu指令

首先我们来看看CPU指令的格式,我们知道CPU质量主要就是告诉CPU做什么事情,所以一条CPU指令一般包含操作码(OP)和操作

操作码字段
   地址码字段

根据一条指令中有几个操作数地址,可将该指令称为几操作数指令或几地址指令。

 操作码
 A1
 A2
 A3

三地址指令: (A1) OP (A2) –> A3

 操作码
 A1
 A2

二地址指令: (A1) OP (A2) –> A1

 操作码
  A1

一地址指令: (AC) OP (A) –> AC   

 操作码

零地址指令

A1为被操作数地址,也称源操作数地址; A2为操作数地址,也称终点操作数地址; A3为存放结果的地址。 同样,A1,A2,A3以是内存中的单元地址,也可以是运算器中通用寄存器的地址。所以就有一个寻址的问题。关于指令寻址后面会介绍。

CPU指令设计是十分复杂的,因为在计算机中都是0和1保存,那计算机如何区分一条指令中的操作数和操作码呢?如何保证指令不会重复呢?这个不是我们讨论的重点,有兴趣的可以看看计算机体系结构的书,里面都会有介绍。从上图来看我们知道CPU的指令长度是变长的。所以CPU并不能确定一条指令需要占用几个内存单元,那么CPU又是如何确定一条指令是否读取完了呢?

3.1.2.2 指令的获取

现在的CPU多数采用可变长指令系统。关键是指令的第一字节。 当CPU读指令时,并不是一下把整个指令读近来,而是先读入指令的第一个字节。指令译码器分析这个字节,就知道这是几字节指令。接着顺序读入后面的字节。每读一个字节,程序计数器PC加一。整个指令读入后,PC就指向下一指令(等于为读下一指令做好了准备)。

Sample1:

view plaincopyprint?在CODE上查看代码片派生到我的代码片

  1. MOV AL,00  机器码是1011 0000 0000 0000 

机器码是16位在内存中占用2个字节:

【00000000】 <- 0x0002

【10110000】 <- 0x0001

比如上面这条MOV汇编指令,把立即数00存入AL寄存器。而CPU获取指令过程如下:

  1. 从程序计数器获取当前指令的地址0x0001。
  2. 存储控制器从0x0001中读出整个字节,发送给CPU。PC+1 = 0X0002.
  3. CPU识别出【10110000】表示:操作是MOV AL,并且A2是一个立即数长度为一个字节,所以整个指令的字长为2字节。
  4. CPU从地址0x0002取出指令的最后一个字节
  5. CPU将立即数00存入AL寄存器。

这里的疑问应该是在第3步,CPU是怎么知道是MOV AL 立即数的操作呢?我们在看下面一个列子。

Sample2:

view plaincopyprint?在CODE上查看代码片派生到我的代码片

  1. MOV AL,[0000] 机器码是1010 0000 0000 0000 0000 0000 

这里同样是一条MOV的汇编指令,整个指令需要占用3个字节。

【00000000】 <-0x0003

【00000000】 <- 0x0002

【10100000】 <- 0x0001

我们可以比较一下2条指令第一个字节的区别,发现这里的MOV  AL是1010 0000,而不是Sample1中的1011 000。CPU读取了第一个字节后识别出,操作是MOV AL [D16],表示是一个寄存器间接寻址,A3操作是存放的是一个16位就是地址偏移量(为什么是16位,后面文章会介绍),CPU就判定这条指令长度3个字节。于是从内存0x0002~0x0003读出指令的后2个字节,进行寻址找到真正的数据内存地址,再次通过CPU读入,并完成操作。

从上面我们可以看出一个指令会根据不同的寻址格式,有不同的机器码与之对应。而每个机器码对应的指令的长度都是在CPU设计时就规定好了。8086采用变长指令,指令长度是1-6个字节,后面可以添加8位或16位的偏移量或立即数。 下面的指令格式相比上面2个就更加复杂。

  • 第一个字节的高6位是操作码,W表示传说的数据是字(W=1)还是字节(W=0),D表示数据传输方向D=0数据从寄存器传出,D=1数据传入寄存器。
  • 第二个字节中REG表示寄存器号,3位可以表示8种寄存器,根据第一字节的W,可以表示是8位还是16位寄存器。表3-1中列出了8086寄存器编码表
  • 第二个字节中的MOD和R/M指定了操作数的寻址方式,表3-2列出了8086的编码

这里没必要也无法更详细介绍CPU指令的,只需要知道,CPU指令中已经定义了指令的长度,不会出现混乱读取内存单元的现象。有兴趣的可以查看引用中的连接。

那么我们如何进行快速寻址呢?

内存对齐

存储器一个cell是8bit,进行位扩展使他和字长还有数据线位数是相同,那么一次就能传送CPU可以处理最多的数据。而前面我们说过目前是按字节编址可能是因为一个cell是8bit,所以一次内存操作读取的数据就是和字长相同。

也正是因为和存储器扩展有关(参考1.2.1的图),每个DRAM位扩展芯片使用相同RAS。如果需要跨行访问,那么需要传递2次RAS。所以以32位CPU为例,CPU只能对0,4,8,16这样的地址进行寻址。而很多32位CPU禁掉了地址线中的低2位A0,A1,这样他们的地址必须是4的倍数,否则会发送错误。

如上图,当计算机数据线为32位时,一次读入4个地址范围的数据。当一个int变量存放在0-3的地址中时,CPU一次就内存操作就可以取得int变量的值。但是如果int变量存放在1-4的地址中呢? 根据上面条件2的解释,这个时候CPU需要进行2次内存访问,第一次读取0-4的数据,并且只保存1-3的内容,第二次访问读取4-7的数据并且只保存4的数据,然后将1-4组合起来。如下图:

所以内存对齐不但可以解决不同CPU的兼容性问题,还能减少内存访问次数,提高效率。

如何内存对齐

http://blog.csdn.net/cc_net/article/details/2908600