web框架基础实现介绍一—开篇

其实在以前写网络编程大并发实战的时候就已经讲过IO框架部分,而本次讲的web框架只是把IO收到之后的业务应用处理的框架加进去。

总框架

万变不离其宗,当前框架总体 IO连接处理+业务处理这样的模式。如果是分布式,那么还会加上路由,集群,负载均衡等基础模块,而基于管理方便考虑还会加上配置管理,服务治理等周边模块。本次我们的介绍会屏蔽这些周边东西,直击比较底层的本质。如果要了解这块内容,可以去看看dubbo框架。

                                           image

在这个基础上,目前市面上的成品WEB服务器,一般又会细分出两个,一个是偏向处理连接web服务器如appache、nginx,还一类就是带连接,主要作为应用处理容器的应用服务器如jetty 、tomcat,当前我们要说的是变向后者。而在JAVA系中,作为应用处理的一个核心关键概念就是servlet,那么我们把上面这个图扩展下,就可以比较清晰的了解到这之间的相互关系及各自在这个web框架中的位置作用。

                                       image

左边部分即为tomcat,jetty之类的应用服务,主要功能其实偏向装载servlet的容器,servlet在JAVA中就是处理请求应答业务的模块,而其 connector模块为其弱点,所以一些追求高性能的后台服务就自己搞connector,以NIO,AIO为基础,netty是当前高并发架构后台服务connector常用的NIO框架。同时我们还有右边servlet部分,当然servlet就是处理请求应答的一个东西,接口虽然一致了,但是实现还是有多种多样,所以很多时候servlet也有实现好的基本款供选择,请求的解析,应答的封装这些都帮你搞定了,那么你就可以只专注业务就好了。而阿里的开源框架DUBBO就是基本给你实现了上图中的所有功能。你们只需要写你自己的业务接口服务。

spring

还是得说说spring。我们知道各个部件都准备好了,总得把他们放在一起组装起来——这个其实还是简单的,那么接下来的一个问题,我们还想把各个部件灵活替换——即把相互之间的依赖关系解耦,那么spring这个框架就是这么个功效。当你把一部大炮准备好了之后,你发觉炮管短小,威力不足,OK,通过spring你可以随时很方便的替换上强有力的炮管,威力加强而不影响其他人。这是spring 核心的作用,这也是为什么不管啥框架,都会把他放到spring 上(至少兼容)组装的原因。以 spring为中心,组合上各个后台功能模块,加上合理的设计就组成了我们各式各样的web架构。

                                                 image

计算机原理-程序编译及运行(五)

前面一篇我们已经知道CPU所需的指令和数据都在内存中的基本工作原理,现在再介绍下程序运行在内存的分布情况。

我们知道对于计算机系统来说,最底层的是硬件,硬件之上是操作系统,而我们的程序都是基于操作系统来运行的,而不是基于硬件,这样操作系统为我们提供了一层抽象,所以对于程序员来说,不需要特别的关注计算机硬件。所以正常来说介绍完硬件后,应该来介绍操作系统。但是我们知道在计算机在不断的发展,硬件,操作系统都在不断发展。而无论怎么发展,程序运行都离不开内存,所以我决定以内存和出发点,来看硬件,操作系统以及应用程序的发展过程。

一.操作系统历史

1.手工系统:独占处理,程序运行独占所有CPU,内存资源。

2.单道批处理系统:程序独占资源,自动化操作

3.多道批处理操作系统:程序独占CPU,共享内存(同时加载到内存)

4.分时操作系统:CPU时间分片,通过调度按权限让程序轮流执行。

5.现在操作系统:多CPU,多进程,多线程,虚拟内存等等,进化史基本就是为了更好的执行效率,更好的用户体验,基本都是为了克服硬件的IO问题。

二.程序编译和链接

一里面我们知道了操作系统如何调度让程序在机器上更加高效的运行起来,现在我们来看看程序是如何从一行行代码变成可运行的可执行程序的。

编译过程:

(源代码)–预处理–编译—汇编—链接–(可执行文件)。在Linux下一般使用GCC来编译C语言程序, 而VS中使用cl.exe。下图就是上面的代码在GCC中编译的过程。我们后面讨论的都以C语言为例。编译器

 

2.1.1 预处理

预处理是程序编译的第一步,以C语言为例, 预编译会把源文件预编译成一个 .I 文件。而C++则是编译成 .ii。 GCC中预编译命令如下

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. #gcc -E hello.c -o hello. I 

当我们打开hello.i 文件是会发现这个文件变的好大,因为其中包含的<stdio.h> 文件被插入到了hello.i 文件中,一下是截取的一部分内容

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. # 1 “hello.c”
  2. # 1 “<built-in>”
  3. # 1 “<命令行>”
  4. # 1 “hello.c”
  5. # 1 “/usr/include/stdio.h” 1 3 4
  6. # 28 “/usr/include/stdio.h” 3 4
  7. # 1 “/usr/include/features.h” 1 3 4
  8. # 324 “/usr/include/features.h” 3 4
  9. # 1 “/usr/include/i386-linux-gnu/bits/predefs.h” 1 3 4
  10. # 325 “/usr/include/features.h” 2 3 4
  11. # 357 “/usr/include/features.h” 3 4
  12. # 1 “/usr/include/i386-linux-gnu/sys/cdefs.h” 1 3 4
  13. # 378 “/usr/include/i386-linux-gnu/sys/cdefs.h” 3 4
  14. # 1 “/usr/include/i386-linux-gnu/bits/wordsize.h” 1 3 4
  15. # 379 “/usr/include/i386-linux-gnu/sys/cdefs.h” 2 3 4
  16. # 358 “/usr/include/features.h” 2 3 4
  17. # 389 “/usr/include/features.h” 3 4
  18. # 1 “/usr/include/i386-linux-gnu/gnu/stubs.h” 1 3 4# 940 “/usr/include/stdio.h” 3 4
  19. # 2 “hello.c” 2
  20. int main()  
  21. {  
  22.     printf(“Hello, world.\n”);  
  23. return 0;  

总结下来预处理有一下作用:

  • 所有的#define删除,并且展开所有的宏定义
  • 处理所有的条件预编译指令,比如我们经常使用#if #ifdef #elif #else #endif等来控制程序
  • 处理#include 预编译指令,将被包含的文件插入到该预编译指令的位置。这也就是为什么我们要防止头文件被多次包含。
  • 删除所有注释 “//”和”/* */”.
  • 添加行号和文件标识,以便编译时产生调试用的行号及编译错误警告行号。比如上面的 # 2 “hello.c” 2
  • 保留所有的#pragma编译器指令,因为编译器需要使用它们。
2.1.2 编译

编译是一个比较复杂的过程。编译后产生的是汇编文件,其中经过了词法分析、语法分析、语义分析、中间代码生成、目标代码生成、目标代码优化等六个步骤。如要要详细深入研究,就要去看下《编译原理》。当我们语法有错误、变量没有定义等问题是,就会出现编译错误。

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. #gcc -S hello.i -o hello.s 

通过上面的命令,可以从预编译文件生成汇编文件,当然也可以之际从源文件编译成汇编文件。实际上是通过一个叫做ccl的编译程序来完成的。

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1.     .file   “hello.c”  
  2.     .section    .rodata  
  3. .LC0:  
  4.     .string “Hello, world.”  
  5.     .text  
  6.     .globl  main  
  7.     .type   main, @function  
  8. main:  
  9. .LFB0:  
  10.     .cfi_startproc  
  11.     pushl   %ebp  
  12.     .cfi_def_cfa_offset 8  
  13.     .cfi_offset 5, -8  
  14.     movl    %esp, %ebp  
  15.     .cfi_def_cfa_register 5  
  16.     andl    $-16, %esp  
  17.     subl    $16, %esp  
  18.     movl    $.LC0, (%esp)  
  19.     call    puts  
  20.     movl    $0, %eax  
  21.     leave  
  22.     .cfi_restore 5  
  23.     .cfi_def_cfa 4, 4  
  24.     ret  
  25.     .cfi_endproc  
  26. .LFE0:  
  27.     .size   main, .-main  
  28.     .ident  “GCC: (Ubuntu/Linaro 4.6.3-1ubuntu5) 4.6.3″  
  29.     .section    .note.GNU-stack,””,@progbits 

上面就是生成的汇编文件。我们看出其中分了好几个部分。我们只需要关注,LFB0这个段中保存的就是C语言的代码对于的汇编代码.。

2.1.3 汇编

汇编的过程比较简单,就是把汇编代码转换为机器可执行的机器码,每一个汇编语句机会都对应一条机器指令。它只需要根据汇编指令和机器指令的对照表进行翻译就可以了。汇编实际是通过汇编器as来完成的,gcc只不过是这些命令的包装。

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. #gcc -c hello.s -o hello.o  
  2. //或者  
  3. #as hello.s -o hello.o 

汇编之后生成的文件是二进制文件,所以用文本打开是无法查看准确的内容的,用二进制文件查看器打开里面也全是二进制,我们可以用objdump工具来查看:

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. cc@cheng_chao-nb-vm:~$ objdump -S hello.o  
  2. hello.o:     file format elf32-i386  
  3. Disassembly of section .text:  
  4. 00000000 <main>:  
  5.    0:   55                      push   %ebp  
  6.    1:   89 e5                   mov    %esp,%ebp  
  7.    3:   83 e4 f0                and    $0xfffffff0,%esp  
  8.    6:   83 ec 10                sub    $0x10,%esp  
  9.    9:   c7 04 24 00 00 00 00    movl   $0x0,(%esp)  
  10.   10:   e8 fc ff ff ff          call   11 <main+0x11>  
  11.   15:   b8 00 00 00 00          mov    $0x0,%eax  
  12.   1a:   c9                      leave    
  13.   1b:   c3                      ret     

上面我们看到了Main函数汇编代码和机器码对应的关系。关于objdump工具后面会介绍。这里生成的.o文件我们一般称为目标文件,此时它已经和目标机器相关了。

2.1.4 链接

链接是一个比较复杂的过程,其实链接的存在是因为库文件的存在。我们知道为了代码的复用,我们可以把一些常用的代码放到一个库文件中提供给其他人使用。而我们在使用C,C++等高级语言编程时,这些高级语言也提供了一些列这样的功能库,比如我们这里调用的printf 函数就是C标准库提供的。 为了让我们程序正常运行,我们就需要把我们的程序和库文件链接起来,这样在运行时就知道printf函数到底要执行什么样的机器码。

view plain copy

print?在CODE上查看代码片派生到我的代码片

  1. #ld -static crt1.o crti.o crtbeginT.o hello.o -start-group -lgcc -lgcc_eh -lc-end-group crtend.o crtn.o 

我们看到我们使用了链接器ld程序来操作,但是为了得到最终的a.out可执行文件(默认生成a.out),我们加入了很多目标文件,而这些就是一个printf正常运行所需要依赖的库文件。

2.1.5 托管代码的编译过程

对于C#和Java这种运行在虚拟机上的语言,编译过程有所不同。 对于C,C++的程序,生成的可执行文件,可以在兼容的计算机上直接运行。但是C#和JAVA这些语言则不同。他们编译过程是相似的,但是他们最终生成的并不是机器码,而是中间代码,对于C#而言叫IL代码,对于JAVA是字节码。所以C#,JAVA编译出来的文件并不能被执行。

我们在使用.NET或JAVA时都需要安装.NET CLR或者JAVA虚拟机,以.NET为例,CLR实际是一个COM组件,当你点击一个.NET的EXE文件时,它和C++等不一样,不能直接被执行,而是有一个垫片程序来启动一个进程,并且初始化CLR组件。当CLR运行后,一个叫做JIT的编译器会吧EXE中的IL代码编译成对应平台的机器码,然后如同其他C++程序一样被执行。

计算机原理-内存(四)

前面讲了些CPU及CPU与其他部件之间的交互等,我们也知道,对于计算机来说,CPU跟内存是衡量性能的很重要的指标,同时也跟编程性能有莫大关系,所以现在就专门来看看内存里的一些道道~

内存组成

不多说,先上图,好对内存有个直观的印象

图中内存大小为128M,其他是它是由多个内存颗粒组成,而并非单个颗粒就是128M,内存颗粒学名 DRAM芯片。一般的内存都是由多个DRAM芯片组成,进行字长及容量的扩展。比如128M,32位内存,可能是有 8个 16M*4位的单个DRAM芯片组成!这样做应该是工艺成本的制约。篇幅所限,DRAM芯片张啥样及如何进行字长及容量的扩展在其他篇幅中再介绍!

内存地址

字长

计算机在同一时间内处理的一组二进制数称为一个计算机的“字”,而这组二进制数的位数就是“字长”。通常称处理字长为8位数据的CPU叫8位CPU,32位CPU就是在同一时间内处理字长为32位的二进制数据。 所以这里的字并不是我们理解的双字节(Word)而是和硬件相关的一个概念。一般来说计算机的数据线的位数和字长是相同的。这样从内存获取数据后,只需要一次就能把数据全部传送给CPU。

地址总线

前面我们已经介绍过地址总线的功能。地址总线的数量决定了他最大的寻址范围。就目前来说一般地址总线先字长相同。比如32位计算机拥有32为数据线和32为地线,最大寻址范围是4G(0x00000000 ~ 0xFFFFFFFF)。当然也有例外,Intel的8086是16为字长的CPU,采用了16位数据线和20位数据线。

内存编址

内存的大小和它芯片扩展方式有关。比如我们内存模块是采用 16M*8bit的内存颗粒,那么我们使用4个颗粒进行位扩展,成为16M*32bit,使用4个颗粒进行字容量扩展变为64M*32bit。那么我们内存模块使用了8个内存颗粒,实际大小是128MB。

我们需要对这个128M的内存进行编址以便CPU能够使用它,通常我们多种编址方式:

  1. 按字编址:    对于这个128M内存来说,它的寻址范围是32M,而每个内存地址可以存储32bit数据。
  2. 按半字编址:对于这个128M内存来说,它的寻址范围是64M,而每个内存地址可以存储16bit数据。
  3. 按字节编址:对于这个128M内存来说,它的寻址范围是128M,而每个内存地址可以存储8bit数据。

目前的计算机,主要都是采用按字节编址的方式这也是为什么对于32位计算机来说,能使用的最多容量的内存为4GB如果我们按字编地址,能使用的最大内存容量就是16GB了。

内存数据存放

前面我们知道了,内存是按字节编址,每个地址的存储单元可以存放8bit的数据。我们也知道CPU通过内存地址获取一条指令和数据,而他们存在存储单元中。现在就有一个问题。我们的数据和指令不可能刚好是8bit,如果小于8位,没什么问题,顶多是浪费几位(或许按字节编址是为了节省内存空间考虑)。但是当数据或指令的长度大于8bit呢?因为这种情况是很容易出现的,比如一个16bit的Int数据在内存是如何存储的呢?

其实一个简单的办法就是使用多个存储单元来存放数据或指令。比如Int16使用2个内存单元,而Int32使用4个内存单元。当读取数据时,一次读取多个内存单元。于是这里又出现2个问题:

  1. 多个存储单元存储的顺序?
  2. 如何确定要读几个内存单元?
  3. 如何快速寻址?
大端和小端存储
  1. Little-Endian 就是低位字节排放在内存的低地址端,高位字节排放在内存的高地址端。
  2. Big-Endian 就是高位字节排放在内存的低地址端,低位字节排放在内存的高地址端。

需要说明的是,计算机采用大端还是小端存储是CPU来决定的, 我们常用的X86体系的CPU采用小端,一下ARM体系的CPU也是用小端,但有一些CPU却采用大端比如PowerPC、Sun。

存储顺序解决了,那么再来看看如何确定大小,而这也是cpu决定的所以我们先来看看cpu指令。

cpu指令

首先我们来看看CPU指令的格式,我们知道CPU质量主要就是告诉CPU做什么事情,所以一条CPU指令一般包含操作码(OP)和操作

操作码字段
   地址码字段

根据一条指令中有几个操作数地址,可将该指令称为几操作数指令或几地址指令。

 操作码
 A1
 A2
 A3

三地址指令: (A1) OP (A2) –> A3

 操作码
 A1
 A2

二地址指令: (A1) OP (A2) –> A1

 操作码
  A1

一地址指令: (AC) OP (A) –> AC   

 操作码

零地址指令

A1为被操作数地址,也称源操作数地址; A2为操作数地址,也称终点操作数地址; A3为存放结果的地址。 同样,A1,A2,A3以是内存中的单元地址,也可以是运算器中通用寄存器的地址。所以就有一个寻址的问题。关于指令寻址后面会介绍。

CPU指令设计是十分复杂的,因为在计算机中都是0和1保存,那计算机如何区分一条指令中的操作数和操作码呢?如何保证指令不会重复呢?这个不是我们讨论的重点,有兴趣的可以看看计算机体系结构的书,里面都会有介绍。从上图来看我们知道CPU的指令长度是变长的。所以CPU并不能确定一条指令需要占用几个内存单元,那么CPU又是如何确定一条指令是否读取完了呢?

3.1.2.2 指令的获取

现在的CPU多数采用可变长指令系统。关键是指令的第一字节。 当CPU读指令时,并不是一下把整个指令读近来,而是先读入指令的第一个字节。指令译码器分析这个字节,就知道这是几字节指令。接着顺序读入后面的字节。每读一个字节,程序计数器PC加一。整个指令读入后,PC就指向下一指令(等于为读下一指令做好了准备)。

Sample1:

view plaincopyprint?在CODE上查看代码片派生到我的代码片

  1. MOV AL,00  机器码是1011 0000 0000 0000 

机器码是16位在内存中占用2个字节:

【00000000】 <- 0x0002

【10110000】 <- 0x0001

比如上面这条MOV汇编指令,把立即数00存入AL寄存器。而CPU获取指令过程如下:

  1. 从程序计数器获取当前指令的地址0x0001。
  2. 存储控制器从0x0001中读出整个字节,发送给CPU。PC+1 = 0X0002.
  3. CPU识别出【10110000】表示:操作是MOV AL,并且A2是一个立即数长度为一个字节,所以整个指令的字长为2字节。
  4. CPU从地址0x0002取出指令的最后一个字节
  5. CPU将立即数00存入AL寄存器。

这里的疑问应该是在第3步,CPU是怎么知道是MOV AL 立即数的操作呢?我们在看下面一个列子。

Sample2:

view plaincopyprint?在CODE上查看代码片派生到我的代码片

  1. MOV AL,[0000] 机器码是1010 0000 0000 0000 0000 0000 

这里同样是一条MOV的汇编指令,整个指令需要占用3个字节。

【00000000】 <-0x0003

【00000000】 <- 0x0002

【10100000】 <- 0x0001

我们可以比较一下2条指令第一个字节的区别,发现这里的MOV  AL是1010 0000,而不是Sample1中的1011 000。CPU读取了第一个字节后识别出,操作是MOV AL [D16],表示是一个寄存器间接寻址,A3操作是存放的是一个16位就是地址偏移量(为什么是16位,后面文章会介绍),CPU就判定这条指令长度3个字节。于是从内存0x0002~0x0003读出指令的后2个字节,进行寻址找到真正的数据内存地址,再次通过CPU读入,并完成操作。

从上面我们可以看出一个指令会根据不同的寻址格式,有不同的机器码与之对应。而每个机器码对应的指令的长度都是在CPU设计时就规定好了。8086采用变长指令,指令长度是1-6个字节,后面可以添加8位或16位的偏移量或立即数。 下面的指令格式相比上面2个就更加复杂。

  • 第一个字节的高6位是操作码,W表示传说的数据是字(W=1)还是字节(W=0),D表示数据传输方向D=0数据从寄存器传出,D=1数据传入寄存器。
  • 第二个字节中REG表示寄存器号,3位可以表示8种寄存器,根据第一字节的W,可以表示是8位还是16位寄存器。表3-1中列出了8086寄存器编码表
  • 第二个字节中的MOD和R/M指定了操作数的寻址方式,表3-2列出了8086的编码

这里没必要也无法更详细介绍CPU指令的,只需要知道,CPU指令中已经定义了指令的长度,不会出现混乱读取内存单元的现象。有兴趣的可以查看引用中的连接。

那么我们如何进行快速寻址呢?

内存对齐

存储器一个cell是8bit,进行位扩展使他和字长还有数据线位数是相同,那么一次就能传送CPU可以处理最多的数据。而前面我们说过目前是按字节编址可能是因为一个cell是8bit,所以一次内存操作读取的数据就是和字长相同。

也正是因为和存储器扩展有关(参考1.2.1的图),每个DRAM位扩展芯片使用相同RAS。如果需要跨行访问,那么需要传递2次RAS。所以以32位CPU为例,CPU只能对0,4,8,16这样的地址进行寻址。而很多32位CPU禁掉了地址线中的低2位A0,A1,这样他们的地址必须是4的倍数,否则会发送错误。

如上图,当计算机数据线为32位时,一次读入4个地址范围的数据。当一个int变量存放在0-3的地址中时,CPU一次就内存操作就可以取得int变量的值。但是如果int变量存放在1-4的地址中呢? 根据上面条件2的解释,这个时候CPU需要进行2次内存访问,第一次读取0-4的数据,并且只保存1-3的内容,第二次访问读取4-7的数据并且只保存4的数据,然后将1-4组合起来。如下图:

所以内存对齐不但可以解决不同CPU的兼容性问题,还能减少内存访问次数,提高效率。

如何内存对齐

http://blog.csdn.net/cc_net/article/details/2908600

计算机原理-IO(三)

CPU和存储器之间是如何相互之间通信的呢,IO性能的瓶颈又是在哪里,希望看了这节可以给你解答。

总线

目前软件架构都流行ESB企业总线来处理消息的相互流转,这个架构灵感就参考了计算机中的总线。所谓总线是各种功能部件之间传送信息的公共通信干线,它是由导线组成的传输线束。我们知道计算机有运算器,控制器,存储器,输入输出设备这五大组件,所以总线就是用来连接这些组件的导线。

按照计算机所传输的信息种类,计算机的总线可以划分为

  • 数据总线: 数据总线DB是双向三态形式的总线,即它既可以把CPU的数据传送到存储器或输入输出接口等其它部件,也可以将其它部件的数据传送到CPU。数据总线的位数是微型计算机的一个重要指标,通常与微处理的字长相一致。我们说的32位,64位计算机指的就是数据总线。
  • 地址总线: 地址总线AB是专门用来传送地址的,由于地址只能从CPU传向外部存储器或I/O端口,所以地址总线总是单向三态的,这与数据总线不同。地址总线的位数决定了CPU可直接寻址的内存空间大小
  • 控制总线:控制总线主要用来传送控制信号和时序信号。控制总线的传送方向由具体控制信号而定,一般是双向的,控制总线的位数要根据系统的实际控制需要而定。其实数据总线和控制总线可以共用。

总线也可以按照CPU内外来分类:

  • 内部总线:在CPU内部,寄存器之间和算术逻辑部件ALU与控制部件之间传输数据所用的总线称为片内部总线。
  • 外部总线:通常所说的总线指片外部总线,是CPU与内存RAM、ROM和输入/输出设备接口之间进行通讯的通路,也称系统总线。

控制芯片

主要控制CPU和存储器,I/O设备等进行交互。一般都集成在主板上,所以攒机也不能忽略主板的。

对于目前的计算机结构来说,控制芯片集成在主板上,典型的有南北桥结构和单芯片结构。与芯片相连接的总线可以分为前端总线(FSB)、存储总线、IQ总线,扩展总线等。

  • 南北桥芯片结构
    • 北桥芯片,它控制着CPU的类型,主板的总线频率,内存控制器,显示核心等。它直接与CPU、内存、显卡、南桥相连,所以它数据量非常大;
      • 前端总线:是将CPU连接到北桥芯片的总线。FSB的频率是指CPU和北桥之间的数据交换速度。速度越快,数据带宽越高,计算机性能越好;
      • 内存总线:是将内存连接到北桥芯片的总线。用于和北桥之间的通信;
      • 显卡总线:是将显卡连接到北桥芯片的总新。目前有AGP,PCI-E等接口。其实并没有显卡总线一说,一般认为属于I/O总线;
    • 南桥芯片,它主要负责外部接口和内部CPU的联系;
      • I/O总线:连接外部I/O设备连接到南桥的总线, 比如USB设备,ATA,SATA设备,以及一些扩展接口;
      • 扩展总线:主要是主板上提供的一些PCI,ISA等插槽;
  • 单芯片结构: 单芯片组主要是是取消了北桥,因为现在CPU中内置了内存控制器,不需要再通过北桥来控制,这样就能提高内存控制器的频率,减少延迟。而现在一些CPU还集成了显示单元。也使得显示芯片的频率更高,延迟更低。

频率=性能

数据带宽 = (总线频率*数据位宽)/ 8

(每秒传送次数*每次传送大小)/单位大小转换

外频:系统总线的工作频率,一般的电脑这个是连接其他部件工作的基础频率。

分频:外部IO频率比系统总线低,采用2/3或1/3分频的方式就能使得CPU和外设同步的工作了。

倍频:CPU比外频高,所以需要一个倍频来协调工作。

CPU工作频率=外频*倍频

内存总线频率:

因为内存总线频率不同,所以内存和CPU之间存在同步和异步两种工作方式。

  • 同步方式:内存总线频率和CPU外频相同。比如以前的PC133和P3处理器,他们以同步的方式工作在133MHZ下。而当你超频时就需要拥有更高总线频率的内存。当然也需要北桥芯片的支持。
  • 异步方式:内存总线频率和CPU外频不同。睡着CPU外频的提高,内存也必须更新,所以出现了异步的方式。比如P4 CPU外频为200MHz,而内存却可以使用DDR333来运行。同时异步方式也在超频时经常使用。一般来说会有一个内存异步比率。在BIOS中会有相应的选项。

从性能上来讲,同步方式的延迟要好于异步方式,这也是为什么以前会说P4 200外频的CPU要使用DDR400才能发挥最大功效。但这也不是绝对的。比如我的I5处理器CPU外频工作在100MHz,而我使用的DDR3-1600的总线频率在200MHz,虽然不同步,但是拥有更高的传输速率。所以不能一概而论。

外部IO:

前面主要介绍了系统总线和CPU与内存之间的通信,最后一部分简单介绍一下CPU和I/O设备是如何通信的。对于计算机来说输入输出设备也是五大组件。我们知道相对于CPU,I/O设备的工作频率要慢的很多。比如早期的PCI接口工作频率只有33MHz,硬盘的IDE-ATA6的传输速率也只有133MB/s。而现在的 SATA3接口速率能达到600MB/s。

I/O设备一般由机械部件和电子部件两部分组成。电子设备一般称为设备控制器,在计算机上一般以芯片的形式出现,比如我们前面介绍的南桥芯片。不同的控制器可以控制不同的设备。所以南桥芯片中包含了多种设备的控制器,比如硬盘控制器,USB控制器,网卡、声卡控制器等等。而通过总线以及卡槽提供和设备本身的连接。比如PCI,PCI-E,SATA,USB等。

每个控制器都有几个寄存器和CPU进行通信。通过写入这些寄存器,可以命令设备发送或接受数据,开启或关闭。而通过读这些寄存器就能知道设备的状态。因为寄存器数量和大小是有限的,所以设备一般会有一个RAM的缓冲区,来存放一些数据。比如硬盘的读写缓存,显卡的显存等。一方面提供数据存放,一方面也是提高I/O操作的速度。

现在的问题是CPU如何和这些设备的寄存器或数据缓冲区进行通信呢?存在两个可选方案:

  1. 为每个控制器分配一个I/O端口号,所有的控制器可以形成一个I/O端口空间。存放在内存中。一般程序不能访问,而OS通过特殊的指令和端口号来从设备读取或是写入数据。早期计算机基本都是这种方式。
  2. 将所有控制器的寄存器映射到内存空间,于是每个设备的寄存器都有一个唯一的地址。这种称为内存映射I/O。

    另一种方式是两种的结合,寄存器拥有I/O端口,而数据缓冲区则映射到内存空间。Pentinum就是使用这种方式,所以在IBM-PC兼容机中,内存的0-640K是I/O端口地址,640K-1M的地址是保留给设备数据缓冲区的。(关于内存分布后面文章会介绍)

    对于我们程序员来说这两种方案有所不同

    1. 对于第一种方式需要使用汇编语言来操作,而第2种方式则可以使用C语言来编程,因为他不需要特殊的指令控制,对待I/O设备和其他普通数据访问方式是相同的。
    2. 对于I/O映射方式,不需要特殊的保护机制来组织对I/O的访问,因为OS已经完成了这部分工作,不会把这一段内存地址分配给其他程序。
    3. 对于内存可用的指令,也能使用在设备的寄存器上。

    任何技术有有点就会有缺点,I/O内存映射也一样:

    1. 前面提到过Cache可以对内存进行缓存,但是如果对I/O映射的地址空间进行缓存就会有问题。所以必须有机制来禁用I/O映射空间缓存,这就增大了OS的复杂性。
    2. 另一个问题是,因为发送指令后需要判断是内存还是I/O操作,所以它们需要能够检查全部的内存空间。以前CPU,内存和I/O设备在同一个总线上,所以检查很方便。但是后来为了提高CPU和内存效率,CPU和内存之间有一条高速的总线(比如QPI)。这样I/O设备就无法查看内存地址,因为内存地址总线旁落到了内存和CPU的高速总线上,所以需要一个额外的芯片来处理(北桥芯片,内存控制器的作用),增大了系统的复杂度。

 

瓶颈:1.寄存器-》内存(倍频-外频-内存频率)(普通应用可以忽略)

            2.IO瓶颈    IO速度实在太低(高性能程序都使用预先加载到内存的方式或者内存映射的方式来处理IO瓶颈:以时间,空间,金钱换取速度)

计算机原理(二)

不知道大家是否有过攒机的经历,攒机的时候,我们经常说不能只管 CPU 频率多高,性能多好,也要兼顾其他设备的性能,经常听到的词汇就是内存要大,总线频率也要匹配,硬盘转数也要跟上,这些其实都是涉及到不同设备部件之间的IO,一个不匹配就会拖累其他的。前面我们已经看了些CPU的皮毛,那么接下来我们就看下这些可能拖后腿的部件吧!

存储器

存储系统除了内存,硬盘这些,大概分为:寄存器、Cache、内部存储器、外部存储。请看如下图:

金字塔顶端的性能最好,既然这样,为啥还要分层呢,直接用L0就好了!

性价比。没有性价比,这些东西就不可能飞入寻常百姓家!我们知道,CPU是很快的,所以我们需要通过分层来平衡IO瓶颈,越接近CPU用越快的存储介质:各种晶体管,磁盘!

寄存器

寄存器基本与CPU是同频的,说明其高性能,但同时也意味着高能耗,高成本!所以我们只能少量的把寄存器集成到CPU中!

CASHE

SRAM,静态RAM,通常用于高速缓存,一般CPU中就集成了2级缓存就是这个!

DRAM ,这个其实就是我们熟悉的内存,这个容量大,DDR表示双倍的速率,而现在又有了DDR2,DDR3,他们的带宽也是越来越大。

上面的介质在断电后数据是会消失的,所以不能用来永久 存储数据,而ROM ,FLASH以及磁盘设备就是用来永久存储数据的,当然ROM 比磁盘速度快!

上面讲了这么多的存储设备,那么下一回,我们就来讲讲他们之间的通信,借此也可以了解看看以后如果写代码可能的瓶颈在哪里。

计算机原理(一)

大学毕业作也快两年了,回顾下,其实大学很多课程都是非常基础,对IT工作者而言其实是非常有作用的,特别是当要学得更加深入的时候,再去回顾下基础的东西是非常有必要的,所以就记录下回顾下计算机原理 的心得体会!

计算机之父

计算机发展史也不必刻意去多写了,我们都说冯诺依曼是计算机之父,其实图灵大大才是教父!

计算机组成

我们的计算机核心就是 :存储程式,然后执行!

下图就是一个基本结构流程:输入,存储,执行,输出。

对我们写代码的来说,比较重要的是存储与执行,因为这涉及到程序的性能如IO,计算速度等,我们最关心的就是CPU与内存了!程序数据是存储在硬盘里面,而如果要执行,一般来说我们需要把程序启动,把执行指令加载到内存中(数据交互更快)缓存着,然后CPU执行内存中的指令运算得出结果输出!

指令集

我们都知道,计算机是只能识别0跟1的(不通电OR通电),但是如果只是使用 0跟1进行编程,OMG,我想我们都要晕了,所以就出现了指令,我们装机买CPU的时候,都会听到指令集这么个说法,指令集跟牛逼啥的,其实就对应了我们这里说的0和1的一些组合,每个指令集可以然CPU执行一个(或者一组【牛逼的指令集】)操作,越牛逼的指令集在相同硬件条件下,能够让计算机速度更快!

汇编语言

二进制指令集虽然可以让CPU识别并执行,但是作为人类,还是太难懂了,所以就出现汇编语言,他用符号来映射具体的指令集,可读性进一步提升!那么把汇编语言转化为指令集,就需要一个辅助工具,汇编器

高级语言

计算机技术要普及,汇编语言显然还是太晦涩难懂,并且跟具体的硬件还有太多耦合,不同CPU可能只能识别不同的指令集,这样就需要写不同的汇编程序去实现,为了生产力的发展,于是不断出现各种高级语言,如C,C++,JAVA,C#…,从前面我们知道,高级语言也是不能被计算机识别的,所以我们就要编译器将高级语言转换成汇编程序,不同CPU硬件,我们就用不同编译器进行转换成不同的汇编程序,而不需要写不同的程序,编译器帮我们把硬件的差异屏蔽!

高级语言之间的差异

C,C++这种语言,其实是可以跨平台的,但是所写的程序代码,在不同平台(硬件)就需要不同编译器从新编译过才能执行。那么是不是有语言是可以做到写一次代码,编译一次代码就可以到处运行了呢!答案是肯定的,根据前面的一些讲解,你应该猜到了,这中间肯定还要加一层东西吧?答案是肯定的,JVM 虚拟机就是这么个中间的东西,JAVA语言写的代码,是先编译成中间代码的,然后由JVM负责解释执行。因为是在运行的时候解释执行的,所以性能上会有所下降,当然这提高了生产力,所以性能下降算个P啊(当然这只是针对大多数普通程序来说)!当然还有更加牛逼的脚本语言,都不需要编译成中间代码,直接依靠解释器就执行起来了,这又叫脚本语言,JS,大蟒蛇…说实在,也不慢啊!

本来想说计算机原理来着,顺便扯了些语言的东西,我们还是回来看CPU的是如何工作的吧:

CPU

有前面的图我们看到,CPU主要是由运算器与控制器组成的,控制器负责指令的,运算器接收指令进行运算处理,如果就是看上去那么简单,那么就太小看CPU了,实际CPU的组成运算比这个复杂多了,我们来看看Intel奔腾处理器的详细组成:

好晕啊,我来来具体分析下组要部件运算器与控制器的组成:

 控制器由程序计数器、指令寄存器、指令译码器、时序产生器和操作控制器组成。它是计算机指挥系统,完成计算机的指挥工作。尽管不同计算机的控制器结构上有很大的区别,当就其基本功能而言,具有如下功能:

    • 取指令 从内存中取出当前指令,并生成下一条指令在内存中的地址。 
    • 分析指令 指令取出后,控制器还必须具有两种分析的功能。一是对指令进行译码或测试,并产生相应的操作控制信号,以便启动规定的动作。比如一次内存读/写操作,一个算术逻辑运算操作,或一个输入/输出操作。二是分析参与这次操作的各操作数所在的地址,即操作数的有效地址。 
    • 执行指令 控制器还必须具备执行指令的功能,指挥并控制CPU、内存和输入/输出设备之间数据流动的方向,完成指令的各种功能。 
    • 发出各种微操作命令 在指令执行过程中,要求控制器按照操作性质要求,发出各种相应的微操作命令,使相应的部件完成各种功能。 
    • 改变指令的执行顺序 在编程过程中,分支结构、循环结构等非顺序结构的引用可以大大提供编程的工作效率。控制器的这种功能可以根据指令执行后的结果,确定下一步是继续按原程序的顺序执行,还是改变原来的执行顺序,而转去执行其它的指令。 
    • 控制程序和数据的输入与结果输出 这实际也是一个人机对话的设计,通过编写程序,在适当的时候输入数据和输出程序的结果。 
    • 对异常情况和某些请求的处理 当计算机正在执行程序的过程中,发生了一些异常的情况,例如除法出错、溢出中断、键盘中断等。

运算器的组成和功能: 运算器由算术逻辑单元(ALU)、累加寄存器、数据缓冲寄存器和状态条件寄存器组成,它是数据加工处理部件,完成计算机的各种算术和逻辑运算。相对控制器而言,运算器接受控制器的命令而进行动作,即运算器所进行的全部操作都是由控制器发出的控制信号来指挥的,所以它是执行部件。运算器有两个主要功能:

  • 执行所有的算术运算,如加、减、乘、除等基本运算及附加运算;
  • 执行所有的逻辑运算,并进行逻辑测试,如与、或、非、零值测试或两个值的比较等。

总结起来就是如下的一个流程:

光看CPU貌似我们已经了解了基本原理,其实最需要了解的其实是各个模块之间的交互,因为外部之间的IO是最容易产生瓶颈与疑惑的,所以接下来我们得学习下 CPU与内存及其他设备的交互等!

计算机原理(七)-进程内存管理分段

我们知道,进程都有独立的虚拟内存空间,跟物理内存一样,因为物理内存大小有限定,存在被覆盖的风险,所以现代CPU一般通过虚拟内存通过MMU进行页表的映射管理。而进程内的空间也一样,因为编译程序的时候,进程内也需要生成各个虚拟地址表,而每个表的大小不固定,可能就会覆盖其他表的地址,而这时,采用的解决方案是早期A-16位内存采用的分段方式,防止被覆盖。

分段原因

在编译过程中会建立许多的表,来确定代码和变量的虚拟地址:

  • 被保存起来供打印清单的源程序正文;
  • 符号表,包含变量的名字和属性;
  • 包含所有用到的整形和浮点型数据的表;
  • 语法分析树,包括程序语法分析的结果;
  • 编译器内部过程调用的堆栈。

前面4张表会随着编译的进行不断增大,而堆栈的数据也会变化,现在的问题就是,每一张表的大小都不确定,那么如何指定每一张表在虚拟内存空间的地址呢?

 

分段作用

分页实际是一个纯粹逻辑上的概念,因为实际的程序和内存并没有被真正的分为了不同的页面。而分段则不同,他是一个逻辑实体。一个段中可以是变量,源代码或者堆栈。一般来说每个段中不会包含不同类型的内容。而分段主要有以下几个作用:

  1. 解决编译问题: 前面提到过在编译时地址覆盖的问题,可以通过分段来解决,从而简化编译程序。
  2. 重新编译: 因为不同类型的数据在不同的段中,但其中一个段进行修改后,就不需要所有的段都重新进行编译。
  3. 内存共享: 对内存分段,可以很容易把其中的代码段或数据段共享给其他程序,分页中因为数据代码混合在一个页面中,所以不便于共享。
  4. 安全性: 将内存分为不同的段之后,因为不同段的内容类型不同,所以他们能进行的操作也不同,比如代码段的内容被加载后就不应该允许写的操作,因为这样会改变程序的行为。而在分页系统中,因为一个页不是一个逻辑实体,代码和数据可能混合在一起,无法进行安全上的控制。
  5. 动态链接: 动态链接是指在作业运行之前,并不把几个目标程序段链接起来。要运行时,先将主程序所对应的目标程序装入内存并启动运行,当运行过程中又需要调用某段时,才将该段(目标程序)调入内存并进行链接。可见,动态链接也要求以段作为管理的单位。
  6. 保持兼容性

所以在现在的x86的体系结构中分段内存管理是必选的,而分页管理则是可选的。