中断是计算机与外界联系的唯一途径。本文将分析在IA-32体系结构上的Linux内核对待中断系统的处理,针对的是2.6内核,引用的代码则具体则是2.6.14的。
一。几个相关概念的澄清
1, 中断信号:
在电路级别来说,中断就是输送到CPU的INTR引脚上的电平信号。
2, 可编程中断控制器(PIC,Programmable Interrupt Controller):
PIC是在计算机外部设备与CPU之间的芯片,它负责把自己接收到的外部中断信号,提交给CPU。在80386中,PIC是两片i8259A芯片级联;在Pentium以及后来的CPU中,集成了一个叫做高级可编程中断控制器(Advanced Programmable Interrupt Controller)的PIC。如果你想用IA32处理器搭建SMP系统,则APIC是必不可少的。
3, 中断向量与中断号:
中断向量是Intel从IA-32 CPU角度看到的中断信号划分;中断号则是Linux系统对外部中断的号码分配。当外设把中断信号递送给PIC时,与之关联的是一个“中断号”(每个中断号对应一条中断线,从软件的角度来看,这两个术语可以混用);当PIC把这个中断信号发送给CPU时,与之关联的是一个“中断向量”。
在IA-32体系结构中,所有的异常和不可屏蔽中断(Non-Maskable Interrupt)的中断向量都是Intel预先定义的,软件无法更改;可屏蔽中断的中断向量可以通过编程来更改。在Linux上,0号中断(也就是时钟中断)对应的中断向量是0x20,也就是十进制的32。
4, 异常(Exception)
顾名思义,异常是指CPU检测到了某种不正常的情形出现。CPU产生的异常是不可屏蔽的(eflags寄存器的IF位对异常不起作用),根据异常处理程序返回时,是否需要重新执行引发异常的那条指令,又可以把异常分为3种:
1)故障(Fault)。故障是比较轻微的异常,返回时重新执行引发故障的那条指令。
2)陷阱(Trap)。陷阱处理返回时,不重新执行引发陷阱的那条指令。
3)中止(Abort)。中止是严重的异常,将导致任务的中止而不会返回。
还有一种是程序产生的异常,如INT3指令、BOUND指令等。CPU把这种异常当作是陷阱来处理。
5, 中断描述表IDT
异常与中断发生时,都需要到IDT中查找相关信息,以找到对应的处理程序以及其他动作。需要注意的是,保护模式下发生权限提升时,中断穿越的是中断门,而异常穿越的是陷阱门。二者的区别是:当CPU穿越中断门时,是自动关中断的;而穿越异常门则不会。
二。重要数据结构与函数
在系统引导期间,需要初试化中断处理(asm/i386/kernel/entry.S):
422 #define BUILD_INTERRUPT(name, nr)
423 ENTRY(name)
424 pushl $nr-256; #这里得到一个负数,因为正数留给系统调用
425 SAVE_ALL #保存寄存器
426 movl %esp,%eax;
427 call smp_/**/name;
428 jmp ret_from_intr;
其中,SAVE_ALL宏就是用来保存寄存器的。
内核书籍中经常提到的中断上下文,指的是内核正在运行中断服务程序或softirq,无法代表当前进程的情形。中断上下文没有自己专有的堆栈,相反,它借用被中断进程的内核堆栈──IA-32上的Linux默认这个堆栈只有8k大小,而且很可能在处理中断的过程中又被另一个中断源中断。因此如果你自己编写中断处理程序,递归层次太深或者函数局部变量太大,都有可能导致栈溢出。(i386有一个4KStacks补丁,如果编译时打开该选项,则中断上下文使用独立的栈,而不占用被中断进程的。)
在include/linux/irq.h文件中,定义了一个中断描述数组iqr_desc[NR_IRQS],每一个中断向量都与它的一个元素相关联:
70 typedef struct irq_desc {
71 hw_irq_controller *handler;
72 void *handler_data;
73 struct irqaction *action; /* IRQ action list */
74 unsigned int status; /* IRQ status */
75 unsigned int depth; /* nested irq disables */
76 unsigned int irq_count; /* For detecting broken interrupts */
77 unsigned int irqs_unhandled;
78 spinlock_t lock;
79 #if defined (CONFIG_GENERIC_PENDING_IRQ) || defined (CONFIG_IRQBALANCE)
80 unsigned int move_irq; /* Flag need to re-target intr dest*/
81 #endif
82 } ____cacheline_aligned irq_desc_t; /*告诉GCC与CPU的L1告诉缓存对齐*/
83
84 extern irq_desc_t irq_desc [NR_IRQS];
当一个中断发生时,内核的处理是这样的(arch/i386/kernel/entry.S):
416 common_interrupt:
417 SAVE_ALL
418 movl %esp,%eax
419 call do_IRQ
420 jmp ret_from_intr
SAVE_ALL宏定义在entry.S中,负责保存寄存器,再将%esp寄存器移送到%eax中,调用do_IRQ()函数(arch/i386/kernel/irq.c):
/*
* do_IRQ()函数负责处理所有的外部设备中断(处理器间中断由它们各自
* 的处理函数来处理
*/
fastcall unsigned int do_IRQ(struct pt_regs *regs)
{
/* high bits used in ret_from_ code */
int irq = regs->orig_eax & 0xff;
/* i386上如果定义了CONFIG_4KSTAKS,就申请独立的栈,而不占用被中断进程的*/
#ifdef CONFIG_4KSTACKS
union irq_ctx *curctx, *irqctx;
u32 *isp;
#endif
irq_enter();
#ifdef CONFIG_DEBUG_STACKOVERFLOW
/* 检查堆栈溢出的代码,此处省去。 */
#endif
#ifdef CONFIG_4KSTACKS
curctx = (union irq_ctx *) current_thread_info();
irqctx = hardirq_ctx[smp_processor_id()];
/*
* 这是我们切换到中断栈的地方。然而,如果我们已经在使用中断栈(也
* 就是说,我们这次是中断了一个中断处理程序),我们就不切换栈,而
* 是继续使用当前的栈(此时,“当前的栈”是一个中断栈)
*/
if (curctx != irqctx) {
int arg1, arg2, ebx;
/* build the stack frame on the IRQ stack */
isp = (u32*) ((char*)irqctx + sizeof(*irqctx));
irqctx->tinfo.task = curctx->tinfo.task;
irqctx->tinfo.previous_esp = current_stack_pointer;
asm volatile(
" xchgl %%ebx,%%esp
"
" call __do_IRQ
"
" movl %%ebx,%%esp
"
: "=a" (arg1), "=d" (arg2), "=b" (ebx)
: "0" (irq), "1" (regs), "2" (isp)
: "memory", "cc", "ecx"
);
} else
#endif
__do_IRQ(irq, regs); //真正的中断处理
irq_exit(); /* 如果需要,处理softirq。注意,这里有两种可能不需要处理softirq:1, local_softirq_pending为假;2,我们刚刚是中断了一个中断,嵌套中断没有最终返回之前,softirq是不能处理的。 */
return 1;
}
注意,fastcall是在include/asm-i386/linkage.h中定义的宏,它指导GCC连接时把fastcall修饰的函数的前三个参数用寄存器传递。另外一个类似的宏asmlinkage则告诉GCC不要用寄存器传递参数,asmlinkage和fastcall不能共存。
上面的do_IRQ()函数调用的__do_IRQ()代码如下(arch/i386/kernel/irq.c)
fastcall unsigned int __do_IRQ(unsigned int irq, struct pt_regs *regs)
{
irq_desc_t *desc = irq_desc + irq; /* 找到在irq_desc数组中的位置 */
struct irqaction * action; /* 取得相应的irqaction结构 */
unsigned int status;
kstat_this_cpu.irqs[irq]++;
if (CHECK_IRQ_PER_CPU(desc->status)) {
irqreturn_t action_ret;
/*
* 因为irq_desc[]数组中,每个CPU占一个元素,这里的desc就是本CPU
* 数据,所以此处不需要加锁。
*/
desc->handler->ack(irq);
action_ret = handle_IRQ_event(irq, regs, desc->action);
desc->handler->end(irq);
return 1;
}
spin_lock(&desc->lock);
desc->handler->ack(irq); /* 给i8259A或APIC应答信号 */
/*
* REPLAY is when Linux resends an IRQ that was dropped earlier
* WAITING is used by probe to mark irqs that are being tested
*/
status = desc->status & ~(IRQ_REPLAY | IRQ_WAITING);
status |= IRQ_PENDING; /* we _want_ to handle it */
/*
* If the IRQ is disabled for whatever reason, we cannot
* use the action we have.
*/
action = NULL;
if (likely(!(status & (IRQ_DISABLED | IRQ_INPROGRESS)))) { /* 判断该IRQ是否是被禁止的,或者是已经在其他CPU上被处理 */
action = desc->action;
status &= ~IRQ_PENDING; /* 我们将处理它 */
status |= IRQ_INPROGRESS; /* 置位IRQ_INPROGRESS,以便其他CPU注意 */
}
desc->status = status;
/*
* 如果该IRQ没有处理函数,或者被禁止了,及早离开。
* 因为我们置位了PENDING,如果别的CPU正在处理该IRQ的
* 另一个实例,它就会小心些。
*/
if (unlikely(!action))
goto out;
/*
* Edge triggered interrupts need to remember
* pending events.
* This applies to any hw interrupts that allow a second
* instance of the same irq to arrive while we are in do_IRQ
* or in the handler. But the code here only handles the _second_
* instance of the irq, not the third or fourth. So it is mostly
* useful for irq hardware that does not mask cleanly in an
* SMP environment.
*/
for (;;) {
irqreturn_t action_ret;
spin_unlock(&desc->lock);
action_ret = handle_IRQ_event(irq, regs, action);
spin_lock(&desc->lock);
if (!noirqdebug)
note_interrupt(irq, desc, action_ret, regs);
if (likely(!(desc->status & IRQ_PENDING)))
break;
desc->status &= ~IRQ_PENDING;
}
desc->status &= ~IRQ_INPROGRESS;
out:
/*
* ->end()用来处理那些由于别的CPU正在运行其处理程序而被禁止的中断
*/
desc->handler->end(irq);
spin_unlock(&desc->lock);
return 1;
}
三。中断机制在SMP系统上的变化
当intel考虑如何在IA-32上架构SMP时,原来的中断控制器i8259A就显得力不从心了。在SMP上,必须考虑外部设备来的中断信号如何传递给某个合适的CPU问题,必须考虑IPI(Inter-Percossor Interrupt,处理器间中断)问题。Intel自Pentium之后,在CPU中集成了APIC,在SMP上,主板上有一个(至少一个,有的主板有多个IO-APIC,用来更好的分发中断信号)全局的APIC,它负责从外设接收中断信号,再分发到CPU上,这个全局的APIC被称作IO-APIC。
SMP的中断机制如下图所示:
图1: SMP系统中的中断分发示意图
在系统引导的时候,通过setup_IO_APIC()函数(arch/i386/kernel/io_apic.c)对IO-APIC进行初试化;每个CPU被激活成为online状态的时候,通过setup_local_APIC()函数(arch/kernel/i386/apic.c)对本地APIC进行初试化。
在SMP系统上,Linux除了处理CPU异常、外部设备中断之外,还要处理处理器间中断。当一个CPU想对另一个CPU发送中断信号时,就在自己的本地APIC的ICR寄存器(Interrupt Command Register,中断命令寄存器)中存放其中断向量,和目标CPU拥有的本地APIC的标识,触发中断。IPI中断信号经由APIC总线传递到目标APIC,那个收到中断的APIC就向自己所属的CPU发送一个中断。
Linux针对IA32的SMP系统定义了五种IPI:
1, CALL_FUNCTION_VECTOR。发往自己除外的所有CPU,强制它们执行指定的函数;
2, RESCHEDULE_VECTOR。使被中断的CPU重新调度;
3, INVLIDATE_TLB_VECTOR。使被中断的CPU废弃自己的TLB缓存内容。
4, ERROR_APIC_VECTOR。
5, SPUROUS_APIC_VECTOR。
在IA-32体系结构中,SMP的高速缓存一致性(Cache Coherence)问题是通过一种叫做总线监视(Bus watching,也叫Snoopying)的硬件技术来解决的。每当某个CPU或DMA控制器改写了某块内存区域的内容(这总是要通过总线来进行的,所以逃不过总线监视),别的CPU就会自动废弃缓存了该内存区域的Cache。然而对TLB的情况则有所不同(为什么不同?Intel的手册说TLB也可以对软件透明,这里有点疑惑),Linux内核中,每个CPU在改变了页表的时候,都需要给其它所有运行着与该页表有关的任务的CPU发送IPI,使它们废弃自己的TLB内容。
参考:
Understanding the Linux Kernel,2nd
IA-32 Intel Architecture Software Developer’s Manual, Volume 3: System Programming Guide