Linux CPU core的电源管理(5)_cpu control及cpu hotplug

2019-07-14 01:53发布

1. 前言

由“Linux CPU core的电源管理(1)_概述”的描述可知,kernel cpu control位于“.kernelcpu.c”中,是一个承上启下的模块,负责屏蔽arch-dependent的实现细节,向上层软件提供控制CPU core的统一API(主要包括cpu_up/cpu_down等接口的实现)。本文将基于这些API,从上到下,分析CPU core从启动到关闭的整个过程(主要是CPU hotplug),进一步理解系统运行过程中CPU core电源管理相关的行为。 注1:其实这一部分已经不属于电源管理的范畴了,而是系统级的软件行为(boot、调度、电源管理等等),之所以放到这里讲述,主要原因是,这些复杂行为的背后,目的只有一个----节电。因此,本文只会focus在CPU core power状态切换的过程上,涉及到得其它知识,如进程调度,只会一笔带过。

2. possible/present/active/online cpus

前面文章提到过,kernel使用4个bitmap,来保存分别处于4种状态的CPU core:possible、present、active和online。这四个状态的意义到底是什么?下面我们根据相关的代码逻辑,来解答这个问题。 开始之前,先看一下kernel中对他们的注释: 1: /* include/linux/cpumask.h */ 2: 3: 4: /* 5: * The following particular system cpumasks and operations manage 6: * possible, present, active and online cpus. 7: * 8: * cpu_possible_mask- has bit 'cpu' set iff cpu is populatable 9: * cpu_present_mask - has bit 'cpu' set iff cpu is populated 10: * cpu_online_mask - has bit 'cpu' set iff cpu available to scheduler 11: * cpu_active_mask - has bit 'cpu' set iff cpu available to migration 12: * 13: * If !CONFIG_HOTPLUG_CPU, present == possible, and active == online. 14: * 15: * The cpu_possible_mask is fixed at boot time, as the set of CPU id's 16: * that it is possible might ever be plugged in at anytime during the 17: * life of that system boot. The cpu_present_mask is dynamic(*), 18: * representing which CPUs are currently plugged in. And 19: * cpu_online_mask is the dynamic subset of cpu_present_mask, 20: * indicating those CPUs available for scheduling. 21: * 22: * If HOTPLUG is enabled, then cpu_possible_mask is forced to have 23: * all NR_CPUS bits set, otherwise it is just the set of CPUs that 24: * ACPI reports present at boot. 25: * 26: * If HOTPLUG is enabled, then cpu_present_mask varies dynamically, 27: * depending on what ACPI reports as currently plugged in, otherwise 28: * cpu_present_mask is just a copy of cpu_possible_mask. 29: */ 30:
大意是这样的: possible状态的CPU意味着是“populatable(觉得这个单词还没有possible易懂)”的,可理解为存在这个CPU资源,但还没有纳入Kernel的管理范围; present状态的CPU,是已经“populated”的CPU,可理解为已经被kernel接管; online状态的CPU,表示可以被调度器使用; active状态的CPU,表示可以被migrate(什么意思?); 如果系统没有使能CPU Hotplug功能,则present等于possible,active等于online。 还真不是很容易理解,不急,我们一个一个分析。
2.1 possible CPU
possible的CPUs,代表了系统中可被使用的所有的CPU,在boot阶段确定之后,就不会再修改。以ARM64为例,其初始化的过程如下。 1)系统上电后,boot CPU启动,执行start_kernel(init/main.c),并分别调用boot_cpu_init和setup_arch两个接口,进行possible CPU相关的初始化。 2)boot_cpu_init负责将当前的boot CPU放到possible CPU的bitmap中,同理,boot CPU也是present、oneline、active CPU(因此,后续的描述,都是针对非boot CPU的)。如下: 1: /* init/main.c */ 2: 3: static void __init boot_cpu_init(void) 4: { 5: int cpu = smp_processor_id(); 6: /* Mark the boot cpu "present", "online" etc for SMP and UP case */ 7: set_cpu_online(cpu, true); 8: set_cpu_active(cpu, true); 9: set_cpu_present(cpu, true); 10: set_cpu_possible(cpu, true); 11: }
smp_processor_id用于获取当前的CPU id; set_cpu_xxx接口,可以将指定的CPU设置为(或者清除)指定的状态。
3)setup_arch负责根据MPIDR寄存器,以及DTS配置,解析并设置其它的possible CPU,如下: 1: /* arch/arm64/kernel/setup.c */ 2: 3: void __init setup_arch(char **cmdline_p) 4: { 5: ... 6: cpu_logical_map(0) = read_cpuid_mpidr() & MPIDR_HWID_BITMASK; 7: cpu_read_bootcpu_ops(); 8: #ifdef CONFIG_SMP 9: smp_init_cpus(); 10: smp_build_mpidr_hash(); 11: #endif 12: ... 13: } 14: 3a)cpu_logical_map数组 kernel使用一个整形数组(cpu_logical_map,定义如下),保存物理CPU(由ID标示)和逻辑CPU(数组的index)之间的映射,该数组的长度由NR_CPUS决定。 1: /* arch/arm64/include/asm/smp_plat.h */ 2: 3: /* 4: * Logical CPU mapping. 5: */ 6: extern u64 __cpu_logical_map[NR_CPUS]; 7: #define cpu_logical_map(cpu) __cpu_logical_map[cpu] 上面setup_arch代码的第六行,通过read_cpuid_mpidr接口,读取当前CPU(boot CPU)的ID(物理ID),并保存在map表的第一个位置。 3b)smp_init_cpus 如果使能了SMP,则调用smp_init_cpus接口,完成如下事情: 从DTS中解析其它CPU的HW ID(通过‘reg’关键字,如下),并保存在cpu_logical_map数组中; 对所有cpu_logical_map数组中的CPU,执行set_cpu_possible操作,将它们设置为possible状态。 1: { 2: ... 3: cpus { 4: #address-cells = <2>; 5: #size-cells = <0>; 6: 7: cpu@0 { 8: device_type = "cpu"; 9: compatible = "arm,cortex-a53", "arm,armv8"; 10: reg = <0x0 0x0>; 11: enable-method = "psci"; 12: cpu-idle-states = <&CPU_SLEEP_0 &CPU_SLEEP_1>; 13: }; 14: 15: cpu@1 { 16: device_type = "cpu"; 17: compatible = "arm,cortex-a53", "arm,armv8"; 18: reg = <0x0 0x1>; 19: enable-method = "psci"; 20: cpu-idle-states = <&CPU_SLEEP_0 &CPU_SLEEP_1>; 21: }; 22: ... 23: }; 24: ... 25: } 26:
CPU DTS文件示例。 
4)总结
对ARM64来说,possible的CPU,就是在DTS中指定了的,物理存在的CPU core。
2.2 present CPU
还是以ARM64为例,“start_kernel—>setup_arch”成功执行之后,继续执行“start_kernel—>rest_init—>kernel_init(pid 1,init task)—>kernel_init_freeable”,在kernel_init_freeable中会调用arch-dependent的接口:smp_prepare_cpus,该接口主要的主要功能有两个: 1)构建系统中CPU的拓扑结构,具体可参考“Linux CPU core的电源管理(2)_cpu topology”。 2)拓扑结构构建完成后,根据CPU的拓扑,初始化系统的present CPU mask,代码如下: 1: void __init smp_prepare_cpus(unsigned int max_cpus) 2: { 3: ... 4: /* Don't bother if we're effectively UP */ 5: if (max_cpus <= 1) 6: return; 7: 8: /* 9: * Initialise the present map (which describes the set of CPUs 10: * actually populated at the present time) and release the 11: * secondaries from the bootloader. 12: * 13: * Make sure we online at most (max_cpus - 1) additional CPUs. 14: */ 15: max_cpus--; 16: for_each_possible_cpu(cpu) { 17: if (max_cpus == 0) 18: break; 19: 20: if (cpu == smp_processor_id()) 21: continue; 22: 23: if (!cpu_ops[cpu]) 24: continue; 25: 26: err = cpu_ops[cpu]->cpu_prepare(cpu); 27: if (err) 28: continue; 29: 30: set_cpu_present(cpu, true); 31: max_cpus--; 32: } 33: }
4~6行:当然,如果CPU个数不大于1,则不是SMP系统,就没有后续的概念,直接返回。 16~32行,轮询所有的possible CPU,如果某个CPU core满足一些条件,则调用set_cpu_present,将其设置为present CPU,满足的条件包括:具备相应的cpu_ops指针(有关cpu ops请参考“Linux CPU core的电源管理(3)_cpu ops”);cpu ops的.cpu_prepare回调成功执行。
由“Linux CPU core的电源管理(3)_cpu ops”中有关CPU ops的解释可知,.cpu_prepare回调主要用于检查某个CPU是否具备执行的条件。如果.cpu_prepare执行成功,则说明该CPU是可以启动的。因此,present CPU的意义是:
该CPU已经被kernel识别到,并且具备执行代码的条件,后续可以在需要的时候(如hotpulg的时候),启动该CPU。
2.3 online CPU
由前面present CPU可知,如果某个CPU是present的,则说明该CPU具备boot的条件,但是否已经boot还是未知数。 由“Linux CPU core的电源管理(3)_cpu ops”的介绍可知,所谓的CPU boot,就是让CPU执行(取指译码/执行)代码(这里为linux kernel)。而CPU是否boot,则反映到online mask上,已经boot的CPU,会在secondary_start_kernel中,调用set_cpu_online接口,将其设置为online状态。反之,会在__cpu_disable中将其从online mask中清除。 有关CPU boot的流程,请参考下面的介绍。
2.4 active CPU
在单核时代,调度器(scheduler)的职责很单纯:主要负责管理、调教一帮调皮捣蛋的task,尽量以“公平公正”的原则,为它们分配有限的CPU资源。 但在SMP系统中,特别是支持CPU hotplug的系统中,调度器需要多操一份心,即:
CPU资源可以在任何时候增加或者删除。增加的时候,需要将新增的资源分配给等待的task。删除的时候,需要将那些运行在这些CPU上的task,转移到其它尚存的CPU上(这个过程称作migration)。
要达到上面的目的,调度器需要监视CPU hotplug有关的每一个风吹草动。由于调度器和CPU控制两个独立的模块,kernel通过notifier机制(“Linux CPU core的电源管理(1)_概述”中有提及,但没有过多介绍)实现这一功能。 简言之,每当系统的CPU资源有任何变动,kernel CPU control模块就会通知调度器,调度器根据相应的event(CPU_DOWN_FAILED、CPU_DOWN_PREPARE等),调用set_cpu_active接口,将某个CPU添加到active mask或者移出active mask。这就是active CPU的意义:
从调度器的角度,CPU的状态,即是否对调度器可见,或者说,调度器是否可以把task分配到这个CPU上运行。
注2:由此可知,active状态,只是为了方便调度器操作,抽象出的状态,和CPU电源管理之间没有耦合,后面就不在涉及这部分内容。

3. CPU的控制流程

CPU的控制流程,可以总结为up和down两种行为(和“.kernelcpu.c”中的cpu_up、cpu_down两个接口对应),up指CPU的启动过程,down指相反地过程。 根据CPU的发展过程,up和down的行为又可以分为三类:单核CPU的up/down;多核CPU的up/down;hotplugable CPU的up/down。下面让我们对这几种情况做一下简单的介绍。
3.1 单核CPU的控制流程
单核时代,只有一个CPU core,因此CPU的up/down,就是软件的整个生命周期(也就无所谓up/down了),如下:
1)系统上电,CPU从ROM代码执行,经bootloader(非必须),将控制权交给linux kernel。这就是cpu up的过程。 2)系统运行(一大堆省略号)。 3)由linux kernel及其进程调度算法所决定,不允许系统在没有CPU资源的情况下运行(这也是boot CPU的由来),所以系统的整个运行过程中,CPU都是up状态。 4)系统关闭,cpu down
3.2 多核CPU的控制流程
linux kernel对待SMP系统的基本策略是:指定一个boot CPU,完成系统的初始化,然后再启动其它CPU。过程如下:
1)boot CPU启动,其up/down的控制流程和生命周期,和单核CPU一样。 2)boot CPU启动的过程中,调用cpu_up接口,启动其它CPU(称作secondary CPUs),使它们变成online状态(具体可参考“Linux CPU core的电源管理(3)_cpu ops”)。这就是secondary CPUs的up过程。 3)由于CPU不支持hotplug功能,因此所有CPU只能up,不能down。直到系统关闭,才是cpu down

3.3 CPU hotplug的控制流程

对于支持CPU hotplug功能的平台来说,可以在系统启动后的任意时刻,关闭任意一个secondary CPU(对ARM平台来说,CPU0或者说boot CPU,是不可以被关闭的),并在需要的时候,再次打开它。因此,相应的CPU控制流程如下:
1)boot CPU启动,其up/down的控制流程和生命周期,和单核CPU一样。 2)boot CPU启动的过程中,调用cpu_up接口,启动secondary CPU,使它们变成online状态,这是secondary CPUs的up过程的一种。 3)在系统负荷较低、或者不需要使用的时候,调用cpu_down接口,关闭不需要使用的secondary CPU,这是secondary CPUs的down过程。 4)在需要的时候,再次调用cpu_up接口,启动处于down状态的CPU,这是secondary CPUs的up过程的另一种。
有关CPU hotplug的具体说明,可参考后面描述。

4. CPU hotplug

4.1 CPU hotplug的时机
在kernel/cpu.c中,cpu_up接口,只会在使能了CONFIG_SMP配置项(意味着是SMP系统)后才会提供。而cpu_down接口,则只会在使能了CONFIG_HOTPLUG_CPU配置项(意味着支持CPU hotplug)后才会提供。 在当前kernel实现中,只支持通过sysfs的形式,关闭或打开CPU(当然,如果需要可以自定义一些方法,实现动态开关核的功能,本文就不在描述了),例如:
echo 0 > /sys/devices/system/cpu/cpuX/online      # 关闭CPU echo 1 > /sys/devices/system/cpu/cpuX/online      # 打开CPU
另外,CPU hotplug还受“maxcpus”命令行参数影响: 系统启动的时候,可以通过命令行参数“maxcpus”,告知kernel本次启动所使用的CPU个数,该个数可以小于等于possible CPU的个数。系统初始化时,只会把“maxcpus”所指定个数的CPU置为present状态,具体可参考上面2.2小节所描述的smp_prepare_cpus的代码实现。 因此,CPU hotplug只能管理“maxcpus”所指定个数的CPU,具体可参考后面_cpu_up的流程分析。 注3:蜗蜗对这部分的理解,和“Documentationcpu-hotplug.txt”中的描述有出入,文档是这样描述的:
maxcpus=n    Restrict boot time cpus to n. Say if you have 4 cpus, using 
             maxcpus=2 will only boot 2. You can choose to bring the 
             other cpus later online, read FAQ's for more info.
它说其它CPU可以在后边被online,但从代码逻辑来说,没有机会online啊!先存疑吧!!
4.2 CPU hotplug的过程分析
CPU online的软件流程如下:
echo 0 > /sys/devices/system/cpu/cpuX/online 
        online_store(drivers/base/core.c) 
                device_online(drivers/base/core.c) 
                        cpu_subsys_online(drivers/base/cpu.c) 
                                cpu_up(kernel/cpu.c) 
                                        _cpu_up(kernel/cpu.c) 
CPU offline的流程和online类似,不再详细介绍。这两个操作,最终是由cpu_up/cpu_down(也即_cpu_up/_cpu_down)两个接口实现的,下面我们重点分析这两个接口。 注4:内核中经常有这样的函数,xxx、_xxx或者__xxx,区别是一个或者两个下划线,其中的含义是:
xxx接口,通常需要由某个锁保护,一般提供给其它模块调用。它会直接调用_xxx接口; _xxx接口,则不需要保护,一般由模块内部在确保安全的情况下调用。有时,外部模块确信可行(不需要保护),也可能会直接调用; __xxx接口,一般提供给arch-dependent的软件层实现,比如这里的arch/arm64/kernel/xxx.c。 理解这些含义后,会加快我们阅读代码的速度,另外,如果直接写代码,也尽量遵守这样的原则,以便使自己的代码更规范、更通用。
4.3 cpu_up流程分析
cpu_up的基本流程如下所示: cpu_up_overview 其要点包括:
1)up前后,发送PREPARE、ONLINE、STARTING等notify,以便让关心者作出相应的动作,例如调度器、RCU、workqueue等模块,都需要关注CPU的hotplug动作,以便进行任务的重新分配等操作。 2)执行Arch-specific相关的boot操作,将CPU boot起来,最终通过secondary_start_kernel接口,停留在per-CPU的idle线程上。
下面我们结合代码,对上述过程做一个简单的分析。
4.3.1 per-CPU的idle线程
我们在“linux cpuidle framework”的系列文章中,已经分析过linux cpuidle有关的工作原理,但却没有提及cpuidle的源头,这里我们补充回来。 首先,boot CPU在执行初始化动作的时候,会通过“smp_init—>idle_threads_init—>idle_init”的调用,为每个CPU创建一个idle线程,如下: 1: /* kernel/smpboot.c */ 2: static inline void idle_init(unsigned int cpu) 3: { 4: struct task_struct *tsk = per_cpu(idle_threads, cpu); 5: 6: if (!tsk) { 7: tsk = fork_idle(cpu); 8: if (IS_ERR(tsk)) 9: pr_err("SMP: fork_idle() failed for CPU %u ", cpu); 10: else 11: per_cpu(idle_threads, cpu) = tsk; 12: } 13: }
该接口的本质是,为每个CPU fork一个idle thread(由struct task_struct结构表示),并保存在一个per-CPU的全局变量(idle_threads)中。 此时,idle thread只是一个task结构,并没有执行。那它最终怎么执行的呢?我们继续往后面看。
4.3.2 arch-specific CPU boot
_cpu_up接口会在完成一些准备动作之后,调用平台相关的__cpu_up接口,由平台代码完成具体的up操作,如下: 1: static int _cpu_up(unsigned int cpu, int tasks_frozen) 2: { 3: int ret, nr_calls = 0; 4: void *hcpu = (void *)(long)cpu; 5: unsigned long mod = tasks_frozen ? CPU_TASKS_FROZEN : 0; 6: struct task_struct *idle; 7: 8: cpu_hotplug_begin(); 9: 10: if (cpu_online(cpu) || !cpu_present(cpu)) { 11: ret = -EINVAL; 12: goto out; 13: } 14: 15: idle = idle_thread_get(cpu); 16: if (IS_ERR(idle)) { 17: ret = PTR_ERR(idle); 18: goto out; 19: } 20: 21: ret = smpboot_create_threads(cpu); 22: if (ret) 23: goto out; 24: 25: ret = __cpu_notify(CPU_UP_PREPARE | mod, hcpu, -1, &nr_calls); 26: if (ret) { 27: nr_calls--; 28: pr_warn("%s: attempt to bring up CPU %u failed ", 29: __func__, cpu); 30: goto out_notify; 31: } 32: 33: /* Arch-specific enabling code. */ 34: ret = __cpu_up(cpu, idle); 35: if (ret != 0) 36: goto out_notify; 37: BUG_ON(!cpu_online(cpu)); 38: 39: /* Wake the per cpu threads */ 40: smpboot_unpark_threads(cpu); 41: 42: /* Now call notifier in preparation. */ 43: cpu_notify(CPU_ONLINE | mod, hcpu); 44: 45: out_notify: 46: if (ret != 0) 47: __cpu_notify(CPU_UP_CANCELED | mod, hcpu, nr_calls, NULL); 48: out: 49: cpu_hotplug_done(); 50: 51: return ret; 52: }
准备动作包括: 1)获取idle thread的task指针,该指针最终会以参数的形式传递给arch-specific代码。 2)创建一个用于管理CPU hotplug动作的线程(smpboot_create_threads),该线程的具体意义,后面会再说明。 3)发送CPU_UP_PREPARE notify。
以ARM64为例,__cpu_up的内部实现如下: 1: /* arch/arm64/kernel/smp.c */ 2: int __cpu_up(unsigned int cpu, struct task_struct *idle) 3: { 4: int ret; 5: 6: /* 7: * We need to tell the secondary core where to find its stack and the 8: * page tables. 9: */ 10: secondary_data.stack = task_stack_page(idle) + THREAD_START_SP; 11: __flush_dcache_area(&secondary_data, sizeof(secondary_data)); 12: 13: /* 14: * Now bring the CPU into our world. 15: */ 16: ret = boot_secondary(cpu, idle); 17: if (ret == 0) { 18: /* 19: * CPU was successfully started, wait for it to come online or 20: * time out. 21: */ 22: wait_for_completion_timeout(&cpu_running, 23: msecs_to_jiffies(1000)); 24: 25: if (!cpu_online(cpu)) { 26: pr_crit("CPU%u: failed to come online ", cpu); 27: ret = -EIO; 28: } 29: } else { 30: pr_err("CPU%u: failed to boot: %d ", cpu, ret); 31: } 32: 33: secondary_data.stack = NULL; 34: 35: return ret; 36: }
该接口以idle thread的task指针为参数,完成如下动作: 1)将idle线程的堆栈,保存在一个名称为secondary_data的全局变量中(这地方很重要,后面再介绍其中的奥妙)。 2)执行boot_secondary接口,boot CPU,具体的流程,可参考“Linux CPU core的电源管理(3)_cpu ops”中的描述。 3)boot_secondary返回后,等待对应的CPU切换为online状态。
4.3.3 secondary_startup
Linux CPU core的电源管理(3)_cpu ops” 4.1小节,分析了使用SPIN TABLE cpu ops的情况下,boot_secondary到secondary_startup的流程(其它cpu ops类似),本文继续secondary_startup的分析。 该接口位于arch/arm64/kernel/head.S中,负责secondary CPU启动后的后期操作,如下: 1: ENTRY(secondary_startup) 2: /* 3: * Common entry point for secondary CPUs. 4: */ 5: mrs x22, midr_el1 // x22=cpuid 6: mov x0, x22 7: bl lookup_processor_type 8: mov x23, x0 // x23=current cpu_table 9: cbz x23, __error_p // invalid processor (x23=0)? 10: 11: pgtbl x25, x26, x28 // x25=TTBR0, x26=TTBR1 12: ldr x12, [x23, #CPU_INFO_SETUP] 13: add x12, x12, x28 // __virt_to_phys 14: blr x12 // initialise processor 15: 16: ldr x21, =secondary_data 17: ldr x27, =__secondary_switched // address to jump to after enabling the MMU 18: b __enable_mmu 19: ENDPROC(secondary_startup) 20: 21: ENTRY(__secondary_switched) 22: ldr x0, [x21] // get secondary_data.stack 23: mov sp, x0 24: mov x29, #0 25: b secondary_start_kernel 26: ENDPROC(__secondary_switched)
我们重点关注上面16~17行,以及21~26行的__secondary_switched,__secondary_switched会将保存在secondary_data全局变量中的堆栈取出,保存在该CPU的SP中,并跳转到secondary_start_kernel继续执行。思考一下其中的意义:
我们都知道,CPU启动后,需要先配置好堆栈,才能进行后续的函数调用,这里使用的是该CPU idle thread的堆栈。就这么简单吗?当然不是,看一下kernel中“current”指针(获取当前task结构的宏定义)的实现方法: 1: #define current get_current() 2: #define get_current() (current_thread_info()->task) 3: 4: static inline struct thread_info *current_thread_info(void) 5: { 6: register unsigned long sp asm ("sp"); 7: return (struct thread_info *)(sp & ~(THREAD_SIZE - 1)); 8: } 9:
有没有豁然开朗的感觉?通过CPU的SP指针,是可以获得CPU的当前task的(这和linux kernel进程管理的实现有关,我们不深究)。也就是说,当CPU SP被赋值为idle thread的堆栈的那一瞬间,当前的上下文已经是idle thread了!!
至于后面的secondary_start_kernel,就比较简单了,使能GIC、Timers,设置CPU为online状态,使能本地IRQ中断。等等。最后,调用cpu_startup_entry,进入cpuidle的loop中,已经和“Linux cpuidle framework(1)_概述和软件架构”中描述接上了,自此,CPU UP完成。

4.4 cpu_down流程
cpu_down是cpu_up的反过程,用于将某个CPU从系统中移出。从表面上看,它和cpu_up的过程应该类似,但实际上它的处理过程却异常繁琐、复杂,同时牵涉到非常多的进程调度的知识,鉴于篇幅,本文就不再继续分析了。如果有机会,后面再专门用一篇文章分析这个过程。 另外,前面提到的smpboot有关的内容,也和cpu_down的过程有关,也就不再介绍了。

5. 小结

由本文的分析可知,cpu control有关的过程,其本身的逻辑比较简单,复杂之处在于:与此相关的系统服务(任务、中断、timer等等)的迁移。如果要理解这个过程,就必须有深厚的进程调度、中断管理等背景知识作支撑。不着急,来日方长,有机会我们继续分析。   原创文章,转发请注明出处。蜗窝科技www.wowotech.net