鴻蒙內(nèi)核源碼分析（內(nèi)存分配篇）：內(nèi)存的分配方式有哪些

小嵌 · 發(fā)表于 2020-11-20 11:56:50

鴻蒙內(nèi)核源碼分析（內(nèi)存分配篇）：內(nèi)存的分配方式有哪些,
鴻蒙內(nèi)核有多少代碼
內(nèi)存部分占了整個kernel代碼量近30%，代碼多實(shí)現(xiàn)復(fù)雜，而且內(nèi)存部分還分了兩個文件夾mem,vm大書特書，為什么要分兩個文件夾？應(yīng)該是鴻蒙內(nèi)核開發(fā)者想從目錄的名稱上區(qū)分內(nèi)存的層級概念，vm是內(nèi)存模塊的更底層實(shí)現(xiàn)，mem是提供給上層使用對vm層的調(diào)用。

mem層 mem層介紹可以參考 LiteOS > 開發(fā)指南> 內(nèi)核開發(fā)指南> 內(nèi)存> 概述看，有更詳細(xì)的描述，這里結(jié)合代碼說。 Huawei LiteOS的內(nèi)存管理分為靜態(tài)內(nèi)存管理和動態(tài)內(nèi)存管理，提供內(nèi)存初始化、分配、釋放等功能。

動態(tài)內(nèi)存：在動態(tài)內(nèi)存池中分配用戶指定大小的內(nèi)存塊。

優(yōu)點(diǎn)：按需分配。
缺點(diǎn)：內(nèi)存池中可能出現(xiàn)碎片。

靜態(tài)內(nèi)存：在靜態(tài)內(nèi)存池中分配用戶初始化時預(yù)設(shè)（固定）大小的內(nèi)存塊。

優(yōu)點(diǎn)：分配和釋放效率高，靜態(tài)內(nèi)存池中無碎片。
缺點(diǎn)：只能申請到初始化預(yù)設(shè)大小的內(nèi)存塊，不能按需申請。

動態(tài)內(nèi)存管理，即在內(nèi)存資源充足的情況下，從系統(tǒng)配置的一塊比較大的連續(xù)內(nèi)存（內(nèi)存池），根據(jù)用戶需求，分配任意大小的內(nèi)存塊。當(dāng)用戶不需要該內(nèi)存塊時，又可以釋放回系統(tǒng)供下一次使用。與靜態(tài)內(nèi)存相比，動態(tài)內(nèi)存管理的好處是按需分配，缺點(diǎn)是內(nèi)存池中容易出現(xiàn)碎片。LiteOS動態(tài)內(nèi)存支持DLINK和BEST LITTLE兩種標(biāo)準(zhǔn)算法。

動態(tài)內(nèi)存接口函數(shù) 動態(tài)內(nèi)存管理模塊為用戶提供下面幾種功能。

功能分類	接口名	描述
內(nèi)存初始化	LOS_MemInit	初始化一塊指定的動態(tài)內(nèi)存池，大小為size。
申請動態(tài)內(nèi)存	LOS_MemAlloc	從指定動態(tài)內(nèi)存池中申請size長度的內(nèi)存。
釋放動態(tài)內(nèi)存	LOS_MemFree	釋放已申請的內(nèi)存。
重新申請內(nèi)存	LOS_MemRealloc	按size大小重新分配內(nèi)存塊，并保留原內(nèi)存塊內(nèi)容。
內(nèi)存對齊分配	LOS_MemAllocAlign	從指定動態(tài)內(nèi)存池中申請長度為size且地址按boundary字節(jié)對齊的內(nèi)存。
分析內(nèi)存池狀態(tài)	LOS_MemStatisticsGet	獲取指定內(nèi)存池的統(tǒng)計(jì)信息。
查看內(nèi)存池中最大可用空閑塊	LOS_MemGetMaxFreeBlkSize	獲取指定內(nèi)存池的最大可用空閑塊。

這里L(fēng)OS_MemAlloc被調(diào)用的情況，太長還有很多沒截出來。
OsMemAllocWithCheck 采用內(nèi)存池是嵌入式內(nèi)存管理的一種常用做法，目的是減少申請和釋放內(nèi)存的開銷，簡單說就是先申請一大塊內(nèi)存，需要時從空閑鏈表中split，怎么切割鴻蒙就看最佳適應(yīng)算法（best fit），用完了回收，node進(jìn)入空閑鏈表，并從小到大排序，如果相鄰兩塊都是可用內(nèi)存塊就合并。直接看LOS_MemAlloc內(nèi)主要函數(shù)OsMemAllocWithCheck代碼

STATIC INLINE VOID *OsMemAllocWithCheck（VOID *pool, UINT32 size, UINT32 intSave）


{


LosMemDynNode *allocNode = NULL;


UINT32 allocSize;


LosMemPoolInfo *poolInfo = （LosMemPoolInfo *）pool;


const VOID *firstNode = （const VOID *）（（UINT8 *）OS_MEM_HEAD_ADDR（pool） + OS_DLNK_HEAD_SIZE）;


INT32 ret;





if （OsMemAllocCheck（pool, intSave） == LOS_NOK） {


      return NULL;


}





allocSize = OS_MEM_ALIGN（size + OS_MEM_NODE_HEAD_SIZE, OS_MEM_ALIGN_SIZE）;


if （allocSize == 0） {


      return NULL;


}


retry:





allocNode = OsMemFindSuitableFreeBlock（pool, allocSize）;//從內(nèi)存池中找到合適的內(nèi)存塊


if （allocNode == NULL） {


      if （poolInfo->flag & MEM_POOL_EXPAND_ENABLE） {


         ret = OsMemPoolExpand（pool, allocSize, intSave）;//木有找到就擴(kuò)展內(nèi)存池


         if （ret == 0） {


            goto retry;


         }


      }


      return NULL;


}


if （（allocSize + OS_MEM_NODE_HEAD_SIZE + OS_MEM_ALIGN_SIZE） <= allocNode->selfNode.sizeAndFlag） {


      OsMemSplitNode（pool, allocNode, allocSize）;//找到了就劈開node


}


OsMemListDelete（&allocNode->selfNode.freeNodeInfo, firstNode）;//從空閑雙鏈表中刪除該節(jié)點(diǎn)


return （allocNode + 1）;


}

復(fù)制代碼

很顯然，最佳適應(yīng)算法（best fit）去帶來很多極小塊內(nèi)存碎片的問題。

vm層 vm目錄：是虛擬內(nèi)存的代碼實(shí)現(xiàn)，包括物理內(nèi)存的段頁式管理，內(nèi)存虛擬地址<->物理地址映射，缺頁中斷處理，分配大塊內(nèi)存的伙伴算法，LRU置換算法，以及針對用戶態(tài)開發(fā)，提供的一套內(nèi)存系統(tǒng)調(diào)用接口等等，這部分官方?jīng)]有提供任何文檔，代碼注釋也很少，全靠硬摸。

先說三種虛擬空間 空間（space）這個概念很重要，還記得進(jìn)程描述符（LosProcessCB）里的LosVmSpace *vmSpace嗎？它是進(jìn)程使用內(nèi)存的方式，空間就是邊界，進(jìn)程只能在劃定的空間里運(yùn)行，任何指令都不能越界運(yùn)行。

在鴻蒙內(nèi)核源碼分析（內(nèi)存分配篇）中已講明虛擬內(nèi)存是MMU帶出來的概念，為解決物理內(nèi)存滿足不了多進(jìn)程對內(nèi)存的需要。虛擬內(nèi)存可以遠(yuǎn)大于物理內(nèi)存。虛擬空間是進(jìn)程層面的概念，每個進(jìn)程都有一個，給進(jìn)程獨(dú)享整個物理內(nèi)存的假象。對鴻蒙來說操作系統(tǒng)和驅(qū)動程序運(yùn)行在內(nèi)核空間（kernel space），應(yīng)用程序運(yùn)行在用戶空間（user space）, 在運(yùn)行期間需動態(tài)分配的向堆空間（heap space）申請內(nèi)存。具體看代碼會更清晰些。從空間的初始化調(diào)用關(guān)系上可以看出只有這三種空間，所不同的是內(nèi)核虛擬空間，堆虛擬空間只有一個，而每一個用戶進(jìn)程都有屬于自己的用戶虛擬空間�？纯此麄兂跏蓟a：

//內(nèi)核虛擬空間初始化
BOOL OsKernVmSpaceInit（LosVmSpace *vmSpace, VADDR_T *virtTtb）
{
vmSpace->base = KERNEL_ASPACE_BASE;
vmSpace->size = KERNEL_ASPACE_SIZE;
vmSpace->mapBase = KERNEL_VMM_BASE;
vmSpace->mapSize = KERNEL_VMM_SIZE;
#ifdef LOSCFG_DRIVERS_TZDRIVER
vmSpace->codeStart = 0;
vmSpace->codeEnd = 0;
#endif
return OsVmSpaceInitCommon（vmSpace, virtTtb）;
}
//動態(tài)分配空間初始化
BOOL OsVMallocSpaceInit（LosVmSpace *vmSpace, VADDR_T *virtTtb）
{
vmSpace->base = VMALLOC_START;
vmSpace->size = VMALLOC_SIZE;
vmSpace->mapBase = VMALLOC_START;
vmSpace->mapSize = VMALLOC_SIZE;
#ifdef LOSCFG_DRIVERS_TZDRIVER
vmSpace->codeStart = 0;
vmSpace->codeEnd = 0;
#endif
return OsVmSpaceInitCommon（vmSpace, virtTtb）;
}
//用戶虛擬空間初始化
BOOL OsUserVmSpaceInit（LosVmSpace *vmSpace, VADDR_T *virtTtb）
{
vmSpace->base = USER_ASPACE_BASE;
vmSpace->size = USER_ASPACE_SIZE;
vmSpace->mapBase = USER_MAP_BASE;
vmSpace->mapSize = USER_MAP_SIZE;
vmSpace->heapBase = USER_HEAP_BASE;
vmSpace->heapNow = USER_HEAP_BASE;
vmSpace->heap = NULL;
#ifdef LOSCFG_DRIVERS_TZDRIVER
vmSpace->codeStart = 0;
vmSpace->codeEnd = 0;
#endif
return OsVmSpaceInitCommon（vmSpace, virtTtb）;
}

復(fù)制代碼

它們唯一的區(qū)別是虛擬地址的開始位置和大小不一樣，但是所有用戶進(jìn)程的虛擬地址都是一樣的，注意用戶進(jìn)程是一樣的，細(xì)品。

STATIC BOOL OsVmSpaceInitCommon（LosVmSpace *vmSpace, VADDR_T *virtTtb）
{
LOS_RbInitTree（&vmSpace->regionRbTree, OsRegionRbCmpKeyFn, OsRegionRbFreeFn, OsRegionRbGetKeyFn）;//初始化虛擬存儲區(qū)域-以紅黑樹組織方式
LOS_ListInit（&vmSpace->regions）;//初始化虛擬存儲區(qū)域-以雙循環(huán)鏈表組織方式
status_t retval = LOS_MuxInit（&vmSpace->regionMux, NULL）;//初始化互斥量
if （retval != LOS_OK） {
VM_ERR（“Create mutex for vm space faiLED, status: %d“, retval）;
return FALSE;
}
（VOID）LOS_MuxAcquire（&g_vmSpaceListMux）;
LOS_ListAdd（&g_vmSpaceList, &vmSpace->node）;//加入到虛擬空間雙循環(huán)鏈表
（VOID）LOS_MuxRelease（&g_vmSpaceListMux）;
return OsArchMmuInit（&vmSpace->archMmu, virtTtb）;//對空間mmu初始化
}
//通過虛擬地址獲取所屬空間地址
LosVmSpace *LOS_SpaceGet（VADDR_T vaddr）
{
if （LOS_IsKernelAddress（vaddr）） {
return LOS_GetKVmSpace（）;
} else if （LOS_IsUserAddress（vaddr）） {
return OsCurrProcessGet（）->vmSpace;//當(dāng)前進(jìn)程的虛擬空間
} else if （LOS_IsVmallocAddress（vaddr）） {
return LOS_GetVmallocSpace（）;
} else {
return NULL;
}
}

復(fù)制代碼

這些空間都掛在 g_vmSpaceList 雙循環(huán)鏈表上，LOS_SpaceGet可以通過虛擬地址反查是屬于哪種空間。每一個空間都有一張頁表和物理內(nèi)存頁表形成映射關(guān)系，虛擬內(nèi)存和物理內(nèi)存都是頁對頁的映射，兩邊每頁都是4K，也必須是一樣的！否則無法完成映射。具體如何映射的將在鴻蒙內(nèi)核源碼分析（內(nèi)存映射篇）中說明，在調(diào)度算法切換進(jìn)程時就需要切換至該進(jìn)程自己的虛擬空間，即MMU上下文。
物理內(nèi)存初始化 物理內(nèi)存部分見代碼: los_vm_phys.c，到了物理內(nèi)存就沒有什么進(jìn)程，空間的概念了，只有頁的概念！一頁4K 物理內(nèi)存的管理和分配都是圍繞著頁展開的，鴻蒙對物理內(nèi)存使用了段頁式管理，看代碼吧，關(guān)鍵處都加了注釋。

/* Physical memory area array */
STATIC struct VmPhysArea g_physArea[] = {
{
.start = SYS_MEM_BASE, //整個物理內(nèi)存基地址
.size = SYS_MEM_SIZE_DEFAULT,//整個物理內(nèi)存總大小
},
};
//* page初始化
VOID OsVmPageStartup（VOID）
{
struct VmPhysSeg *seg = NULL;
LosVmPage *page = NULL;
paddr_t pa;
UINT32 nPage;
INT32 segID;
OsVmPhysAreaSizeAdjust（ROUNDUP（（g_vmBootMemBase - KERNEL_ASPACE_BASE）, PAGE_SIZE））;//校正 g_physArea size
nPage = OsVmPhysPageNumGet（）;//得到 g_physArea 總頁數(shù)
g_vmPageArraySize = nPage * sizeof（LosVmPage）;//頁表總大小
g_vmPageArray = （LosVmPage *）OsVmBootMemAlloc（g_vmPageArraySize）;//申請頁表存放區(qū)域
OsVmPhysAreaSizeAdjust（ROUNDUP（g_vmPageArraySize, PAGE_SIZE））;// g_physArea 變小
OsVmPhysSegAdd（）;// 段頁綁定
OsVmPhysInit（）;// 加入空閑鏈表和設(shè)置置換算法,LRU（最近最久未使用）算法
for （segID = 0; segID < g_vmPhysSegNum; segID++） {
seg = &g_vmPhysSeg[segID];
nPage = seg->size >> PAGE_SHIFT;
for （page = seg->pageBase, pa = seg->start; page <= seg->pageBase + nPage;
page++, pa += PAGE_SIZE） {
OsVmPageInit（page, pa, segID）;//page初始化
}
OsVmPageOrderListInit（seg->pageBase, nPage）;// 頁面分配的排序
}
}
UINT32 OsVmPhysPageNumGet（VOID）
{
UINT32 nPages = 0;
INT32 i;
for （i = 0; i < （sizeof（g_physArea） / sizeof（g_physArea[0]））; i++） {
nPages += g_physArea.size >> PAGE_SHIFT;//右移12位，相當(dāng)于除以4K,得出總頁數(shù)
}
return nPages;
}
VOID OsVmPhysSegAdd（VOID）
{
INT32 i, ret;
LOS_ASSERT（g_vmPhysSegNum <= VM_PHYS_SEG_MAX）;
for （i = 0; i < （sizeof（g_physArea） / sizeof（g_physArea[0]））; i++） {
ret = OsVmPhysSegCreate（g_physArea.start, g_physArea.size）;//一個區(qū)對應(yīng)一個段
if （ret != 0） {
VM_ERR（“create phys seg failed“）;
}
}
}
STATIC VOID OsVmPageInit（LosVmPage *page, paddr_t pa, UINT8 segID）
{
LOS_ListInit（&page->node）;//初始化鏈表節(jié)點(diǎn)
page->flags = FILE_PAGE_FREE;//默認(rèn)空閑
LOS_AtomicSet（&page->refCounts, 0）;//0次引用
page->physAddr = pa;//物理地址
page->segID = segID;//所屬段
page->order = VM_LIST_ORDER_MAX;//伙伴算法默認(rèn)級數(shù)
}

復(fù)制代碼

代碼中可以看出初始化對物理內(nèi)存做了幾個動作： 1.對整個物理內(nèi)存進(jìn)行了分頁，每頁框4K，存放在大頁表數(shù)組中 g_vmPageArray 2.段頁綁定，根據(jù)g_physArea數(shù)組的大小來創(chuàng)建段，因數(shù)組里只有一條數(shù)據(jù)，所以只有一個段 3.初始化了回收雙鏈表和置換算法，采用了LRU置換算法。 4.對每一頁框進(jìn)行了初始化，每個頁框可用于分配，指定了物理地址，注意這是物理內(nèi)存的頁。 5.對伙伴算法初始化。
什么是伙伴算法？ 簡單的說就是把所有的空閑頁面分為10個塊組，每組中塊的大小是2的冪次方個頁面，例如，第0組中塊的大小都為2的0次方（1個頁面），第1組中塊的大小為都為2的1次方（2個頁面），第9組中塊的大小都為2的9次方（512個頁面）。也就是說，每一組中塊的大小是相同的，且這同樣大小的塊形成一個鏈表，能看懂下面這張圖的就看懂了伙伴算法，一個方塊代表一個物理頁框。
物理內(nèi)存是怎么被分配的？ 物理內(nèi)存是以頁為單位被分配的，詳細(xì)看 LOS_PhysPagesAllocContiguous，看下哪些地方調(diào)用了它。 1.初始化進(jìn)程塊會用到  2.擴(kuò)展內(nèi)存池會用到，3，用戶進(jìn)程空間初始化會用到 4，內(nèi)核動態(tài)分配的時候會到，這個上面已經(jīng)講過了。5.動態(tài)加載可執(zhí)行程序會用到，LOS_PhysPagesAllocContiguous 調(diào)用的主要函數(shù)是：

[quote]


LosVmPage *OsVmPhysPagesAlloc（struct VmPhysSeg *seg, size_t nPages）


{


struct VmFreeList *list = NULL;


LosVmPage *page = NULL;


UINT32 order;


UINT32 newOrder;




if （（seg == NULL） || （nPages == 0）） {


      return NULL;


}




order = OsVmPagesToOrder（nPages）;//根據(jù)頁數(shù)計(jì)算出用哪個塊組


if （order < VM_LIST_ORDER_MAX） {


      for （newOrder = order; newOrder < VM_LIST_ORDER_MAX; newOrder++） {//沒有就找更大塊


         list = &seg->freeList[newOrder];//從最合適的塊處開始找


         if （LOS_ListEmpty（&list->node）） {//沒找到


            continue;//繼續(xù)找更大塊的


         }


         page = LOS_DL_LIST_ENTRY（LOS_DL_LIST_FIRST（&list->node）, LosVmPage, node）;//找到


         goto DONE;


      }


}


return NULL;


DONE:


OsVmPhysFreeListDelUnsafe（page）;


OsVmPhysPagesSpiltUnsafe（page, order, newOrder）;


return page;


}


  復(fù)制代碼

[/quote] 總結(jié)下：看到這里大家腦子里應(yīng)該浮現(xiàn)出一幅圖，內(nèi)核抽象出無數(shù)個虛擬空間頁表，但實(shí)際只有一個物理內(nèi)存頁表，每個虛擬空間都要映射到了物理內(nèi)存頁表上，他們是 1：N的關(guān)系，如何保證不會錯呢？缺頁了怎么處理？如何置換頁面？怎么才能保證效率？請查看《鴻蒙內(nèi)核源碼分析：虛擬地址與物理地址之間是如何映射的》

本文來源：圖解鴻蒙源碼逐行注釋分析

鴻蒙內(nèi)核源碼分析（內(nèi)存分配篇）：內(nèi)存的分配方式有哪些

發(fā)表回復(fù)

精選推薦