拆分页表锁¶
最初,mm->page_table_lock 自旋锁保护了 mm_struct 的所有页表。但是,由于锁上的高竞争,这种方法导致多线程应用程序的页面错误可伸缩性较差。为了提高可伸缩性,引入了拆分页表锁。
使用拆分页表锁,我们有单独的每表锁来序列化对表的访问。目前,我们对 PTE 和 PMD 表使用拆分锁。对更高级别表的访问受 mm->page_table_lock 保护。
有一些辅助函数可以锁定/解锁表和其他访问器函数
- pte_offset_map_lock()
映射 PTE 并获取 PTE 表锁,返回指向 PTE 的指针以及指向其 PTE 表锁的指针,如果不存在 PTE 表则返回 NULL;
- pte_offset_map_ro_nolock()
映射 PTE,返回指向 PTE 的指针以及指向其 PTE 表锁的指针(未获取),如果不存在 PTE 表则返回 NULL;
- pte_offset_map_rw_nolock()
映射 PTE,返回指向 PTE 的指针以及指向其 PTE 表锁的指针(未获取)及其 pmd 条目的值,如果不存在 PTE 表则返回 NULL;
- pte_offset_map()
映射 PTE,返回指向 PTE 的指针,如果不存在 PTE 表则返回 NULL;
- pte_unmap()
取消映射 PTE 表;
- pte_unmap_unlock()
解锁并取消映射 PTE 表;
- pte_alloc_map_lock()
如果需要,分配 PTE 表并获取其锁,返回指向 PTE 的指针以及指向其锁的指针,如果分配失败则返回 NULL;
- pmd_lock()
获取 PMD 表锁,返回指向获取的锁的指针;
- pmd_lockptr()
返回指向 PMD 表锁的指针;
如果 CONFIG_SPLIT_PTLOCK_CPUS(通常为 4)小于或等于 NR_CPUS,则编译时启用 PTE 表的拆分页表锁。如果禁用拆分锁,则所有表都由 mm->page_table_lock 保护。
如果 PTE 表启用了 PMD 表的拆分页表锁,并且该架构支持它(见下文)。
Hugetlb 和拆分页表锁¶
Hugetlb 可以支持多种页面大小。我们仅对 PMD 级别使用拆分锁,而不对 PUD 使用。
Hugetlb 特定辅助函数
- huge_pte_lock()
获取 PMD_SIZE 页面的 pmd 拆分锁,否则获取 mm->page_table_lock;
- huge_pte_lockptr()
返回指向表锁的指针;
架构对拆分页表锁的支持¶
无需特别启用 PTE 拆分页表锁:所有必需的操作都由 pagetable_pte_ctor() 和 pagetable_dtor() 完成,必须在 PTE 表分配/释放时调用它们。
确保架构不使用 slab 分配器进行页表分配:slab 对其页面使用 page->slab_cache。此字段与 page->ptl 共享存储。
如果您有超过两个页表级别,PMD 拆分锁才有意义。
启用 PMD 拆分锁需要在 PMD 表分配时调用 pagetable_pmd_ctor(),在释放时调用 pagetable_dtor()。
分配通常发生在 pmd_alloc_one() 中,释放在 pmd_free() 和 pmd_free_tlb() 中,但请确保您涵盖所有 PMD 表分配/释放路径:即 X86_PAE 在 pgd_alloc() 上预分配少量 PMD。
完成所有设置后,您可以设置 CONFIG_ARCH_ENABLE_SPLIT_PMD_PTLOCK。
注意:pagetable_pte_ctor() 和 pagetable_pmd_ctor() 可能会失败 - 必须正确处理。
page->ptl¶
page->ptl 用于访问拆分页表锁,其中“page”是包含该表的页面的 struct page。它与 page->private(以及联合中的其他几个字段)共享存储。
为了避免增加 struct page 的大小并获得最佳性能,我们使用了一个技巧
如果 spinlock_t 适合 long 类型,我们使用 page->ptr 作为自旋锁,这样我们可以避免间接访问并节省一个缓存行。
如果 spinlock_t 的大小大于 long 的大小,我们使用 page->ptl 作为指向 spinlock_t 的指针并动态分配它。这允许使用启用 DEBUG_SPINLOCK 或 DEBUG_LOCK_ALLOC 的拆分锁,但会为间接访问增加一个缓存行;
spinlock_t 在 PTE 表的 pagetable_pte_ctor() 中分配,在 PMD 表的 pagetable_pmd_ctor() 中分配。
请不要直接访问 page->ptl - 使用适当的辅助函数。