拆分页表锁

最初,mm->page_table_lock 自旋锁保护了 mm_struct 的所有页表。但是,由于锁上的高竞争,这种方法导致多线程应用程序的页面错误可伸缩性较差。为了提高可伸缩性,引入了拆分页表锁。

使用拆分页表锁,我们有单独的每表锁来序列化对表的访问。目前,我们对 PTE 和 PMD 表使用拆分锁。对更高级别表的访问受 mm->page_table_lock 保护。

有一些辅助函数可以锁定/解锁表和其他访问器函数

  • pte_offset_map_lock()

    映射 PTE 并获取 PTE 表锁,返回指向 PTE 的指针以及指向其 PTE 表锁的指针,如果不存在 PTE 表则返回 NULL;

  • pte_offset_map_ro_nolock()

    映射 PTE,返回指向 PTE 的指针以及指向其 PTE 表锁的指针(未获取),如果不存在 PTE 表则返回 NULL;

  • pte_offset_map_rw_nolock()

    映射 PTE,返回指向 PTE 的指针以及指向其 PTE 表锁的指针(未获取)及其 pmd 条目的值,如果不存在 PTE 表则返回 NULL;

  • pte_offset_map()

    映射 PTE,返回指向 PTE 的指针,如果不存在 PTE 表则返回 NULL;

  • pte_unmap()

    取消映射 PTE 表;

  • pte_unmap_unlock()

    解锁并取消映射 PTE 表;

  • pte_alloc_map_lock()

    如果需要,分配 PTE 表并获取其锁,返回指向 PTE 的指针以及指向其锁的指针,如果分配失败则返回 NULL;

  • pmd_lock()

    获取 PMD 表锁,返回指向获取的锁的指针;

  • pmd_lockptr()

    返回指向 PMD 表锁的指针;

如果 CONFIG_SPLIT_PTLOCK_CPUS(通常为 4)小于或等于 NR_CPUS,则编译时启用 PTE 表的拆分页表锁。如果禁用拆分锁,则所有表都由 mm->page_table_lock 保护。

如果 PTE 表启用了 PMD 表的拆分页表锁,并且该架构支持它(见下文)。

Hugetlb 和拆分页表锁

Hugetlb 可以支持多种页面大小。我们仅对 PMD 级别使用拆分锁,而不对 PUD 使用。

Hugetlb 特定辅助函数

  • huge_pte_lock()

    获取 PMD_SIZE 页面的 pmd 拆分锁,否则获取 mm->page_table_lock;

  • huge_pte_lockptr()

    返回指向表锁的指针;

架构对拆分页表锁的支持

无需特别启用 PTE 拆分页表锁:所有必需的操作都由 pagetable_pte_ctor() 和 pagetable_dtor() 完成,必须在 PTE 表分配/释放时调用它们。

确保架构不使用 slab 分配器进行页表分配:slab 对其页面使用 page->slab_cache。此字段与 page->ptl 共享存储。

如果您有超过两个页表级别,PMD 拆分锁才有意义。

启用 PMD 拆分锁需要在 PMD 表分配时调用 pagetable_pmd_ctor(),在释放时调用 pagetable_dtor()。

分配通常发生在 pmd_alloc_one() 中,释放在 pmd_free() 和 pmd_free_tlb() 中,但请确保您涵盖所有 PMD 表分配/释放路径:即 X86_PAE 在 pgd_alloc() 上预分配少量 PMD。

完成所有设置后,您可以设置 CONFIG_ARCH_ENABLE_SPLIT_PMD_PTLOCK。

注意:pagetable_pte_ctor() 和 pagetable_pmd_ctor() 可能会失败 - 必须正确处理。

page->ptl

page->ptl 用于访问拆分页表锁,其中“page”是包含该表的页面的 struct page。它与 page->private(以及联合中的其他几个字段)共享存储。

为了避免增加 struct page 的大小并获得最佳性能,我们使用了一个技巧

  • 如果 spinlock_t 适合 long 类型,我们使用 page->ptr 作为自旋锁,这样我们可以避免间接访问并节省一个缓存行。

  • 如果 spinlock_t 的大小大于 long 的大小,我们使用 page->ptl 作为指向 spinlock_t 的指针并动态分配它。这允许使用启用 DEBUG_SPINLOCK 或 DEBUG_LOCK_ALLOC 的拆分锁,但会为间接访问增加一个缓存行;

spinlock_t 在 PTE 表的 pagetable_pte_ctor() 中分配,在 PMD 表的 pagetable_pmd_ctor() 中分配。

请不要直接访问 page->ptl - 使用适当的辅助函数。