如何进行linux内存的Hugepages优化

本篇文章给大家分享的是有关如何进行linux内存的Hugepages优化，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

创新互联公司拥有一支富有激情的企业网站制作团队，在互联网网站建设行业深耕10年，专业且经验丰富。10年网站优化营销经验，我们已为上1000家中小企业提供了做网站、成都网站建设解决方案，按需网站设计，设计满意，售后服务无忧。所有客户皆提供一年免费网站维护!

Hugepages是从Linux kernal 2.6后被引入的，其目的是使用更大的memory page size以适应越来越大的系统内存。

理论知识：

（1. Page Table大小

而Hugepages的常见page size为2M，是4k size的500倍，所以可以大大减小page table的size。

这是一个没有配置Hugepage的系统，系统内存128G，pagetable大小大约为4G。

cat /proc/meminfo
MemTotal: 132086880 kB
PageTables: 4059612 kB

这是配置了Hugepage的系统，系统内存96G, PageTable大小仅为78M
MemTotal: 98999880 kB
PageTables: 79916 kB

      进程的虚拟内存地址段先连接到page tables然后再连接到物理内存。所以在访问内存时需要先访问page tables得到虚拟内存和物理内存的映射关系，然后再访问物理内存。

（3.使用Hugepages的内存页是不会被交换出去的，永远常驻在内存中，所以也减少了内存也替换的额外开销

2、数据库服务器上使用Hugepages要注意的几点

比如说Hugepages设置为90G，oracle SGA为91G，那么oracle在启动的时候就不会使用到这90G的Hugepages。这90G就浪费了。所以在设置Hugepages时要计算SGA的大小，后面会给出一个脚本来计算。

（3. PGA不会使用Hugepages的内存。所以11g的AMM (Automatic Memory Management，memory_target参数）是不被支持的。而ASMM(Automatic Shared Memory Management, SGA_target参数)是被支持的，这两个不要搞混淆了。

举例说明：

HugePages_Total: 43000
HugePages_Free: 29493
HugePages_Rsvd: 23550
Hugepagesize: 2048 kB
HugePages_Total为所分配的页面数目，和Hugepagesize相乘后得到所分配的内存大小。43000*2/1024大约为84GB
HugePages_Free为从来没有被使用过的Hugepages数目。即使oracle sga已经分配了这部分内存，但是如果没有实际写入，那么看到的还是Free的。这是很容易误解的地方
HugePages_Rsvd为已经被分配预留但是还没有使用的page数目。在Oracle刚刚启动时，大部分内存应该都是Reserved并且Free的，随着oracle SGA的使用，Reserved和Free都会不断的降低
HugePages_Free – HugePages_Rsvd 这部分是没有被使用到的内存，如果没有其他的oracle instance，这部分内存也许永远都不会被使用到，也就是被浪费了。在该系统上有11.5GB的内存被浪费了。

3、设置HugePages步骤：

在/etc/security/limits.conf文件中添加memlock的限制，注意该值略微小于实际物理内存的大小。比如物理内存是64GB，可以设置为如下：

*  hard   memlock    60397977

如果使用了Oracle Linux的oracle?-validated包，或者Exadata DB compute会自动配置这个参数。

第二步：验证memlock使用如下命令查看参数值：  这里，最好是重启一下服务器再验证，比较稳妥

60397977

第三步：11g中禁用AMM    ----注意

另外：默认情况下ASM instance也是使用AMM的，但因为ASM实例不需要大SGA，所以对ASM实例使用HugePages意义不大。

确保所有的数据库实例都已经启动，包括ASM实例。使用hugepages_settings.sh脚本获取thevm.nr_hugepages内核参数的建议值。

...(略)

...

验证配置：

      为了确保HugePages配置的有效性，HugePages_Free值应该小于HugePages_Total的值，并且应该等于HugePages_Rsvd的值。

实例：机器配置：128G物理内存+56G的SGA

root># grep HugePages /proc/meminfo
HugePages_Total: 28674
HugePages_Free:    707
HugePages_Rsvd:    706

附计算hugepages脚本：

#!/bin/bash
#
# hugepages_settings.sh
#
# Linux bash script to compute values for the
# recommended HugePages/HugeTLB configuration
#
# Note: This script does calculation for all shared memory
# segments available when the script is run, no matter it
# is an Oracle RDBMS shared memory segment or not.
#
# This script is provided by Doc ID 401749.1 from My Oracle Support
# http://support.oracle.com

# Welcome text
echo "
This script is provided by Doc ID 401749.1 from My Oracle Support
(http://support.oracle.com) where it is intended to compute values for
the recommended HugePages/HugeTLB configuration for the current shared
memory segments. Before proceeding with the execution please make sure
that:
 * Oracle Database instance(s) are up and running
 * Oracle Database 11g Automatic Memory Management (AMM) is not setup
   (See Doc ID 749851.1)
 * The shared memory segments can be listed by command:
     # ipcs -m

Press Enter to proceed..."

read

# Check for the kernel version
KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`

# Find out the HugePage size
HPG_SZ=`grep Hugepagesize /proc/meminfo | awk '{print $2}'`

# Initialize the counter
NUM_PG=0

# Cumulative number of pages required to handle the running shared memory segments
for SEG_BYTES in `ipcs -m | awk '{print $5}' | grep "[0-9][0-9]*"`
do
   MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`
   if [ $MIN_PG -gt 0 ]; then
      NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`
   fi
done

RES_BYTES=`echo "$NUM_PG * $HPG_SZ * 1024" | bc -q`

# An SGA less than 100MB does not make sense
# Bail out if that is the case
if [ $RES_BYTES -lt 100000000 ]; then
   echo "***********"
   echo "** ERROR **"
   echo "***********"
   echo "Sorry! There are not enough total of shared memory segments allocated for
HugePages configuration. HugePages can only be used for shared memory segments
that you can list by command:

   # ipcs -m

of a size that can match an Oracle Database SGA. Please make sure that:
 * Oracle Database instance is up and running
 * Oracle Database 11g Automatic Memory Management (AMM) is not configured"
   exit 1
fi

# Finish with results
case $KERN in
   '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;
          echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;
   '2.6') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;
    *) echo "Unrecognized kernel version $KERN. Exiting." ;;
esac

 

以上就是如何进行linux内存的Hugepages优化，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。

本文名称：如何进行linux内存的Hugepages优化
文章地址：http://mswzjz.cn/article/jisjhc.html