ESXi単独でNFSをデータストアとして使う

VMware Workstationを使ってサーバを立てていたのだが仮想サーバが増えてきたのでESXi(当然無償版）の専用サーバを立ててそこに集約することにした。ただストレージ容量の多いマシンは確保できなかったので長らくお休みになられていたPCにNFSサーバとして復帰してもってESXiからマウントすることにした。

NFSサーバはCentOS7を使って構築した。
ただ、CentOSはデフォルトではNFSv4であり、ESXiはNFSv3までしかサポートしていないのでなかなか接続成功までが大変であった。

まずインストール

$ yum -y nfs-utils rpcbind

次にidmapdの設定をする

/etc/idmapd.conf

[General]
Domain = 自ドメイン

[Mapping]
Nobody-User = nfsnobody
Nobody-Group = nfsnobody

他デフォルトのまま

NFSv3では動的なポートをいくつか使うのでファイアウォールと相性が悪い。
まずはそれを固定してしまう。
/etc/sysconfig/nfsに設定を入れる。MOUNTD_NFS_V3はいるのか分からんけど。。

RPCRQUOTADOPTS="--port ポート番号"
LOCKD_TCPPORT=ポート番号
LOCKD_UDPPORT=ポート番号
STATDARG="--outgoing-port ポート番号 --port ポート番号"
MOUNTD_NFS_V3="yes"

各サービスを立ち上げる、かつサーバ起動時に有効にする。

$ systemctl start nfs-idmap nfs-mountd nfs-server nfs-lock rpcbind
$ systemctl enable nfs-idmap nfs-mountd nfs-server nfs-lock rpcbind

ポートが固定できたか確認する。

$ rpcinfo -p
   program vers proto   port  service
    100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper
    100005    2   udp  20048  mountd
    100024    1   udp   2050  status
    100024    1   tcp   2050  status
    100005    3   udp  20048  mountd
    100003    3   tcp   2049  nfs
    100003    4   tcp   2049  nfs
    100227    3   tcp   2049  nfs_acl
    100003    3   udp   2049  nfs
    100003    4   udp   2049  nfs
    100227    3   udp   2049  nfs_acl
    100021    1   udp  32769  nlockmgr
    100021    3   udp  32769  nlockmgr
    100021    4   udp  32769  nlockmgr
    100021    1   tcp  32803  nlockmgr
    100021    3   tcp  32803  nlockmgr
    100021    4   tcp  32803  nlockmgr
    100011    1   udp   2052  rquotad
    100011    2   udp   2052  rquotad
    100011    1   tcp   2052  rquotad
    100011    2   tcp   2052  rquotad

こんな感じで出ると思う。
portmapper, mountd, status, nfs, nlockmgrr, quotadが予定どおりのポート番号ならOK。

次にファイアウォールを設定して固定したポートを開放する。
ポート番号指定で開けてもいいけど、せっかくなのでサービスを定義して開けてみる
/lib/firewalld/servicesに使えるサービスを定義したxmlがある。
nfs, mountd, rpc-bindは定義されているのでそれ以外を定義する。

rquotd, nlockmgr, statdを追加する。
既存のサービスのファイルをコピーして中身を書きかえるのが吉。
shortやdescriptionは好きなものにすればよい。

rquotd.xml
<?xml version="1.0" encoding="utf-8"?>
<service>
  <short>rquotad</short>
  <description>define rquotad</description>
  <port protocol="tcp" port="ポート番号"/>
  <port protocol="udp" port="ポート番号"/>
</service>

nlockmgr.xml
<?xml version="1.0" encoding="utf-8"?>
<service>
  <short>nlockmgr</short>
  <description>define nlockmgr</description>
  <port protocol="tcp" port="ポート番号"/>
  <port protocol="udp" port="ポート番号"/>
</service>

statdはoutgoing分も纏めて定義してしまう。

statd.xml
<?xml version="1.0" encoding="utf-8"?>
<service>
  <short>statd</short>
  <description>define statd</description>
  <port protocol="tcp" port="ポート番号(outgoing)"/>
  <port protocol="udp" port="ポート番号(outgoing)"/>
  <port protocol="tcp" port="ポート番号"/>
  <port protocol="udp" port="ポート番号"/>
</service>

これらと元々定義されているサービスを使ってfirewalldの設定に入れてポートを解放する。

$ firewall-cmd --permanent --add-service=mountd
$ firewall-cmd --permanent --add-service=rpc-bind
$ firewall-cmd --permanent --add-service=nfs
$ firewall-cmd --permanent --add-service=rquotad
$ firewall-cmd --permanent --add-service=nlockmgr
$ firewall-cmd --permanent --add-service=statd
$ firewall-cmd --reload

反映されたかを確認

$ firewall-cmd --list-all

public (default, active)
   interfaces: enp3s0
   sources:
   services: mountd nfs nlockmgr rpc-bind rquotad ssh statd
   ports:
   masquerade: no
   forward-ports:
   icmp-blocks:
   rich rules:

余計なサービスが表示されるなら以下で消しておく。

$ firewall-cmd --permanent --remove-servie=サービス名

これでポートの開放のOK。

後はNFSサーバのexportsを設定。
/exportsを192.168.1.0のネットワークに公開する例

/etc/exports

/exports 192.168.1.0/255.255.255.0(rw,sync)

exportsを反映させて確認する。

$ exportfs -ar
$ exportfs -v

/exports 192.168.1.0/255.255.255.0(rwwdelay,root_squash,no_subtree_check,sec=sys,rw,secure,root_squash,no_all_squash)

最後にSELINUXのポリシーを変えて読み書きを許可する。

$ setsebool -P nfs_export_all_rw on

ここまででNFSサーバは構築できた。

このNFSをESXiからマウントしてデータストアとして使う。
だがここで問題が起こった。。

vSphere Clientを使ってESXiにログインし、データストアの追加を行った。
マウントは無事できた。
しかし、数分経つとNSFが切断されてしまう。数分経つと復旧したりしなかったりで非常に不安定となる。
ESXi5.5 Update1 でそういうバグがあるとの報告があったがESX5.1を使っても改善しなかった。

だが、どうやらvSphere Clientを立ち上げなおした直後は接続できていてしばらく経つと切断するという傾向が見えてきた。そこでESXiにログインしてCLIで操作することにした。

マウントは以下

$ esxcli storage nfs add -H NFSサーバ -s /exports -v データストア名

マウントは無事できた。

状態確認

$ esxcli storage nfs list

Volume Name  Host         Share                    Accessible  Mounted  Read-Only  Hardware Acceleration
-----------  -----------  -----------------------  ----------  -------  ---------  ---------------------
データストア名 NFSサーバ  /exports                      true     true      false  Not Supported

問題ないようだ。
しばらく待ってもAccessibleはtrueのままである。

ここでvSphere Clientを立ち上げてESXiに接続してみる。
するととたんにAccessibleがfalseに切り替わった。
やはりvSphere Clientをつなぐとダメなようだ。

しかたがないのでVMware WorkstationをESXiに繋いでしのぐことにしよう。。

# 2014/10/05 追記
接続が不安定な問題は基本的なミスであった。
クライアントとして使っていたマシンのIPアドレスがNFSサーバとかぶってしまっていた。
ホント恥ずかしいくらい初歩的なミス。
VMwareのバグを疑ってごめんなさい。むしろ一時的にでも良く繋がったなというくらい。