目次 （2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法）
2.4. 追加ストレージ領域(/home3, Lustre File System)の利用方法
2.4.1. Lustre File System 環境構成概要
2.4.2. /home3利用状況の確認
2.4.3. Stripe Size / Stripe Count
2.4.3.1. Stripe設定方法 (lfs setstripe)
2.4.3.2. Stripe確認方法 (lfs getstripe/lfs osts)
2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法
利用には追加契約が必要となります。月単位・10GB単位で容量を課題単位で追加できます。
希望される場合はOKBIZ.にて契約容量変更希望日の2業務日前9:00までにご連絡ください。
追加ストレージ領域の契約を終了する場合、0GBへの容量変更を申請していただくか、新規追加または容量変更申請時に利用終了日をご指定ください。
月単位契約の場合、特にお申し出がない限りは翌月以降も自動的に継続となりますことご注意ください。
【ハードリミット設定について】
システム上でのハードリミットは契約容量の2倍に設定します。
/home3の使用量が契約容量に達したとしても、猶予期間（1週間）の間は/home3へ契約量の2倍まで書込みを行うことができます。
使用量が契約容量未満になれば猶予期間はリセットされます。
/home3の使用量が契約容量を超えても、猶予期間内に契約容量を変更することで/home3への書込みを止めることなくご利用いただけます。
猶予期間を過ぎても/home3の使用量が契約容量を超えていた場合は、使用量が契約容量未満となるまで/home3への書込みができなくなります。
容量超過していたとしても、超過分のデータが自動的に削除されることはありません。
【契約超過分課金について】
契約容量を超えるデータを長期間(1か月以上)置いていた場合は、超過分について10GB単位で課金いたします。
例） 変更後の契約容量が300GBであっても、実利用量が495GBの場合、契約容量を500GBとみなして課金します。
/home3の使用量が契約容量を超えた際は、お早めに契約容量の変更やデータ退避等の対応をお願いいたします。
【利用終了時の注意点】
/home3の契約終了（0GBへの容量変更）の場合、契約終了月の月末をもってデータは削除されます。
2.4.1.Lustre File System環境構成概要
本節では以下の略語を使用しています。
MDS：Meta Data Server の略
MDT：Meta Data Target の略
OSS：Object Storage Server の略
OST：Object Storage Target の略
Lustre File Systemの構成概要を示します。
| ID | 1 |
|---|---|
| Filesystem Name | home3 |
| Mount Point | /home3 |
| LNET | @o2ib |
| Size | 458.54TiB |
| i-node数 | 2,199,486,464 |
| MDS (※) | home3srv1-ib (home3srv2-ib) |
| OSS | home3srv1-ib home3srv2-ib |
| MDT/OST | home3stg |
| OST数 | 4 |
| Stripe Count | 1 |
| Stripe Size | 1,048,576Bytes |
(※) MDSにおける()はstandby nodeを意味します。
2.4.2. /home3 利用状況の確認
/home1の容量は課題（グループ）あたり200GBですが、追加ストレージ領域（/home3）の容量についてはご契約内容により異なります。現在のクォータ値（契約容量）等利用状況を確認するにはlfsコマンドを使用します。
〔コマンド〕
lfs quota -g グループ名 /home3〔実行結果〕
$ lfs quota -g gxxx /home3
Disk quotas for group gxxx (gid xxxx):
Filesystem kbytes quota limit grace files quota limit grace
/home3 59524 1048576 2097152 - 458 0 0 -
＜項目説明（左から）＞
kbyte：使用量(kbytes)
quota：契約容量(ソフトリミット)(kbytes)
limit：最大容量(ハードリミット)(kbytes)
grace：契約容量越えの許容期間
files：使用中のファイル数
2.4.3.Stripe Size / Stripe Count
ディレクトリおよびファイルのI/O Stripe設定方法について記載します。
Lustre File Systemでは各ファイルを格納するStripe Count(OSTの数)およびStripe Sizeをディレクトリやファイルごとに設定することができます。
デフォルトではStripe設定は無しとなっていますので、各ファイルは1つのOSTへ格納されます。
2.4.3.1.Stripe設定方法 (lfs setstripe)
Stripeの設定はlfs setstripeコマンドで実施します。
基本的な使用方法は以下となります。
lfs setstripe [--size|-s stripe_size] [--offset|-o start_ost] [--count|-c stripe_count] [--pool|-p pool_name] <filename|dirname>
--size|-s stripe_size:
stripe_sizeに各OSTをStripeする際のStripe Sizeを指定
k, m, gでそれぞれKbytes, Mbytes, GBytes指定が可能
Defaultは0
--offset|-o start_ost:
start_ostにStripeを開始するOSTを指定
Defaultは-1でRandom
--count|-c stripe_count:
stripe_countに使用するOSTの数を指定
-1で全OST
Defaultは0--pool|-p pool_name:
pool_nameに使用するプール名を指定
例1) 2OST, Stripe Size=1MBytesでStripeを設定
$ mkdir /home3/ddn/testdir/st2 $ lfs setstripe -s 1m -c 2 /hoeme2/ddn/testdir/st2
例2) 全OST、Stripe Size=4MBytesでStripeを設定
$ mkdir /home3/ddn/testdir/st_all $ lfs setstripe -s 4m -c -1 /home3/ddn/testdir/st_all
2.4.3.2.Stripe確認方法 (lfs getstripe/lfs osts)
Stripeの確認はlfs getstripeコマンドで実施します。
基本的な使用方法は以下となります。
lfs getstripe [--obd|-O <uuid>] [--quiet|-q] [--verbose|-v] [--recursive|-r] <filename|dirname>--obd|-O <uuid>:
指定したOSTに属するファイルを表示--quiet|-q:
出力項目の制限--verbose|-v:
Verbose Mode--recursive|-r:
Recursive Mode
例1) 下記においてtestfile1はobdidxで示される2つのOSTにStripeされていることを確認することができます。
$ lfs getstripe /home3/ddn/testdir/st2/testfile1
/home3/ddn/testdir/st2/testfile1
lmm_stripe_count: 2
lmm_stripe_size: 1048576
lmm_stripe_offset: 54
obdidx objid objid group
7 258 0x102 0
14 258 0x102 0
$
各obdidxのObject Nameはlfs ostsの出力結果から確認することができます。
$ lfs osts OBDS:: 0: home3-OST0000_UUID ACTIVE 1: home3-OST0001_UUID ACTIVE 2: home3-OST0002_UUID ACTIVE 3: home3-OST0003_UUID ACTIVE $
例2) -rを付与するとrecursive modeとなり指定したディレクトリ配下に存在する全てのオブジェクトについてStripe情報が表示されます。
$ lfs getstripe -r /home3/ddn/testdir/
/home3/ddn/testdir/
stripe_count: 1 stripe_size: 1048576 stripe_offset: -1
/home3/ddn/testdir/st2
stripe_count: 2 stripe_size: 1048576 stripe_offset: -1
/home3/ddn/testdir/st2/testfile1
lmm_stripe_count: 2
lmm_stripe_size: 1048576
lmm_stripe_offset: 54
obdidx objid objid group
7 258 0x102 0
14 258 0x102 0
/home3/ddn/testdir/st2/testfile2
lmm_stripe_count: 2
lmm_stripe_size: 1048576
lmm_stripe_offset: 66
obdidx objid objid group
1 258 0x102 0
8 258 0x102 0
/home3/ddn/testdir/st2/testfile3
lmm_stripe_count: 2
lmm_stripe_size: 1048576
lmm_stripe_offset: 13
obdidx objid objid group
11 258 0x102 0
16 258 0x102 0
/home3/ddn/testdir/st_all
stripe_count: -1 stripe_size: 4194304 stripe_offset: -1
/home3/ddn/testdir/st_all/testfile1
lmm_stripe_count: 72
lmm_stripe_size: 4194304
lmm_stripe_offset: 31
obdidx objid objid group
2 258 0x102 0
4 258 0x102 0
8 258 0x102 0
11 258 0x102 0
15 258 0x102 0
17 258 0x102 0
(省略)
$
例3) 特定のOSTに属するファイルを探す場合は下記を実施します。
$ lfs getstripe -r --obd home3-OST0000_UUID /home3/ddn/testdir/
/home3/ddn/testdir/st_all/testfile1
lmm_stripe_count: 72
lmm_stripe_size: 4194304
lmm_stripe_offset: 31
obdidx objid objid group
0 258 0x102 0 *
/home3/ddn/testdir/st_all/testfile2
lmm_stripe_count: 72
lmm_stripe_size: 4194304
lmm_stripe_offset: 37
obdidx objid objid group
0 259 0x103 0 *
/home3/ddn/testdir/st_all/testfile3
lmm_stripe_count: 72
lmm_stripe_size: 4194304
lmm_stripe_offset: 43
obdidx objid objid group
0 260 0x104 0 *
$