Unix / NT IT Engineer 로 살아가는 법

1. 디스크를 추가 장착 한 후 기존에 disk 파일 정보를 생성하듯, diskfile 을 하나더 생성합니다. 그 이 후 mmcrnsd 명령어를 통해 생성합니다.

2. 기존 파일 시스템에 추가를 하고 싶으면 mmadddisk 명령어를 통해서 추가 하시면 됩니다. 필자는 20G 디스크를 할당하였기 때문에, DATA1의 용량이 20G+20G 여서 40G가 됩니다.

3. 추가 된 disk 용량을 제거 할시 mmdeldisk 명령어를 통해 제거 합니다.

* 신규 파일시스템을 생성시 기존에 생성하던 방식으로 파일시스템 파일을 만든 후 mmcrfs 명령어를 통해 생성, 이후 마운트를 하시면 됩니다.

------------------------삭제 항목------------------------------

1. 전체 마운트를 해제 합니다.

2. 생성과 반대순으로 작업을 진행하시면 됩니다. 먼저 파일 시스템을 삭제합니다.

3. tiebreakerdisk 삭제 시에는 mmshutdown 명령어를 통해 GPFS 데몬을 내린 후 mmchconfig 명령어로 속성값을 변경 후 삭제 해야 합니다.

속성을 변경 한 후 NSD 를 삭제 하시면 됩니다.

4. 이후 최종적으로 양쪽 노드를 삭제해 주시면 됩니다.

1. GPFS 3.5 Base 버전 파일을 준비합니다.

2. #smitty installp 를 통해서 설치를 진행합니다.

3.그리고, 다양한 명령어들을(mmls,mmcr 등 GPFS에 관련된 명령어) 사용하기 위해서 PATH 설정을 합니다.

4. 캡처본에는 빠져있으나 /etc/hosts에 각 node들을 등록해야 합니다. 그리고 /.rhost 에 각 node 명을 등록하여야 합니다. 그렇지 않으면 tiebreakerdisk 설정시 rshd 에러가 발생합니다.

/etc/hosts

192.168.0.xxx    gpfs1

192.168.0.xxx    gpfs2

5. GPFS 각 노드들을 등록할 파일을 생성합니다.

# vi /var/mmfs/conf/nodefile 

* 경로와 파일명은 본인이 주고 싶은대로 주면 됩니다.

6. mmcrcluster 실행  ( -n [Node File], -p [Primary node], -s [Secondary node], -C [Clustar Name])

# mmcrcluster -n /var/mmfs/conf/nodefile -p gpfs1 -s gpfs2 -C gpfs

7. mmlscluster 로 정보 확인합니다.

8. GPFS3.3 버전 부터는 License 등록이 추가 되었습니다. 하기 내용으로 등록하시면 됩니다.

9. 하기 내용에는 빠져있으나, 디스크정보 파일 생성을 해야 합니다.

# vi /var/mmfs/conf/diskfile

hdisk1:::dataAndMetadata:2:DATA1

hdisk2:::dataAndMetadata:2:DATA2

hdisk3:::dataAndMetadata:2:DATA3

hdisk4:::descOnly:-1:tie1

hdisk5:::descOnly:-1:tie2

옵션값 설명

dataAndMetadata = default 로써 data 와 metadata 모두 저장 가능

descOnly = file system의 descriptor나 데이터 복구를 위한 내용들이 저장

참고로 direct attach 이기 때문에 NSD Server 사용을 하지 않았습니다.

10. NSD(Network Shared Disk) 생성

11. 이후 tiebreakerDisk 속성 값을 변경하기 위해 GPFS 내린 후 속성값을 변경해 줍니다.

* tiebreakerdisk는 quorum node 와 혼용해서 사용을 하는데, 예를 들어 quorum node가 2개인 GPFS 환경이 있을때, tiebreakerdisk 가 없을시, 하나의 node가 죽게 되면, active 율이 51%미만이 되기 때문에 양쪽 node가 stop 되게 됩니다. 그래서 tiebreakerdisk를 혼용하게 되면, 앞과 같은 위험성을 방지 할 수 있게 됩니다.

12. 양쪽 GPFS를 startup 합니다.

13. 파일시스템 파일을 생성합니다.

# vi /var/mmfs/conf/fs1

14. 만들어진 파일을 토대로 FS 를 생성합니다.

* 하기 내용은 3.5 base 버전 이후 패치로 버전업을 하였는데, 릴리즈 변경을 안해주어서 발생한 오류.

# mmchconfig release=LATEST 로 해결 할수 있습니다.

15. 다시 파일 시스템 생성 합니다.

16. 파일 시스템 생성 된지를 확인합니다.

# cat /etc/filesystems

17. mmmount 옵션으로 파일 시스템 마운트 합니다.

# mmmount /DATA1 -a

-a 옵션으로 양쪽 node 동시 마운트

******VG 및 디스크 셋팅******

1. data volume 15G * 3 // hb volume 1G *1

2. 1번 노드 

# smitty vg /  Add a Volume Group / Add a Scalable Volume Group / 

VOLUME GROUP name                                  [datavg]

  Physical partition SIZE in megabytes                                                                                                                                                        +

* PHYSICAL VOLUME names                              [hdisk1 hdisk2 hdisk3 hdisk4]                                                                                                            +

  Force the creation of a volume group?               no                                                                                                                                      +

  Activate volume group AUTOMATICALLY                 yes                                                                                                                                     +

    at system restart?

  Volume Group MAJOR NUMBER                          []                                                                                                                                       +#

  Create VG Concurrent Capable?                       enhanced concurrent                                                                                                                     +

  Max PPs per VG in units of 1024                     32                                                                                                                                      +

  Max Logical Volumes                                 256                                                                                                                                     +

  Enable Strict Mirror Pools                          No                                                                                                                                      +

  Infinite Retry Option                               no                                                                                                                                      +

* Power ha 7.1 이전 에는 enhanced concurrent 가 옵션이었지만, 7.1 부터는 설정을 하지 않아도 자동으로 적용이된다.

  enhanced concurrent 옵션을 주는 이유는 장애 발생시 takeover 시간을 줄이기 위해서이다.

3. 2번 노드 (pvid 생성)

  # chdev -l hdisk1 -a pv=yes

  # chdev -l hdisk2 -a pv=yes

  # chdev -l hdisk3 -a pv=yes

  # chdev -l hdisk4 -a pv=yes

4. 1번 노드 (디스크 속성 no_reserve policy 로 변경)

   # chdev -l hdisk1 -a reserve_policy=no_reserve 

   # chdev -l hdisk2 -a reserve_policy=no_reserve 

   # chdev -l hdisk3 -a reserve_policy=no_reserve 

   # chdev -l hdisk4 -a reserve_policy=no_reserve 

5. 1번 노드 (major number 확인)

   # ls -l /dev/datavg

   crw-rw----    1 root     system       45,  0 May 14 09:26 /dev/datavg

6. 1번 노드

   # exportvg datavg

7. 1,2번 노드

   * import시 필수적으로 major number 를 맞춰주어야 한다.

   # importvg -y datavg -V 45 hdisk1

---------------------------------------------------------------------------------------------------------

******클러스터 설치******

1. 1,2번 노드

 # smitty installp / Install Software / ESC + 4 / cd0 / 

   cluster.es.client, cluster.es.cspoc, cluster.es.nfs, cluster.es.server, cluster.license, cluster.man.en_US.es 설치

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

                                                        [Entry Fields]

* INPUT device / directory for software               /dev/cd0

* SOFTWARE to install                                [cluster.es.client                                                  ALL  @@I:cluster.es.client _all_filesets,cluster.es.cspoc          > +

  PREVIEW only? (install operation will NOT occur)    no                                                                                                                                      +

  COMMIT software updates?                            yes                                                                                                                                     +

  SAVE replaced files?                                no                                                                                                                                      +

  AUTOMATICALLY install requisite software?           yes                                                                                                                                     +

  EXTEND file systems if space needed?                yes                                                                                                                                     +

  OVERWRITE same or newer versions?                   no                                                                                                                                      +

  VERIFY install and check file sizes?                no                                                                                                                                      +

  Include corresponding LANGUAGE filesets?            yes                                                                                                                                     +

  DETAILED output?                                    no                                                                                                                                      +

  Process multiple volumes?                           yes                                                                                                                                     +

  ACCEPT new license agreements?                      yes                                                                                                                                     +

  Preview new LICENSE agreements?                     no                                                                                                                                      +

  WPAR Management

      Perform Operation in Global Environment         yes                                                                                                                                     +

      Perform Operation on Detached WPARs             no                                                                                                                                      +

          Detached WPAR Names                        [_all_wpars]                                                                                                                             +

      Remount Installation Device in WPARs            yes                                                                                                                                     +

      Alternate WPAR Installation Device             []

2. 1,2번 노드

   cluster patch 실시

---------------------------------------------------------------------------------------------------------------

******클러스터 셋팅******

1. 1,2번 노드

   /etc/hosts

   192.168.0.180   test1_per

   192.168.0.181   test2_per

   192.168.0.200   test_srv

2. 1,2번 노드 (공백 없이)

    /etc/cluster/rhosts

    192.168.0.180

    192.168.0.181

    192.168.0.200

    stopsrc -s clcomd

    startsrc -s clcomd

    rsh 통신 확인

3. 1번 노드 (클러스터 노드 등록)

  # smitty hacmp / Cluster Nodes and Networks / Standard Cluster Deployment / Setup a Cluster, Nodes and Networks / 

                             Setup a Cluster, Nodes and Networks

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

                                                        [Entry Fields]

* Cluster Name                                       [test_cluster]

  New Nodes (via selected communication paths)       [test2]                             +

  Currently Configured Node(s)                        test1

4. 1번 노드 (repository disk 등록)(구 heartbeat disk)

7.1 버전 이전은 heartbeat disk 라고 하여, hbvg 를 만들어서 구성을 해야 했다면, 7.1 버전부터는 디스크만 양쪽에 보이면 repository Disk 로 heartbeat disk 를 구성이 가능하다.

 # smitty hacmp / Cluster Nodes and Networks / Standard Cluster Deployment / Define Repository Disk and Cluster IP Address

 Define Repository Disk and Cluster IP Address

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

                                                        [Entry Fields]

* Cluster Name                                        test_cluster

* Heartbeat Mechanism                                 Unicast                             +

* Repository Disk                                    [00cc60005c0b579a]                   +

  Cluster Multicast Address                          []

      (Used only for multicast heartbeat)

5. 1번 노드 (APP 등록)

 # smitty hacmp / Cluster Applications and Resources / Resources / Configure User Applications (Scripts and Monitors) /

   Application Controller Scripts / Add Application Controller Scripts

Add Application Controller Scripts

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

                                                        [Entry Fields]

* Application Controller Name                        [test_APP]

* Start Script                                       [/usr/es/sbin/cluster/test_start.sh]

* Stop Script                                        [/usr/es/sbin/cluster/test_stop.sh]

  Application Monitor Name(s)                                                                    +

  Application startup mode                           [background]                                +

   이후 start,stop sh 을 chmod 755 실행 권한 주기

6. 1번 노드

  # smitty hacmp / Cluster Applications and Resources / Resources / Configure Service IP Labels/Addresses / 

   Add a Service IP Label/Address

Add a Service IP Label/Address

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

                                                        [Entry Fields]

* IP Label/Address                                    test_srv                                  +

  Netmask(IPv4)/Prefix Length(IPv6)                  [255.255.255.0]

* Network Name                                        net_ether_01

7. 1번 노드

 #  smitty hacmp / Cluster Applications and Resources / Resource Groups / Add a Resource Group

 Add a Resource Group

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

                                                        [Entry Fields]

* Resource Group Name                                [test_RG]

* Participating Nodes (Default Node Priority)        [test1 test2]                             +

  Startup Policy                                      Online On Home Node Only                   +

  Fallover Policy                                     Fallover To Next Priority Node In The Lis> +

  Fallback Policy                                     Fallback To Higher Priority Node In The L> +

8. 1번 노드

 #  smitty hacmp / Cluster Applications and Resources / Resource Groups / Change/Show Resources and Attributes for a Resource Group

Change/Show All Resources and Attributes for a Resource Group

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

                                                        [Entry Fields]

  Resource Group Name                                 test_RG

  Participating Nodes (Default Node Priority)         test1 test2

  Startup Policy                                      Online On Home Node Only

  Fallover Policy                                     Fallover To Next Priority Node In The Lis>

  Fallback Policy                                     Fallback To Higher Priority Node In The L>

  Fallback Timer Policy (empty is immediate)         []                                          +

  Service IP Labels/Addresses                        [test_srv]                                 +

  Application Controllers                            [test_APP]                                 +

  Volume Groups                                      [datavg]                                    +

  Use forced varyon of volume groups, if necessary    false                                      +

  Automatically Import Volume Groups                  false                                      +

  Filesystems (empty is ALL for VGs specified)       []                                          +

  Filesystems Consistency Check                       fsck                                       +

  Filesystems Recovery Method                         sequential                                 +

  Filesystems mounted before IP configured            false                                      +

  Filesystems/Directories to Export (NFSv2/3)        []                                          +

  Filesystems/Directories to Export (NFSv4)          []                                          +

  Stable Storage Path (NFSv4)                        []                                          +

  Filesystems/Directories to NFS Mount               []

  Network For NFS Mount                              []                                          +

  Tape Resources                                     []                                          +

  Raw Disk PVIDs                                     []                                          +

  Raw Disk UUIDs/hdisks                              []                                          +

  Disk Error Management?                              no                                         +

  Fast Connect Services                              []                                          +

  Primary Workload Manager Class                     []                                          +

  Secondary Workload Manager Class                   []                                          +

  Miscellaneous Data                                 []

  WPAR Name                                          []                                          +

  User Defined Resources                             [ ]                                         +

9. 1번 노드

  # smitty hacmp / Cluster Nodes and Networks / Verify and Synchronize Cluster Configuration

1. Nim 서버 설치에 앞서 파일셋들이 깔려 있는지 확인합니다.

2. 확인을 했다면 그 다음, /etc/hosts 에 master될 서버의 IP 와 client 서버의 IP 를 추가합니다.

 * 192.168.0.160    nim_master

 * 192.168.0.161    nim_client

3. host 추가하였다면 그 후 nimconfig 를 통해 기본 구성

#smitty nimconfig

4. nim으로 작업할 대상 client를 등록합니다.

#smitty nim_mkmac

5. server 에 설치된 OS 를 mksysb로 backup을 받습니다.

6. mksysb로 backup 받은것을 등록합니다.

#smitty nim -> Perform NIM Administration Tasks -> Manage Resources -> Define a Resource

 * Location of Resource 는 위에서 mksysb 받은 파일이있는 위치 및 파일명입니다.

7. 만들어진 nim 정보를 확인합니다.

8. mksysb 에서 spot을 추출합니다.

#smitty nim -> Perform NIM Administration Tasks -> Manage Resources -> Define a Resource

 * 위 mksysb 만들었던 방식과 흡사하게 만들면 됨

 * 사진이 누락됨...

9. 다 만들어졌다면 이제 nim 에 등록된 mksysb와 spot을 이용해서 os를 restore 해야 합니다.