開発のあいまに:

Oracle RAC 構築 Top

試験用に、Oracle RAC 環境をVmware上に構築する、一連の流れが分かるWEBサイトや資料が見つからなかったので作成しました。
Oracle RAC 環境構築全体の流れを把握して、慣れることができる手順になっています。
Oracleのバージョン差によって手順は微妙に違ってきますが、全体の流れを把握しておけば、バージョン差に対応するのも難しくはないです。

【Oracle RAC 環境を構築する手順一覧】

【Oracle RAC 論理構成】

今回構築するRAC構成は、RACノードが2つで、それぞれがSANディクスに接続しデータを同期する、標準的な Oracle RAC の最小構成です。

2019/02/11 15:14:11 | Oracle RAC

Oracle RAC 構築その1 ～ VMware構築手順

1、VMイメージ作成

VMゲストOSは３つ必要になります。空のVMを用意しておくでも良いし、過去の資産を流用するでも良い。

※VMを新規作成する際は、開発部標準のVMwareバージョンと互換性を持たせる。

2、VM仮想ネットワーク設定

今回は下記の仮想ネットワークでRACを構築します。

ネットワーク名

IPアドレス

サブネットマスク

接続設定

用途

VMnet0

192.168.1.0

255.255.255.0

ブリッジ

ソフトウェアテスト用

VMnet10

193.168.1.0

255.255.255.0

ホストオンリー

Public用

VMnet11

193.168.2.0

255.255.255.0

ホストオンリー

ASMストレージ用

VMnet12

193.168.3.0

255.255.255.0

ホストオンリー

Interconnect用

仮想ネットワークを4つ追加

【Oracle RAC 環境を構築する手順一覧】

【参考】

https://ecl.ntt.com/documents/solution-guides/rsts/oracle/rac/1_overview.html
http://www.oracle.com/technetwork/jp/database/enterprise-edition/documentation/racdb12201-inst-linux-x64-3795525-ja.pdf
https://www.ashisuto.co.jp/db_blog/article/FlexCluster_install_manual.pdf

2019/02/11 15:04:13 | Oracle RAC

Oracle RAC 構築その2 ～ SANディスク構築

1、SANディスクを模倣する為のOSをインストール。

iSCSI Targetに対応しているOSなら何でも良い。今回は Windows Server 2008 R2 を使います。

2、ネットワークアダプタ追加

SANディスク用ゲストOSのVM設定で、ネットワークアダプタを1つ追加。

※追加したネットワークアダプタは全て、MACアドレスを生成しておく。

3、IP設定

VMnet11（プライベート）

VM

IPアドレス

MACアドレス

nas-kt

193.168.2.2

00:0C:29:51:9D:D2

4、Windows Update

　※一般的な手順なので省きます。

5、ファイアーウォールを無効

　※一般的な手順なので省きます。

6、hostsファイルにRACで使う全IP/ホスト名を追加

193.168.1.31 orasv01
193.168.1.32 orasv02
193.168.1.33 orasv01-vip
193.168.1.34 orasv02-vip
193.168.1.35 orasv-scan

193.168.2.31 orasv01-p1
193.168.2.32 orasv02-p1
193.168.2.2 nas-kt

193.168.3.31 orasv01-p2
193.168.3.32 orasv02-p2

7、共有ディスク準備

※WindowsServerをNASとして使うのではなく、Microsoft iSCSI Software Target を使用してSANストレージとして使う。
※iSCSI(internet SCSI)はIPネットワーク上でSCSIプロトコルを実現することで，ネットワーク上に接続されたストレージデバイスが別の端末のローカルディスクとして認識されます。
　接続される側はiSCSIターゲット，接続する側はiSCSIイニシエータとなってデータをやりとりします。また，NASに比べて高速なデータ転送速度を備えています。

[スタート] – [管理ツール] – [Microsoft iSCSI Software Target] を起動

[iSCSI ターゲット] を右クリックして、[iSCSI ターゲットの作成] を選択します。

仮想ハードディスクを作成。

接続許可するiSCSIイニシエーターにRACのノードを追加。

その他の設定

iSCSIターゲットの実体。

iSCSIターゲットは「コンピュータの管理」からも確認できる。

【Oracle RAC 環境を構築する手順一覧】

【参考】

http://www.aichi-c.ed.jp/contents/network/nas_os_iscsi/hontai.htm
https://blogs.technet.microsoft.com/askcorejp/2012/04/09/microsoft-iscsi-software-target/

2019/02/11 15:03:16 | Oracle RAC

Oracle RAC 構築その3 ～ Oracle Linux OSインストール

1、Oracle RACのノードにどのOSのどのバージョンを使うか検討

※Oracle Database を構築し易いOracleLinuxで、Oracle12cで追加されたコンテナDBをRAC上に構築したいのを、要件としました。

コンテナDBを作成可能なのは12.1.0.1以降。
12.1.0.1以降でOracleDatabaseが安定稼動しているバージョンは12.1.0.2のみ。
12.1.0.2を構築可能なOSはOracleLinux7.2以降。

2、OracleLinuxダウンロード

OracleLinux7.2以降で、最新１つ手前の7.4を今回は使う。
DLP版、REL版と2つあるが、DLP版で問題ない。

以降、「Oracle Linux 7.4 + Oracle Database 12.1.0.2」の組み合わせでRAC環境構築を試みる。

3、OSインストール

OracleLinuxインストール済み過去のVMディスクを流用すると、OracleLinuxのamandaインストーラが起動しなかったので、VMwareイメージを新規作成するところから。

※過去のVMディスクを流用すると、Linuxのamandaインストーラが起動しない事があるので、毎回、新規インストールが望ましい。

ソフトウェアの選択で、「GUI使用 + FTPサーバー」を選択。

ROOTにパスワードを設定し、インストールが終わるのを待つ。

OS再起動。

OS再起動後、ライセンスに同意。
ネットワーク設定はホスト名を変えてオンにするのみ。

4、ユーザーアカウント毎の初期設定

5、ソフトウェアを更新

ソフトウェアを更新した結果、結局、OSは最新の7.5に。

以降、「Oracle Linux 7.5 + Oracle Database 12.1.0.2」の組み合わせでRAC環境構築を試みる。

【Oracle RAC 環境を構築する手順一覧】

【参考】

https://community.oracle.com/thread/4092667

2019/02/11 15:02:21 | Oracle RAC

Oracle RAC 構築その4 ～ VMwareゲストOS クローン作成

1、orasv01を元にクローンを作成し、orasv02として使う。

【Oracle RAC 環境を構築する手順一覧】

2019/02/11 15:01:44 | Oracle RAC

Oracle RAC 構築その5 ～ゲストOSのネットワーク設定

1、ホスト名設定

RACノードそれぞれのOSに、rootでログインしてhost名を設定。

$ su -
# nmcli general hostname orasv01

$ su -
# nmcli general hostname orasv02

2、ネットワークアダプタ追加

orasv01、orasv02のVM設定でネットワークアダプタを3つ追加。
ソフトウェア更新用にブリッジ接続はDHCPのまま残しておく。

追加したネットワークアダプタは全て、MACアドレスを生成しておく。

3、IP設定

VMnet ネットワーク（インターネット）

IPアドレス

MACアドレス

orasv01

DHCP

00:0C:29:62:88:DA

orasv02

DHCP

00:0C:29:62:88:DA

VMnet10 ネットワーク（パブリック）

IPアドレス

MACアドレス

orasv01

193.168.1.31

00:50:56:2D:6B:FB

orasv02

193.168.1.32

00:50:56:25:2E:45

orasv01-vip

193.168.1.33

無し

orasv02-vip

193.168.1.34

無し

orasv-scan

193.168.1.35

無し

VMnet11 ネットワーク（プライベート）

IPアドレス

MACアドレス

orasv01-p1

193.168.2.31

00:50:56:29:4E:35

orasv02-p1

193.168.2.32

00:50:56:30:00:93

nas-kt

193.168.2.2

00:0C:29:51:9D:D2

VMnet12 ネットワーク（プライベート）

IPアドレス

MACアドレス

orasv01-p2

193.168.3.31

00:50:56:2A:37:5E

orasv02-p2

193.168.3.32

00:50:56:31:20:0F

orasv01、orasv02それぞれのネットワークを設定する。
ネットワークの名前は、ens32、ens33、ens34、ens35、に変更する。

アプリからRACへ接続用。VMnet10（パブリック）

インターネット接続用

ASMディスクマウント用

RACノード間のハートビート用

4、hostsファイル設定

ノード毎に、rootユーザで、hostsファイルに、パブリックIP/VIP/SCANの設定を追加。

193.168.1.31 orasv01
193.168.1.32 orasv02
193.168.1.33 orasv01-vip
193.168.1.34 orasv02-vip
193.168.1.35 orasv-scan

193.168.2.31 orasv01-p1
193.168.2.32 orasv02-p1
193.168.2.2 nas-kt

193.168.3.31 orasv01-p2
193.168.3.32 orasv02-p2

5、ファイアーウォールを無効化

ノード毎に、rootユーザで、ファイアーウォールを無効にする。

$ su -
# systemctl stop firewalld
# systemctl disable firewalld

OS再起動後に有効無効を確認

$ su -
# systemctl is-enabled firewalld

【Oracle RAC 環境を構築する手順一覧】

2019/02/11 15:00:55 | Oracle RAC

Oracle RAC 構築その6 ～ Oracle Grid Infrastructure インストール前準備

1、OSパラメータ変更

ノード毎に、rootユーザで、/etc/sysctl.confファイルに設定を追記。

$ su -
# vi /etc/sysctl.conf

fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 4294967295
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
kernel.panic_on_oops = 1

/etc/sysctl.confの変更を即時反映。

$ su -
# /sbin/sysctl -p

2、OSグループの作成

ノード毎に、rootユーザでグループを追加。

$ su -
# groupadd -g 54321 oinstall
# groupadd -g 54322 dba
# groupadd -g 54323 backupdba
# groupadd -g 54324 oper
# groupadd -g 54325 dgdba
# groupadd -g 54326 kmdba
# groupadd -g 54327 asmdba
# groupadd -g 54328 asmoper
# groupadd -g 54329 asmadmin
# groupadd -g 54330 racdba

3、OSユーザの作成

ノード毎に、rootユーザでユーザを追加。

$ su -
# useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper -d /home/grid grid
# passwd grid

$ su -
# useradd -u 1200 -g oinstall -G dba,oper,backupdba,dgdba,kmdba,asmdba,racdba -d /home/oracle oracle
# passwd oracle

4、インストール・ディレクトリの準備

ノード毎に、rootユーザでディレクトリを作成。

# mkdir -p /u01/app/grid
# chown -R grid:oinstall /u01
# mkdir -p /u01/app/oracle
# chown oracle:oinstall /u01/app/oracle
# chmod -R 775 /u01

5、Cluster Time Synchronization Service (CTSS) 利用

ノード毎に、rootユーザでNTPを無効化。　※NTPの代わりにRACの時刻同期機能を使う。

# /sbin/service ntpd stop
# chkconfig ntpd off
# mv /etc/ntp.conf /etc/ntp.conf.org
# rm /var/run/ntpd.pid

6、ユーザのリソース制限値を確認

ノード毎に、rootユーザで /etc/security/limits.conf を編集し、gridユーザ、oracleユーザのリソース制限値を追記。

# vi /etc/security/limits.conf

grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
grid hard stack 32768
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
oracle hard stack 32768
oracle soft memlock 5274299
oracle hard memlock 5274299

7、ssh設定

ノード毎に、rootユーザで。

ssh認証が速くなるよう設定。

AddressFamily inet
GSSAPIAuthentication no
UseDNS no

ssh再起動

# /sbin/service sshd restart

8、Oracle Preinstallation RPM をインストール

ノード毎に、rootユーザで。

ブリッジ接続以外はオフにする

yumでインストール

# LANG=C yum install oracle-rdbms-server-12cR1-preinstall
Is this ok [y/d/N]: y

OS再起動。

# sync;sync;reboot

9、avahi-daemon 停止

ノード毎に、rootユーザで。

avahi-daemonを無効化

# chkconfig avahi-daemon off

OS再起動。

# sync;sync;reboot

10、iSCSIイニシエータを構成

ノード毎に、rootユーザで。

iscsi-initiator-utilsパッケージをインストール。

# yum install iscsi-initiator-utils

ソフトウェア更新。

OS再起動。

# sync;sync;reboot

ターゲットに関する情報を表示できるか確認。

# iscsiadm -m discovery -t sendtargets -p 193.168.2.2

セッションを確立し、特定のターゲットにログイン。

# iscsiadm -m node -T iqn.1991-05.com.microsoft:kt-nas-rac-target -p 193.168.2.2:3260 -l

セッションがアクティブであることを検証。

# iscsiadm -m session -P 3

sdb1が増えたことを確認

# lsblk -a

パーティションをフォーマット

# mkfs -t ext4 /dev/sdb1 どっちか
# mkfs -t ext3 /dev/sdb1

11、ASMLibインストール

RPMをダウンロード
http://www.oracle.com/technetwork/server-storage/linux/asmlib/rhel7-2773795.html
oracleasmlib-2.0.12-1.el7.x86_64.rpm
oracleasm-support-2.1.8-3.el7.x86_64.rpm

WinSCPで各ノードに転送

rootユーザーでインストール
# cd /home/grid/Installer/grid/rpm/
# rpm -ivh oracleasmlib-2.0.12-1.el7.x86_64.rpm oracleasm-support-2.1.8-3.el7.x86_64.rpm

ソフトウェア更新。

OS再起動。

# sync;sync;reboot

確認
# rpm -qa|grep oracleasm
※ASMLIBカーネルドライバはデフォルトでインストールされているはず。

ASMLibラベルを作成　※oracleasmのマイナーバージョンの違いによって手順が変わる。下記はソフトウェア更新前の手順。

下記verの場合
oracleasmlib-2.0.12-1.el7.x86_64.rpm
oracleasm-support-2.1.8-3.el7.x86_64.rpm

ノード１で実行
# /usr/sbin/oracleasm configure -i
Default user to own the driver interface []:grid
Default group to own the driver interface []:asmadmin
Start Oracle ASM library driver on boot (y/n) [n]:y
Scan for Oracle ASM disks on boot (y/n) [y]:y

# /usr/sbin/oracleasm init

# /usr/sbin/oracleasm createdisk DG_RAC /dev/sdb1
Writing disk header: done
Instantiating disk: done

# /usr/sbin/oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "DG_RAC"

ノード２で実行
# /usr/sbin/oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "DG_RAC"

下記verの場合
oracleasm-support-2.1.11-2.el7.x86_64
oracleasmlib-2.0.12-1.el7.x86_64

ノード１で実行
# /usr/sbin/oracleasm configure -i
Default user to own the driver interface []:grid
Default group to own the driver interface []:asmadmin
Start Oracle ASM library driver on boot (y/n) [n]:y
Scan for Oracle ASM disks on boot (y/n) [y]:y

# /usr/sbin/oracleasm init

# /usr/sbin/oracleasm createdisk DG_RAC /dev/sdb1
Writing disk header: done
Instantiating disk: done

# /usr/sbin/oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "DG_RAC"

ノード２で実行
# /usr/sbin/oracleasm configure -i
Default user to own the driver interface []:grid
Default group to own the driver interface []:asmadmin
Start Oracle ASM library driver on boot (y/n) [n]:y
Scan for Oracle ASM disks on boot (y/n) [y]:y

# /usr/sbin/oracleasm init

# /usr/sbin/oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "DG_RAC"

OS再起動。

# sync;sync;reboot

各ノードで確認

# /usr/sbin/oracleasm status
Checking if ASM is loaded: yes
Checking if /dev/oracleasm is mounted: yes

# /usr/sbin/oracleasm scandisks
# /usr/sbin/oracleasm listdisks
DG_RAC

12、resolv.conf 設定

ノード毎に、rootユーザで。

resolv.confが更新されないように、インターネット接続用のネットワークをOFFにする。

余計な設定を削除して下記設定を追加

# vi /etc/resolv.conf

nameserver 0.0.0.0

resolv.confが設定した値以外に更新されていないことを確認。

# systemctl restart network
# more /etc/resolv.conf

OS再起動。

# sync;sync;reboot

設定確認。

# more /etc/resolv.conf

【Oracle RAC 環境を構築する手順一覧】

【参考】

https://docs.oracle.com/cd/E77565_01/E54669/html/ol7-s17-storage.html
http://www.intellilink.co.jp/article/column/oracle-yam06.html
https://docs.oracle.com/cd/E82638_01/CWLIN/installing-and-configuring-oracle-asmlib-software.htm
https://docs.oracle.com/cd/E82638_01/LADBI/installing-and-configuring-oracle-asmlib-software.htm
https://docs.oracle.com/cd/E57425_01/121/CWLIN/manpreins.htm#BABFAEFE
http://www.server-memo.net/server-setting/dhcp/dhclient-resolv.html

2019/02/11 15:00:13 | Oracle RAC

Oracle RAC 構築その7 ～ Oracle Grid Infrastructure インストール

1、Oracle Grid Infrastructureのインストール

MyOracleSupportからダウンロードした、パッチ適用済みインストーラを使う。

WinSCPでgridユーザーでログインし、zipファイルを転送。

gridユーザでzipファイルを解凍。

$ unzip -q p21419221_121020_Linux-x86-64_5of10.zip
$ unzip -q p21419221_121020_Linux-x86-64_6of10.zip

cvuqdiskをインストール

各ノードで、rootユーザでインストール

# cd /home/grid/Installer/grid/rpm/
# rpm -ivh cvuqdisk-1.0.9-1.rpm

OSコンソールからgridユーザでログインしインストーラを起動。

ASMディスクをrootユーザで再認識

# su -
# /usr/sbin/oracleasm scandisks

gridユーザでログインしインストーラを起動。

$ ./runInstaller -jreLoc /usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64

※ノードを追加した後、「SSH接続...」をクリックして、パスワードを入力した後、「接続」をクリックし、正常終了してから「次へ」。

DNSサーバを使わないのと、/dev/shmはメモリを使うので、３つの問題は無視。

ノード１でシェルを実行。

# su -
# /u01/app/oraInventory/orainstRoot.sh
# /u01/app/12.1.0/grid/root.sh
Enter the full pathname of the local bin directory: [/usr/local/bin]: [Enter]
2018/06/21 19:24:30 CLSRSC-325: Configure Oracle Grid Infrastructure for a Cluster ... Succeeded

ノード２でシェルを実行。

# su -
# /u01/app/oraInventory/orainstRoot.sh
# /u01/app/12.1.0/grid/root.sh
Enter the full pathname of the local bin directory: [/usr/local/bin]: [Enter]
2018/06/21 19:30:46 CLSRSC-325: Configure Oracle Grid Infrastructure for a Cluster ... succeeded

DNSを使わず、hostsファイルのみ使っていると、Oracle Grid Infrastructure のインストールの最後に、「[INS-20802] Oracle Cluster Verificationユーティリティに失敗しました。」エラーが発生する。
無視して次へ。

「はい」を選択。

【Oracle RAC 環境を構築する手順一覧】

【参考】

https://docs.oracle.com/cd/E57425_01/121/CWSOL/crsunix.htm
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q11157027726
https://support.oracle.com/epmos/faces/DocumentDisplay?_afrLoop=509150457660761&parent=SrDetailText&sourceId=3-17633993771&id=1748374.1&_afrWindowMode=0&_adf.ctrl-state=15nja1f99a_33

2019/02/11 14:59:20 | Oracle RAC

開発のあいまに

2019年2 月23日 (土)

リモートデスクトップで行った操作を録画

2019年2 月17日 (日)

WPF StaticResourceとDynamicResourceの初期化

StaticResourceサンプル

DynamicResourceサンプル

2019年2 月11日 (月)

Oracle RAC 構築 Top

Oracle RAC 構築その1 ～ VMware構築手順

Oracle RAC 構築その2 ～ SANディスク構築

Oracle RAC 構築その3 ～ Oracle Linux OSインストール

Oracle RAC 構築その4 ～ VMwareゲストOS クローン作成

Oracle RAC 構築その5 ～ゲストOSのネットワーク設定

Oracle RAC 構築その6 ～ Oracle Grid Infrastructure インストール前準備

Oracle RAC 構築その7 ～ Oracle Grid Infrastructure インストール

ガーフィー

検索

他のサービス

最近のコメント