1 2 Previous Next 24 Replies Latest reply: Dec 27, 2012 3:40 AM by 979377 RSS

    RAC環境においてCRSリソースが起動しない

    979377
      初心者ですがよろしくお願いします。

      以下の検証環境があります。
      ・Windows Server 2003 R2
      ・Oracle 10.2.0.4
      ・Node2台+共有DiskのRAC構成

      このうち、共有Diskの電源が落ちる障害が発生しました。
      復旧は出来ましたが、crs_statでステータスを確認すると以下の状態でDBに接続できなくなりました。

      Name Type Target State Host
      ------------------------------------------------------------
      ora....B1.inst application ONLINE OFFLINE
      ora....B2.inst application ONLINE OFFLINE
      ora....PSDB.db application ONLINE OFFLINE
      ora....st01.db application ONLINE OFFLINE
      ora....11.inst application ONLINE OFFLINE
      ora....12.inst application ONLINE UNKNOWN host-b
      ora....SM1.asm application ONLINE OFFLINE
      ora....-A.lsnr application ONLINE ONLINE host-a
      ora....b-a.gsd application ONLINE ONLINE host-a
      ora....b-a.ons application ONLINE ONLINE host-a
      ora....b-a.vip application ONLINE ONLINE host-a
      ora....SM2.asm application ONLINE ONLINE host-b
      ora....-B.lsnr application ONLINE ONLINE host-b
      ora....-B.lsnr application ONLINE ONLINE host-b
      ora....b-b.gsd application ONLINE ONLINE host-b
      ora....b-b.ons application ONLINE ONLINE host-b
      ora....b-b.vip application ONLINE ONLINE host-b

      Nodeを再起動しても変わらず。
      sqlplusでの接続ではORA-12514でできず。
      lsnrctl statusでの確認では
      Services Summary...
      Service "+ASM" has 1 instance(s).
      Instance "+asm2", status BLOCKED, has 1 handler(s) for this service...
      Service "+ASM_XPT" has 1 instance(s).
      Instance "+asm2", status BLOCKED, has 1 handler(s) for this service...
      Service "PLSExtProc" has 1 instance(s).
      Instance "PLSExtProc", status UNKNOWN, has 1 handler(s) for this service...

      となっていました。
      いまいち状態もわからず。。。

      今後の対処としてアドバイス等ございましたらよろしくお願いします。
        • 1. Re: RAC環境においてCRSリソースが起動しない
          Blueloco
          ora....SM1.asm application ONLINE OFFLINE
          こちらのASMが停止しているので、こちらを利用しているDBが起動しないのは当然ですが、
          ora....SM2.asm application ONLINE ONLINE host-b
          こちらは正常に起動しているものの、ASMインスタンスが起動しただけかもしれません。
          ディスクグループの状態が気になるところです。
          sqlplusでの接続ではORA-12514でできず。
          とのことですが、ローカル接続はできないのでしょうか?
          • 2. Re: RAC環境においてCRSリソースが起動しない
            979377
            ご連絡が遅くなりすみません。

            返信ありがとうございます。
            その後状況が少し変わりまして。
            まずローカルでの接続もできませんでした。

            一度DBをShutdownしてstartup openしましたが、MOUNTEDまでしか行かず、
            その際に、ORA-01122、ORA-01110、ORA-01251が表示し、ある*.ORAファイルが指摘されていました。
            alertログには、db_recovery_file_dest_size of 2048 MB is 0.00% used. ...と出力しており、
            構築時の資料から該当ファイルのFile Sizeを2048MB,Increment SizeはNoで設定しているため、
            データが肥大化したことで拡張出来ずにOpenまでいかなくなった、のかと思えるのですがいかがでしょうか?

            単純にサイズを拡張しようと思い、
            alter datafile resizeをしましたが、open状態でないと出来ないのですね。。
            • 3. Re: RAC環境においてCRSリソースが起動しない
              asahide
              DBとインスタンス、ASMインスタンス、ASM DISKGROUPが少しごっちゃになっているようです。
              それぞれどのような状態か記載されてはと思います。

              ローカルでの接続はできませんでした、とありますがどのようにshutdownとstartupをされたのでしょうか。。。


              >db_recovery_file_dest_size of 2048 MB is 0.00% used

              こちらは0% usedなので全く問題ないと思われます。
              • 4. Re: RAC環境においてCRSリソースが起動しない
                979377
                ash_0317      さんご返信ありがうございます。

                そうですよね、すみません。shutdownしているのだから接続できていますよね。
                "それぞれどのような状態"とは何を記述すればよいのか??なのですが。。。
                • 5. Re: RAC環境においてCRSリソースが起動しない
                  asahide
                  まずはASMからですかね。

                  psでの結果でそれぞれのインスタンスのプロセスが立ち上がってますか?
                  ASMのアラートログはどうなってますか?

                  SYSASMで起動させようとするとどうなりますか?
                  V$ASM_DISKGROUPでDISKGROUPのステータスはどうなってますか?
                  • 6. Re: RAC環境においてCRSリソースが起動しない
                    979377
                    違っていたらすみません。
                    Windows環境なのですが、tasklistから確認するとoracle.exeについてNode2は2ついますが、
                    Node1では1つしか起動していません。
                    サービス一覧でのOracleASMService+ASM1 Serviceは開始状態ですが、
                    OracleService自体が開始していませんでした。手動での起動はできました。

                    Node1のasm alertログですが、5月からログ出力していないようです。
                    Node1からはローカルでsqlplusでの接続は出来ませんでした。

                    Node2からDISKGROUPのSTATEは
                    ARCHIVE MOUNTED
                    DATA CONNECTED
                    でした。

                    SYSASMでの起動というのは、sqlplus / as SYSASMでしょうか?

                    お手数おかけしますがよろしくお願いします。
                    • 7. Re: RAC環境においてCRSリソースが起動しない
                      asahide
                      ちなみに両ノードとも、リブートはされましたでしょうか?

                      >Windows環境なのですが、tasklistから確認するとoracle.exeについてNode2は2ついますが、
                      >Node1では1つしか起動していません。

                      こちらはASMインスタンスとDBインスタンスのそれぞれのexeになると思います。
                      Node1ではDBインスタンスは起動していないので一つだけなのでしょう。

                      サービスを起動してもインスタンスはアイドルだと思われます。
                      #SQL*PLUS辺りで確認してみると良いかと


                      Node1ではASMがずっと起動されていなかったのでしょうか。
                      最終的にはどのような状況にしたいと考えてますか?
                      #共有DISKが落ちて壊れたのか、それとも前から何かへんな状況だったのか、よくわからないですね。。。
                      • 8. Re: RAC環境においてCRSリソースが起動しない
                        979377
                        はい、何度か両NodeともOSからリブートしています。
                        Node1については状態がよくわからないです。Win OS上はサービスは動いていたようですが。
                        まずはNode2側でだけでもDBアクセスさせたいです。

                        それにはstartupコマンド時の

                        ORA-01122: database file 6 failed verification check
                        ORA-01110: data file 6: 'D:\ORACLE\../***.ORA'
                        ORA-01251: Unknown File Header Version read for file number 6

                        のファイルをなんとかしたいのですが、どうにもならないでしょうか?
                        • 9. Re: RAC環境においてCRSリソースが起動しない
                          asahide
                          ノーアーカイブログモードですよね?

                          普通にメディア障害と言うかデータファイルが障害となっているように見受けられます。
                          該当のデータファイルを削除して良いなら、マウント状態で該当のデータファイルのオフライン化を行うと起動できると思います、うろ覚えですけど。。。


                          ただ、他のデータファイルも大丈夫なのかは微妙なところだと思います。
                          念のため、今の状態で停止してからバックアップを取得しておかれる事をお勧めします。
                          • 10. Re: RAC環境においてCRSリソースが起動しない
                            979377
                            アーカイブログモードで、一時期(1年以上前)までRMANバックアップ取得していました。
                            現状の復旧は諦め、できるところまでリカバリしてみます。

                            もう一つ教えていただけますか。
                            仮に該当ファイルだけ破損していた場合、おっしゃる通りOFFLINEすれば起動するかもですが、
                            そのファイルを消した場合はもうDatabaseとしては終わりですよね。
                            • 11. Re: RAC環境においてCRSリソースが起動しない
                              asahide
                              アーカイブログモードですか、なら一部のデータファイルが参照できなくても起動できそうな気はしますけど。。。

                              >そのファイルを消した場合はもうDatabaseとしては終わりですよね。

                              実データとして削除した場合、オラクル上からオフライン(オフラインドロップ?)にすればそのデータファイルがなくても起動はできますよ。
                              Databaseとして終わり、というのが「必要なデータがなければ終わり」という意味なら終わりかもですけど。。。


                              開発機とは言え、月一位で全体のバックアップを取得しておくと安心です、自分のシステムでもできてないですけど:)
                              • 12. Re: RAC環境においてCRSリソースが起動しない
                                979377
                                良くわからないのですが、ファイルをOFFLINEにするとSTATUSはRECOVERになりました。
                                startupのたびに指摘されるファイルをすべてOFFLINEにしたらopenできました。

                                次にRECOVER状態のデータファイルをRestoreしようとしたのですが、ファイルがあるから出来ない様な指摘を
                                受けたのでファイルを移動させてRestoreしました。このとき
                                creating datafile fno=11 name=**.ora
                                restore not done; all files readonly, offline, or already restored
                                と表示し出来ないのですが、手順が足りないのでしょうか?
                                参考資料にもそこまでは記載されていないようで。

                                バックアップの必要性、痛感しております。
                                • 13. Re: RAC環境においてCRSリソースが起動しない
                                  asahide
                                  fno=11のファイルをv$datafile辺りで見るとどのようなステータスでしょうか?
                                  restore時にskipping datafile 11~とか出てるんですよね?


                                  Oracleがデータファイルがある、と認識しているからだと考えてます。
                                  alter database datafile '~' offline drop;
                                  辺りで削除してからrestoreしてみては如何でしょうか。
                                  • 14. Re: RAC環境においてCRSリソースが起動しない
                                    979377
                                    fno=11も含め、Offlineにしたファイルはv$datafileではRecoverです。
                                    v$recover=fileではWRONG FILE NUMBERでした。

                                    一度alter database datafile '~' offline drop;実行後
                                    Restoreすると、ORA-27038: created file already existsとなります。

                                    Resotre時にはSkipping~にはならないようです。
                                    1 2 Previous Next