[Oracle Exadata]2023.11.23

망구씨·2023년 11월 23일

📖 Oracle Exadata

✏️ 1. 엑사 시스템이 나오게 된 배경

💡 oracle8 버전때 파티셔닝이 처음 나왔다. partitioning은 봄 여름 가을 겨울옷을 옷장에 따로따로 넣는 개념. compression은 압축기술!

✅ 데이터베이스 서버와 스토리지 서버를 묶은것이 엑사 이다. 스토리지는 서버로 묶은것이 엑사이다! 원래는 스토리지는 데이터베이스에 꽂아서 사용했다. 그러다보니 데이터베이스에 있는 CPU,메모리를 너무 많이 사용했다. 데이터베이스 쪽에 있는 cpu, 메모리만 사용하는것도 버거운데 스토리지까지 사용되니까 너무 버거워서 스토리지를 하나의 컴퓨터로 만들었다. 스토리지 관련한 것들은 스토리지 서버에서 cpu,메모리를 사용하게 했다. 인피니밴드 (100gb) 이더넷을 사용해서 데이터베이스와 스토리지 서버간 데이터를 빠르게 읽고 쓸 수 있게 해준다.

✔️ 웹 서버 : 웹 화면을 구성하기 위한 코드를 구현하는 서버
예) html, 자바 스크립트등 화면 개발
✔️ 애플리케이션 서버 : 화면에서 버튼을 클릭했을 때 작동되게 하는 코드가 있는 서버
✔️ 데이터 베이스 서버 : 데이터를 관리하고 운영하는 서버
✔️ 스토리지 서버 : 실제로 물리적인 데이터가 저장되는 서버 (cpu,메모리가 있는 컴퓨터)

➡️ 여기서 데이터 베이스 서버가 OLTP 서버와 DW 서버로 나뉘는데 OLTP 서버는 실시간으로 계속 데이터가 저장되는 서버(쿠팡의 주문 테이블)이고, DW 서버는 실시간으로 저장되는 데이터를 모은 과거 이력 데이터가 저장되는 서버(과거 데이터)이다.

✏️ 2. 회사에서 DW 서버가 필요한 이유는 ?

💡 과거를 분석하고 미래를 예측하기 위한 데이터 분석을 위해 필요하다.

오라클 엑사는 이 DW 서버용 오라클 제품이고 기존 DW 서버들의 단점을 극복하기 위한 노력의 일환으로 등장했다.

✏️ 3. 엑사가 출현하게 된 배경 2가지 ?

하드웨어가 어떻게 발전했는지? TAPE에 알맨 백업본을 적을 수 있다. 시간이 많이 걸린다. (내가 아는 그 테이프) 가격이 저렴하지만 느리다..
하드디스크보다 빠른것이 우리가 쓰고있는 SSD(=C드라이브)! DRAM과 하드디스크(HDD) 균형을 SSD가 맞춰주었다.

메모리가 크면 많은 데이터를 올릴 수 있어서 성능이 좋다. 그렇지만 메모리를 꽂을 수 있는것은 한계가 있다. 이것을 SSD가 매꿨다. 새로운 메모리/스토리지 계층 구조에는 RAM과 Disk 사이에 SSS라는 것이 등장했다. 플래시 메모리라는 것을 이용해서 오라클의 성능을 높여보자 라고 한것이다.

엑사가 출현하게 된 배경 2가지

데이터 베이스 + 스토리지의 결합

차세대 스토리지의 대안 SSS 기술

문제. 기존 DW 에서의 작업에 성능저하들의 근본적인 원인은 무엇인가 ?
❗ 복잡한 데이터 분석 쿼리들이 동시에 복합적으로 발생하면서 CPU, 메모리, 디스크, 네트워크(하드웨어 자원)를 두고 서로 경쟁하며 상당한 대기시간이 요구되어지는 것이 원인이다.

✏️ 4. 데이터 베이스와 스토리지의 결합

💡 전통적 솔루션은 그냥 하드웨어를 꽂은것과 같다. 중간꺼는 i/o 전용. 그렇지만 cpu,메모리는 데이터베이스에 있는것을 써야한다. 엑사는 스토리지 서버에 있는 cpu,메모리를 쓸 수 있다.

하드웨어 및 소프트웨어 기술의 획기적인 발전에도 불구하고 현재의 데이터베이스의 전반적 성능과 응답시간은 여전히 데이터 베이스 크기에 영향을 받는다. 대형 데이터 베이스 구현의 근본 과제는 기존 스토리지 시스템의 적정한도를 넘어선 엄청난 I/O발생과 작업 부하를 어떻게 처리할 것인가이다.

더군다나 급격한 데이터의 성장은 서버와 스토리지 사이에 거대한 기술적 불균형을 만들었다.
그 불균형이란 다름아닌 프로세서와 디스크 사이의 성능 갭이다.

CPU 의 처리능력은 2년마다 2배씩 증가하는 반면 디스크 처리 속도 및 관련 소프트웨어 성능은 여전히 이에 훨씬 못 미치는 수준으로 향상되고 있다.
회전하는 디스크에 접근하는 속도의 발전은 CPU 처리 능력의 향상을 따라가지 못하는 것이다.

드라이브 회전을 통해 데이터를 찾는 물리적 제약으로 인해, 디스크 I/O 속도는 데이터를 처리하는 CPU 나 그것을 전송 하는 네트워크 속도에 비해 너무 느리다.

이는 결과적으로 대형 데이터베이스 구현에서 반드시 해결해야하만 하는 심각한 병목현상을 초래한다. 이런 상황은 결국 새로운 데이터베이스 스토리지 대안을 고려하게끔 만들었고 그 하나의 결가가 바로 데이터 베이스와 스토리지의 결합 입니다!

오라클이 보는 오늘날의 데이터 베이스 성능은 결국 스토리지에 의해 제한되는것이다.
이유는 스토리지 병목 현상 때문이다.
물리적 기계적 회전의 디스크 속도로 인해 랜덤 I/O 병목현상이 일어난다.
결과적으로 데이터 대역폭 제한은 DW 서버의 성능을 제한한다.

➡️ 대역폭은 데이터를 서로 주고받는 통로 이다.
1시간짜리 SQL을 20분에 끝나는 SQL로 SQL튜닝을 했다고 가정하면, 튜닝으로는 더 줄일 수 없다. 대역폭을 늘리면 4분?이렇게 빨라진다.

데이터베이스 사용에 있어서 종종 디스크에서 데이터베이스 서버로 가는 데이터 이동을 제한하는
병목현상이 발생한다고 오라클은 지적한다.
오라클에 따르면 이는 전통적 스토리지 제품들이 좁고 제한된 데이터 베이스-스토리지 인터페이스를 제공하기 때문에

이로 인해 데이터베이스 I/O 경로상에서 데이터 대역폭을 제한하는 많은 병목 현상이 발생하게 되고,따라서 데이터 베이스 사용 전반의 성능이 제한 받게 된다.
디스크와 서버사이의 파이프가 데이터 비해 너무 느리다(10배~100배까지)

➡️ SCOTT말고 주변애들 까지 블록으로 가져오니까 파이프가 좁은데 많이 가져와서 느린것이다 주변 행까지 다 블럭으로 올리는 이유가 무엇이냐고 했을 때 scott조회한거면 옆에 smith도 올릴수도 있잖아 라고 하는데 이건 기술적 핑계이다. 이것을 엑사가 극복했다.

전통적인 스토리지 장치의 문제는 SQL을 수행하면 스토리지로 부터 돌아오는 것은 데이터베이스 쿼리의 결과가 아니라 데이터 블럭 들이다. 데이터베이스 쿼리가 요구하는 것보다 더 많은 데이터를 돌려보내면서 대역폭 낭비를 하게 된다.

✏️ 5. 엑사데이터 아이디어

💡 엑사 데이터 아이디어는 기존 오라클 데이터베이스의 구조와 기능은 그대로 유지하되 다음과 같이 디스크 스토리지와 데이터 베이스 서버간의 너무 작은 대역폭을 늘리기 위해

파이프를 추가

더 큰 파이프를 만들고

파이프 보다 더 작은 데이터를 실어 보내고 (블럭이 아닌 행으로 보냄)

보다 적은 랜덤 디스크 i/o를 구현했다.

문제 랜덤 디스크 I/O(Random Disk I/O)란?
: disk i/o가 input, output 이다.(read,write) 하드디스크 드라이브의 원판을 돌려서 읽어야할 데이터가 저장된 위치로 디스크 헤더(disk arm)을 이동시킨 다음에 데이터를 읽는것을 랜덤 디스크 i/o라고 한다.

쿼리의 성능을 좌우하는 것은 얼마나 디스크 i/o를 줄이느냐가 핵심이다!

✏️ 6. 엑사 데이터는 위의 4가지 사항을 어떻게 해결하였는가 ?

파이프를 추가

더 큰 파이프를 만들고

파이프 보다 더 작은 데이터를 실어 보내고 (블럭이 아닌 행으로 보냄)

보다 적은 랜덤 디스크 i/o를 구현했다.

엑사 데이터가 오라클 데이터 베이스의 구조와기능을 유지하면서 데이터 대역폭 및 스토리지 병목현상을 극복하기 위해 제시하는 솔루션의 핵심은 바로 지능적 스토리지 서버 이다.

오라클은 웹 서버, 애플리케이션 서버, 데이터베이스 서버와 마찬가지로 스토리지 서버 역시 별도로 존재해야한다고 본다. 서버여야 서버의 cpu나 메모리를 사용할 수 있고 프로그램도 만들어서 돌릴 수 있다.

엑사 솔루션은 엑사 스토리지 서버와 오라클 데이터베이스 서버를 고속의 interconnect 로 연결하여 하나의 데이터 베이스 머신으로 구성하는것이다.

     해결해야할 문제                        오라클 엑사 데이터의 해결방법 

1. 파이프 수 증가의 필요 --------------->  스토리지 서버의 초 병렬 구조로 해결

2. 더 큰 파이프가 필요 ----------------->  고속의 인터커넥트 (100기가비트 이더넷)    

3. 더 작은 데이터를 보내는 방법 필요 ----->  스토리지 서버 내에서의 데이터 처리
                                         (보내는 데이터를 작게 만드는 기술)
                                         1) 블럭 -> row
                                         2) select 리스트에 나온 컬럼의 데이터만 보낸다.
                                         
        기존 방법                                  엑사 데이터(필요한 컬럼)
   select ename, sal                               select ename, sal
    from emp                                        from emp
    where ename='SCOTT';                            where ename='SCOTT';
         
emp테이블의 ename, sal가 아닌 다른 컬럼의 데이터도        select절 안의 enmae,sal만 보냄
블럭에 있으므로 다른 컬럼도 같이 디스크에서                
데이터베이스 서버로 보낸다.
        

4. 랜덤 디스크 i/o 를 최소화 필요 ------->  엑사 데이터 플래쉬 캐쉬를 통해 처리

오라클 result cache 사용하는 실습으로 cache를 사용한다는것이 무엇인지 테스트

💡RESULT CACHE 는 SQL과 PL/SQL의 성능 개선을 위한 오라클의 기술중 하나입니다. RESULT CACHE 는 오라클 메모리의 RESULT CACHE MEMORY 로 불리는 영역에 SQL 및 PL/SQL 함수의 결과를 저장하고 , 이후 동일 QUERY 조회 시 RESULT CACHE 에 저장 되어 있는 QUERY 결과 값을 그대로 활용하는 기능입니다.

db buffer cache쪽으로 가지 않고 결과 캐시(result cache)에서 찾겠다는 것

select 문의 실행과정

parsing : 지금 수행하는 똑같은 SQL이 shared pool에 있는지 조회. 만약 있다면 파싱생략
execute : 데이터를 찾으러 db buffer cache로 간다. 만약 result cache를 사용하고 오라큰 힌트를 쓰게 되면 result cache에서 데이터를 찾고 버퍼캐쉬로 가지 않는다. 빠르게 데이터를 찾아낸다!
fetch

실습1. result cache 사용 안 했을 때

connect / as sysdba
-- dbms_lock를 익스큐트 하 수 있는 권한주기
grant execute on dbms_lock to scott;

connect scott/tiger

set timing on

-- 함수 만들기
create or replace function test_result_cache
 ( p_in in number ) 
  return number
     as
     begin
        dbms_lock.sleep(10); -- 10초 대기하라고 함
      return( p_in );
    end;
    /

select test_result_cache(7) from dual;

TEST_RESULT_CACHE(7)
--------------------
                   7

Elapsed: 00:00:10.00 -- 10초 뒤에 나왔다.

실습 result cache 사용 했을 때

create or replace function test_result_cache
   ( p_in in number ) 
     return number 
     result_cache -- 요고 사용해서 만들었다.
   as
   begin
      dbms_lock.sleep(10);
     return( p_in );
   end;
  /

select test_result_cache(7) from dual;

TEST_RESULT_CACHE(7)
--------------------
                   7
-- result cache에 있는 데이터를 사용한거라 바로 나온다.
Elapsed: 00:00:00.01

💡 무조건 result_cache에 올라가게 하는 힌트 (result_cache)

select /*+ result_cache */ ename, sal
  from emp
  where ename='SCOTT';

➡️ 플래시 캐시가 우리가 실습했던 result cache같은 개념이다.

✏️ 7. 엑사 데이터 아키텍쳐

✅ smart scan!
✅ 하이브리드 컬럼 컴프레션 컬럼 단위로 보내는데 압축해서
✅ storege index 인덱스를 통해서
✅ smart flash cache 는 메모리에 올려놓고 i/o 안하도록

💡 엑사데이터 시스템은 오라클 데이터 베이스를 위해 하드웨어와 소프트웨어가 완전히 통합된 데이터 베이스 플랫폼으로 오라클 데이터 베이스 서버와 interconnect와 엑사 스토리지 서버로 구성되어있다.

💡 이 엑사 시스템의 가장 큰 특징은 종래의 스토리지가 데이터 베이스 인식 스토리즈 서버로 대체 됨으로써 데이터베이스 서버와 스토리지 서버로 이원화 되는 2계층 구조라는 점이다.
(엑사를 쓰지 않으면 스토리지가 서버로 되어있지 않고 직접 꽂아 쓰는 스토리지이다 라는 말)

Exadata Storage SErver 에서 수행하는 기능

✅ 1. 스마트 스캔

: SGA가 아닌 PGA로 바로 간다. 갈 때 플래시 캐시와 스토리지 인덱스를 거친다.

<기존 방식>

<스마트 스캔 방식>
: block이 아닌 row를 리턴하는것이 특징이다.

💡 스마트 스캔의 주요 3가지 요소
1. column projection(db 서버로의 데이터 전송량 감소를 통한 최적화)
: select 문의 컬럼 리스트에 기술한 컬럼들의 데이터만 골라내서 전공

predicate filtering (db서버로의 데이터 전송량 감소를 통한 최적화)
: select 문의 where절에 기술한 조건에 해당하는 row만 골라내서 전송

storage index (Disk i/o 감소를 통한 최적화)
: 스토리지에 저장된 컬럼의 최소값과 최대값을 디스크 용량 전체에 걸쳐 추적해서 쿼리의 where절에서 지정된 컬럼 외에 다른 컬럼들을 제외시키는 기능을 수행. 불필요한 데이터에 대한 i/o를 사전에 방지하는 역할을 수행한다.

문제. 엑사에서 스마트 스캔을 할 수 있는 SQL의 where 절의 조건을 볼 수 있는 쿼리문은 ?
: 비교 연산자들을 볼 수 있다!

select * 
  from v$sqlfn_metadata
  where offloadable='YES';

📖 엑사 시스템 주요 명령어 총정리

✏️ 전체 시스템 구성도

💡 Service 네트워크와 Management 네트워크는 데이터베이스 서버, 스토리지 서버, Infiniband Network Switch, CISCO Ethernet Switch, PDU 및 1G와의 네트워크로 아래와 같이 연결되어 있습니다.

모니터링 Util

SQL*Plus
CRSCTL
SRVCTL
DBMCLI

ASMCMD
SQL*Plus

ibstatus

CellCli
Dcli

구성도 상의 모니터링 툴

데이터베이스 서버: SQL*Plus, CRSCTL, SRVCTL, Dbmcli(Image 12.1.2.1.0 이상)

ASM : ASMCMD , SQL*Plus

스토리지 서버: Cellcli , Dcli

모니터링 툴 설명

1) SQL*Plus
스토리지 서버가 데이터베이스 서버에서 가용해 지면 그 외의 동작은 전통적인 Oracle RAC 데이터베이스와 유사합니다. 따라서 기존 데이터베이스에서 쓰던 방식 그대로 SQL*Plus 를 통해서 데이터베이스를 모니터링 및 관리할 수 있습니다.

2) SRVCTL
Oracle 데이터베이스 11gR2/12c RAC Cluster 를 관리하는 command line interface 툴 입니다. Cluster 리소스에 대한 start/stop 과 상태 체크를 할 수 있습니다.

3) CRSCTL
Oracle 데이터베이스 11gR2/12c RAC Cluster 를 관리하는 또 다른 툴 입니다. (5장 참조)

4) ASMCMD
Diskgroup 이나 Backup 등과 같은 ASM 자원에 대한 관리를 할 수 있는 command line interface 툴 입니다. (4장 참조)

5) Ibstatus
Infiniband 장치에 대한 상태를 점검할 수 있는 툴 입니다. (9장 참조)

6) Cellcli
Exadata 스토리지 서버를 관리하기 위한 command line 툴 입니다. 스토리지 서버와 관련된 명령은 cellcli를 통해서 수행됩니다. (4장 참조)

7) Dbmcli
Exadata 데이터베이스 서버를 관리하기 위한 command line 툴 입니다. 데이터베이스 서버를 관리 및 모니터링 하기 위한 기본적인 명령어들은 dbmcli를 통해서 수행 가능 합니다. 단, Image 12.1.2.1.0 이상부터 지원 (3장 참조)

오라클 소프트웨어 구성도

데이터베이스 서버 소프트웨어 설명

1) OS: Solaris 와 Linux 중 선택하여 사용 가능 하나 Solaris 버전의 경우 12.1.1.1.1 버전까지만 지원 합니다.
2) 버전: Oracle 데이터베이스 11gR2/12c 버전을 사용하며 Exadata 만의 특별한 버전은 없습니다.
3) ASM (Automatic Storage Management): 데이터베이스 서버 소프트웨어의 중요 구성요소로 파일 시스템 및 볼륨의 관리 기능을 제공 합니다
4) DBRM (Database Resource Manager): DBRM과 IORM 은 통합되어 자원관리에 사용 되며 시스템 자원에 대한 우선순위에 따라 자원을 할당할 수 있습니다.
5) Libcell : Oracle 데이터베이스가 스토리지 서버와 통신하는데 사용하는 라이브러리입니다.
6) DBmcli : 데이터베이스 서버 관리를 위한 Command Line Interface 입니다.
7) MS (management server) : DB서버 모니터링 및 Configuration을 관리 합니다. Dbmcli 툴을 통해 관리 가능 합니다.
8) RS (Restart server) : MS 서비스의 시작, 종료, 모니터링을 제공 합니다.

Infiniband Network 관련 소프트웨어 설명

1) iDB : 스토리지 서버와 데이터베이스 서버간의 통신을 하는데 사용하는 프로토콜(언어) 입니다.
2) RDS : iDB 프로토콜의 근간이 되는 프로토콜로 CPU 사용에 대한 장점을 제공 합니다.
1.2.3 스토리지 서버 소프트웨어 설명
1) OS: Exadata 스토리지 서버의 운영 시스템은 오라클 리눅스 X86_64 만 제공 합니다.
2) 버전: 12.1.2.1.0 (X5 기본 설치 버전)
3) Cellsrv : 데이터베이스 서버의 I/O 요청을 처리하는 멀티스레드 프로그램 입니다.
4) Cellcli : 스토리지 서버 관리를 위한 Command Line Interface 입니다.
5) MS (management server): Cellsrv 와 Cellcli 사이의 인터페이스를 제공하는 관리 프로그램입니다.
6) RS (Restart server) : Cellsrv 와 MS 서비스의 시작, 종료, 모니터링을 제공 합니다.
7) IORM : DBRM 과 통합 되어 관리자가 정의한 우선순위에 따라 I/O 를 할당할 수 있습니다.

Disk 구성 내역 및 사용량 점검

💡 대상 Host에 SSH로 접속 후 클라이언트 콘솔상에서 Disk 구성 내역 및 사용량을 점검합니다.

[root@krxa01 ~]# df –h       
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VGExaDb-LVDbSys1
                       30G   23G  5.4G  81% /        à Root 파티션, 리눅스 S/W 설치공간
/dev/sda1             496M   38M  433M   8% /boot    à 리눅스 부팅을 위한 S/W 설치공간
/dev/mapper/VGExaDb-LVDbOra1
                       99G   12G   83G  13% /u01     à 오라클 11gR2 S/W 설치 디렉토리
tmpfs                 252G  3.9M  252G   1% /dev/shm à Swap 영역

위와 같이 데이터베이스 서버의 root 파티션, 부팅 영역, 소프트웨어 설치 영역 등의 용도별 파티션 구성 항목 및 상태를 확인합니다.
100% full 나면 안된다. 이거 확인 잘하기 90%넘어가도 얘기해야한다. swap영역은 디스크를 메모리로 쓴 것

오라클 소프트웨어 관련 위치정보 및 환경변수 구성 점검

💡 오라클 소프트웨어가 설치되어 있는 /u01 파티션의 주요 디렉토리는 아래와 같습니다.

/u01/app/11.2.0.4/grid  à 오라클 Grid Infrastructure S/W 디렉토리 (Clusterware Home)
/u01/app/oraInventory  à 오라클 S/W 및 Patch 설치정보 관리 디렉토리
/u01/app/oracle/product/11.2.0.4/dbhome_1  à Instance관련 오라클 S/W 디렉토리
/u01/app/oracle/diag/rdbms  à 각각의 데이터베이스 별 Trace 및 Alert Log 저장 디렉토리
/home/oracle          à 오라클 Instance관리 Unix 계정인 ‘oracle’ 유저의 홈 디렉토리

💡 아래의 예시와 같이 profile에 Grid Infrastructure 및 Oracle Home 이외에 log 발생 위치 등을 alias로 지정하여 운영 시 편리하게 관리 및 접근 가능합니다.

alias adump='cd /u01/app/oracle/diag/asm/+asm/+ASM${NODE}/trace'
alias bdump='cd /u01/app/oracle/diag/rdbms/${DBNAME}/$ORACLE_SID/trace'
alias crsstat='crsctl stat res -t'
alias ll='ls -altr'
alias ob='cd $ORACLE_BASE'
alias oh='cd $ORACLE_HOME'
alias pat='cd /u01/stage/patch'
alias sp='sqlplus / as sysdba'
alias t_asmlog='tail -f $ORACLE_BASE/diag/asm/+asm/+ASM{NODE}/trace/alert_+ASM{NODE}.log'
alias t_crsdlog='tail -f $GRID_HOME/log/`hostname -a`/crsd/crsd.log'
alias t_cssdlog='tail -f $GRID_HOME/log/`hostname -a`/cssd/ocssd.log'
alias t_dblog='tail -f $ORACLE_BASE/diag/rdbms/${DBNAME}/$ORACLE_SID/trace/alert_${ORACLE_SID}.log'
alias v_asmlog='vi $ORACLE_BASE/diag/asm/+asm/+ASM1/trace/alert_+ASM{NODE}.log'
alias v_crsdlog='vi $GRID_HOME/log/`hostname -a`/crsd/crsd.log'
alias v_cssdlog='vi $GRID_HOME/log/`hostname -a`/cssd/ocssd.log'
alias v_dblog='vi -f $ORACLE_BASE/diag/rdbms/${DBNAME}/$ORACLE_SID/trace/alert_${ORACLE_SID}.log'

💡 마찬가지로 profile에 필요한 환경변수를 설정하여 운영 시 편리하게 관리 및 접근 가능합니다.

export LANG=ko_KR.euckr
# User specific environment and startup programs
export ORACLE_BASE=/u01/app/oracle
export ORA_CRS_HOME=/u01/app/11.2.0.4/grid
export GRID_HOME=/u01/app/11.2.0.4/grid
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0.4/dbhome_1
export NLS_LANG=American_America.KO16KSC5601
 
export ORACLE_UNQNAME=KRX
export NLS_DATE_FORMAT=yyyymmdd
export ORAENV_ASK=NO
NODE=`hostname -a | awk 'BEGIN { FS="" } { print $NF }'`
export ORACLE_SID=${ORACLE_UNQNAME}${NODE}
 
#. oraenv
DBNAME=`echo $ORACLE_UNQNAME|tr '[A-Z]' '[a-z]'`
 
# Each RAC node must have a unique ORACLE_SID. (i.e. orcl1, orcl2,...)
export EDITOR=vim
export ORAENV_ASK=YES
export CLASSPATH=$ORACLE_HOME/jdbc/lib/ojdbc5.jar:$ORACLE_HOME/jdbc/lib/ojdbc5_g.jar:.
export ORACLE_PATH=/u01/app/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin
export PATH=$PATH:$GI_HOME/bin:$ORACLE_HOME/jdk/bin:$ORACLE_HOME/bin
 
export PATH=.:${PATH}:/bin:/usr/bin:/sbin:$HOME/bin:$ORACLE_HOME/bin:$ORACLE_HOME/OPatch:$GRID_HOME/bin
 
export PATH=${PATH}:/opt/oracle.SupportTools:/opt/oracle.SupportTools/ibdiagtools:/opt/oracle.SupportTools/onecommand
export PATH=${PATH}:/usr/local/bin:/bin:/usr/bin:/usr/X11R6/bin:/usr/kerberos/bin
export PATH=${PATH}:$ORACLE_HOME/lib
export PS1='\u@\h:$PWD> '
 
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$GRID_HOME/lib:/lib:/usr/lib:/usr/local/lib
 
set -o vi

시스템 이벤트 로그 확인

💡 리눅스 시스템의 데몬 관련 로그를 확인할 수 있는 /var/log 디렉토리 이외에도 ipmitool 명령어를 통해서도 시스템에서 발생한 이벤트 로그를 확인할 수 있습니다. 이는 2장에서 살펴본 ILOM을 활용하여 살펴본 결과와 동일한 내용을 확인할 수 있습니다. ipmitool 유틸리티를 수행하여 시스템상에 발생하는 모든 이벤트 로그를 확인합니다.

[root@krxa01 ~]# ipmitool sel list |more 72d | 01/18/2013 | 17:38:43 | System Firmware Progress | System boot initiated | Asserted 72e | 01/18/2013 | 22:01:28 | System Firmware Progress | Management controller initialization | Asserted 72f | 01/18/2013 | 22:01:33 | System Firmware Progress | Memory initialization | Asserted 730 | 01/18/2013 | 22:01:46 | System Firmware Progress | Primary CPU initialization | Asserted 731 | 01/18/2013 | 22:01:47 | System Firmware Progress | Secondary CPU Initialization | Asserted--생략--
 
[root@krxa01 ~]# ipmitool sel list | grep ECC | cut -f1 -d : | sort –u
[root@krxa01 ~]#

위와 같이 시스템 관련 전반적인 이벤트 로그를 확인할 수 있으며, 2번 째 예처럼 특정 조건(메모리의 에러 여부 ECC(Error checking and Correcting)를 확인)을 위해 활용 할 수 있습니다.

DBMCLI를 이용한 alert 로그 확인 3.5.1 DBMCLI 명령어 사용

💡 dbmcli 유틸리티는 Exadata의 DB서버를 관리하기 위한 command-line 관리 툴로서, 각각의 DB서버에서 MS 프로세스와 통신하여 DB서버의 설정 정보 관리 및 환경 내의 오브젝트 들을 관리할 수 있습니다. DB서버에서 각각 수행되어야 하며, dcli 유틸리티를 사용하면 원격으로 여러 스토리지 서버에서 동시에 명령을 수행할 수 있습니다. dbmcli 유틸리티는 다음과 같은 구조를 가지고 있고, 내용은 다음과 같습니다.

DBMCLI를 이용한 alert 로그 확인

DB버에서는 기본적으로 ADR, Hardware, Software, Metric 기준으로 지정된 threshold에 따라 alert을 발생시키며, 추가로 생성하거나 threshold 를 상황에 맞게 변경하여 관리할 수 있습니다.

Alert 은 warning, critical, clear, info 의 4가지 레벨로 분류되어 그 종류와 중요도에 따라 SNMP와 연계한 Notification 구성도 가능합니다. Enterprise Manager 를 활용해서 Metric 을 모니터링을 하는 경우, 구성 변경이나 모니터링 interval 을 고려하여 undeliver 된 alert 로그를 때때로 확인하고 관리해야 합니다.

💡 DBMCLI를 이용하여 DB서버에서 발생한 모든 alert 로그를 확인합니다.

[root@krxadb01 ~]# dbmcli

DBMCLI: Release  - Production on Sun Feb 01 21:03:40 KST 2015 Copyright (c) 2007, 2014, Oracle.  All rights reserved.DBMCLI> 

DBMCLI> list alerthistory

  1_1      2015-01-20T12:11:53-08:00     critical "A power supply component is suspected of causing a fault with a 100 certainty.  Component Name : /SYS/PS0  Fault class    : fault.chassis.power.ext-fail  Fault message  : http://support.oracle.com/msg/SPX86A-8003-EL"          1_2      2015-01-20T12:12:24-08:00     clear    "A power supply component fault has been cleared.  Component Name       : /SYS/PS0  Trap Additional Info : fault.chassis.power.ext-fail"          2_1      2015-01-20T12:16:49-08:00     critical "A power supply component is suspected of causing a fault with a 100 certainty.  Component Name : /SYS/PS1  Fault class    : fault.chassis.power.ext-fail  Fault message  : http://support.oracle.com/msg/SPX86A-8003-EL"          2_2      2015-01-20T12:16:55-08:00     clear    "A power supply component fault has been cleared.  Component Name       : /SYS/PS1  Trap Additional Info : fault.chassis.power.ext-fail"DBMCLI>

💡 alert 로그의 상세 정보 확인 (2_1은 로그 ID)하기 위해 다음과 같이 실행합니다.

DBMCLI> list alerthistory 2_1 detail
 name:               2_1          alertDescription:   "A power supply component suspected of causing a fault"          alertMessage:       "A power supply component is suspected of causing a fault with a 100 certainty.  Component Name : /SYS/PS1  Fault class    : fault.chassis.power.ext-fail  Fault message  : http://support.oracle.com/msg/SPX86A-8003-EL"          alertSequenceID:    2          alertShortName:     Hardware          alertType:          Stateful          beginTime:          2015-01-20T12:16:49-08:00          endTime:            2015-01-20T12:16:55-08:00          examinedBy:                    metricObjectName:   /SYS/PS1_FAULT          notificationState:  0          sequenceBeginTime:  2015-01-20T12:16:49-08:00          severity:           critical          alertAction:        "For additional information, please refer to http://support.oracle.com/msg/SPX86A-8003-EL" DBMCLI>

로그 상세에 따르면 DB서버 환경 설정 검증 중 오류가 발견되었고, 그에 따른 조치 권고사항을 제시하고 있습니다.

💡 alert 의 정의와 관련 metric 정보를 조회하여 문제 해결의 참고 정보로 활용할 수 있습니다.

DBMCLI> list alertdefinition attributes name, metricname, alertsource, description where alertshortname='ADR'

         ADRAlert                "Automatic Diagnostic Repository"       "Incident Alert"

💡 또한, 중요한 alert 을 조회하기 위해 filtering 할 수 있습니다.

DBMCLI> list alerthistory where severity clear

         1_2     2015-01-20T12:12:24-08:00 clear   "A power supply component fault has been cleared.  Component Name       : /SYS/PS0  Trap Additional Info : fault.chassis.power.ext-fail"
         2_2     2015-01-20T12:16:55-08:00 clear   "A power supply component fault has been cleared.  Component Name       : /SYS/PS1  Trap Additional Info : fault.chassis.power.ext-fail"

DBMCLI를 이용한 DB서버 점검

💡 DBMCLI를 이용하여 대상 DB서버의 상태를 확인합니다.

DBMCLI> list dbserver detail

          name:                      krxacel01
          bbuStatus:                 normal
          coreCount:                 2
          cpuCount:                  4
          diagHistoryDays:           7
          fanCount:                  16/16
          fanStatus:                 normal
          id:                        1438NM103T
          interconnectCount:         2
          kernelVersion:             2.6.39-400.246.1.el5uek
          locatorLEDStatus:          off
          makeModel:                 Oracle Corporation ORACLE SERVER X5-2
          metricHistoryDays:         7
          msVersion:                 OSS_12.1.2.1.1_LINUX.X64_150129
          pendingCoreCount:          18
          powerCount:                2/2
          powerStatus:               normal
          releaseImageStatus:       success
          releaseVersion:            12.1.2.1.1.150129
          releaseTrackingBug:       20240049
          status:                    online
          temperatureReading:       29.0
          temperatureStatus:         normal
          upTime:                    2 days, 14:29
          msStatus:                  running
          rsStatus:                  running

➡️ 수행 결과 MS, RS 프로세스의 status 가 running 으로 조회되며 각종 status가 normal로 정상임을 확인 할 수 있습니다.

💡 DBMCLI를 이용하여 다른 방법으로 서버의 상태 정보를 확인할 수도 있습니다.

DBMCLI> list metriccurrent attributes name, objectType, metricObjectName, metricValue, alertState

          DS_BBU_TEMP                DBSERVER                   krxacel01        34.0 C            normal
          DS_CPUT                    DBSERVER                   krxacel01        25.7 %            normal
          DS_CPUT_MS                 DBSERVER                   krxacel01        0.1 %             normal
          DS_FANS                    DBSERVER                   krxacel01        16                normal
          DS_FSUT                    DBSERVER_FILESYSTEM       /                          77 %                  normal
          DS_FSUT                    DBSERVER_FILESYSTEM       /EXAVMIMAGES               7 %                   normal
          DS_FSUT                    DBSERVER_FILESYSTEM       /boot                      13 %                  normal
          DS_FSUT                    DBSERVER_FILESYSTEM       /var/lib/xenstored        1 %                   normal
          DS_MEMUT                   DBSERVER                   krxacel01        88 %              normal
          DS_MEMUT_MS                DBSERVER                   krxacel01        4.9 %             normal
          DS_RUNQ                    DBSERVER                   krxacel01        0.4               normal
          DS_SWAP_IN_BY_SEC          DBSERVER                   krxacel01        0.0 KB/sec        normal
          DS_SWAP_OUT_BY_SEC        DBSERVER                   krxacel01        0.0 KB/sec        normal
          DS_SWAP_USAGE              DBSERVER                   krxacel01        0 %               normal
          DS_TEMP                    DBSERVER                   krxacel01        29.0 C            normal
          DS_VIRTMEM_MS              DBSERVER                   krxacel01        1,168 MB          normal
          N_HCA_MB_RCV_SEC           DBSERVER                   krxacel01        0.017 MB/sec     normal
          N_HCA_MB_TRANS_SEC        DBSERVER                   krxacel01        0.014 MB/sec     normal
          N_IB_MB_RCV_SEC            IBPORT                     HCA-1:1                    0.010 MB/sec         normal
          N_IB_MB_RCV_SEC            IBPORT                     HCA-1:2                    0.007 MB/sec         normal
          N_IB_MB_TRANS_SEC          IBPORT                     HCA-1:1                    0.008 MB/sec         normal
          N_IB_MB_TRANS_SEC          IBPORT                     HCA-1:2                    0.006 MB/sec         normal
          N_IB_UTIL_RCV              IBPORT                     HCA-1:1                    0.0 %                 normal
          N_IB_UTIL_RCV              IBPORT                     HCA-1:2                    0.0 %                 normal
          N_IB_UTIL_TRANS            IBPORT                     HCA-1:1                    0.0 %                 normal
          N_IB_UTIL_TRANS            IBPORT                     HCA-1:2                    0.0 %                 normal
          N_NIC_KB_RCV_SEC           DBSERVER                   krxacel01        3.0 KB/sec        normal
          N_NIC_KB_TRANS_SEC        DBSERVER                   krxacel01        0.2 KB/sec        normal
 
DBMCLI>
DBMCLI> describe metricdefinition
        name
        description
        metricType
        objectType
        persistencePolicy
        unit
 
DBMCLI> list metricdefinition attributes name, metrictype, objecttype, unit, description where name=' DS_SWAP_USAGE'
        DS_SWAP_USAGE   Instantaneous  DBSERVER    %           "Percentage of swap used"
 
DBMCLI>

➡️ DB서버에 사전 정의된 metric 의 현재 값과 status 를 확인하여 서버의 정상 여부를 판단할 수 있습니다. 예를 들어, DS_SWAP_USAGE는 Percentage of swap used %를 관리하는 DBSERVER mtric 이고, 설정된 threshold 값에 따라 alertState 가 ‘normal’ 임을 확인 할 수 있습니다.

💡 DBMCLI를 이용한 문제가 발생한 컴포넌트를 확인할 수 있습니다.

DBMCLI> list metriccurrent attributes name, metricObjectName, metricValue, alertState where  alertState!='normal'
 
DBMCLI>

➡️ alertState 가 ‘normal’ 이 아닌 컴포넌트가 없는 것을 확인할 수 있습니다.

DBMCLI를 이용한 DB서버 구성요소 확인

DB구성요소는 DBMCLI 의 list 명령어를 사용하여 조회할 수 있고, 조회 결과에 대해서 detail 과 filtering이 가능합니다. 조회 가능 DB서버 구성요소는 각각 physicaldisk, lun, ibport 키워드를 사용하여 조회합니다.

명령어 : list physicaldisk | lun | ibport [where <filter 조건>] [detail]

?

💡 DBMCLI를 실행시켜 physical 디스크 목록을 조회합니다.

DBMCLI>   list physical disk
          252:0   BR2L2S  normal
          252:1   BR31GS  normal
          252:2   BPD1VS  normal
          252:3   BR31BS  normal
 
DBMCLI>

💡 특정 physical disk 에 대해서 상세한 내용을 조회합니다.

DBMCLI> list physicaldisk BR2L2S detail
          name:                      252:0
          deviceId:                  8
          diskType:                  HardDisk
          enclosureDeviceId:         252
          errMediaCount:             0
          errOtherCount:             0
          makeModel:                 "HITACHI H109060SESUN600G"
          physicalFirmware:          A690
          physicalInsertTime:       2015-01-08T21:25:15-08:00
          physicalInterface:         sas
          physicalSerial:            BR2L2S
          physicalSize:              558.9120712280273G
          slotNumber:                0
          status:                    normal
 
DBMCLI>

➡️ name 이 BR2L2S 인 physical disk 의 상세 정보를 확인할 수 있습니다.

DBMCLI를 이용한 IB Network 에러 점검

IB Network 에러는 ibport 오브젝트를 조회하여 링크업, 포트 상태 및 에러 카운트를 주기적으로 모니터링 하여 linkup 및 active 상태가 아니거나 error 카운트가 급격히 증가하는 경우 IB Network 점검이 필요합니다.

💡 다음과 같이 list ibport detail 명령어로 IB network 상태를 조회 합니다.

DBMCLI> list ibport detail
          name:                      HCA-1:1
          dataRate:                  "40 Gbps"
          hcaFWVersion:              2.11.1280
          id:                        0x0010e00001486d69
          lid:                       14
          linkDowned:                0
          linkIntegrityErrs:         0
          linkRecovers:              0
          physLinkState:             LinkUp
          portNumber:                1
          rcvConstraintErrs:         0
          rcvData:                   833848828
          rcvErrs:                   0
          rcvRemotePhysErrs:         0
          status:                    Active
          symbolErrs:                0
          vl15Dropped:               0
          xmtConstraintErrs:         0
          xmtData:                   673508721
          xmtDiscards:               0
 
          name:                      HCA-1:2
          dataRate:                  "40 Gbps"
          hcaFWVersion:              2.11.1280
          id:                        0x0010e00001486d6a
          lid:                       15
          linkDowned:                0
          linkIntegrityErrs:         0
          linkRecovers:              0
          physLinkState:             LinkUp
          portNumber:                2
          rcvConstraintErrs:         0
          rcvData:                   642645473
          rcvErrs:                   0
          rcvRemotePhysErrs:         0
          status:                    Active
          symbolErrs:                0
          vl15Dropped:               0
          xmtConstraintErrs:         0
          xmtData:                   534204895
          xmtDiscards:               0
 
DBMCLI>

시스템 자원 사용률 모니터링 및 점검

💡 대상 Host에 SSH로 접속 후 클라이언트 콘솔 상에서 top 명령어를 통해 시스템 리소스 활용도를 확인할 수 있습니다.

[root@krxa01 ~]# top

💡 오라클에서 제공하는 sar.sh 스크립트를 활용하여 시스템 리소스 활용도를 확인하는 방법은 다음과 같습니다. 대상 Host에 SSH로 접속 후, root 계정으로 다음과 같이 실행합니다.

§   sar.sh는 오라클을 통해 제공 받습니다.
§   sar.sh 스크립트를 이용한 시스템 전반의 활용도 확인 (데이터베이스, 스토리지 서버 의 CPU, IO, Network 사용량을 확인)
§   파일 위치: /root/sar.sh
§   명령어: sar.sh <Interval Time(sec)> <Repeate Times>

[root@krxa01 ~]# sar.sh 5 10000

시스템 이벤트 로그 확인

💡 ipmitool 을 IPMI 를 지원하는 장치들을 관리할 수 있는 커맨드 입니다. ipmitool sel list 커맨드를 사용해서 ILOM SP 시스템 이벤트 로그를 확인할 수 있습니다.

[root@krxacel01 ~]# ipmitool sel list |more  

1 | 09/05/2011 | 02:44:36 | System Boot Initiated | System Restart | Asserted   2 | 09/05/2011 | 02:44:37 | System Boot Initiated | Initiated by hard reset | Asserted   3 | 09/05/2011 | 02:44:37 | System Firmware Progress | Memory initialization | Asserted   4 | 09/05/2011 | 02:44:37 | System Firmware Progress | Primary CPU initialization | Asserted   5 | 09/05/2011 | 02:44:39 | System Boot Initiated | Initiated by warm reset | Asserted   6 | 09/05/2011 | 02:44:40 | System Firmware Progress | Memory initialization | Asserted   7 | 09/05/2011 | 02:44:40 | System Firmware Progress | Primary CPU initialization | Asserted   8 | 09/05/2011 | 02:44:41 | System Boot Initiated | Initiated by warm reset | Asserted   9 | 09/05/2011 | 02:44:41 | System Firmware Progress | Memory initialization | Asserted   a | 09/05/2011 | 02:44:41 | System Firmware Progress | Primary CPU initialization | Asserted   b | 09/05/2011 | 02:44:42 | System ACPI Power State #0x26 | S0/G0: working | Asserted   c | 09/05/2011 | 02:44:42 | System ACPI Power State #0x26 | S5/G2: soft-off | Deasserted   d | 09/05/2011 | 02:44:47 | Entity Presence #0x58 | Device Present   e | 09/05/2011 | 02:44:48 | Entity Presence #0x55 | Device Present   f | 09/05/2011 | 02:44:49 | Entity Presence #0x57 | Device Present  10 | 09/05/2011 | 02:44:51 | Entity Presence #0x54 | Device Present  11 | 09/05/2011 | 02:45:07 | System Firmware Progress | Management controller initialization |Asserted-- 이하 생략 --

[root@krxacel01 ~]# ipmitool sel list | grep ECC | cut -f1 -d : | sort -u
[root@krxacel01 ~]#

➡️ ipmitool 과 관련된 구체적인 내용은 3.데이터베이스 서버 구성 점검 및 모니터링 의 (4) 시스템 이벤트 로그 확인을 참고하고, ILOM 과 관련된 내용은 2.ILOM을 이용한 하드웨어 점검을 참고 합니다.

CellCLI를 이용한 alert 로그 확인 4.6.1 CellCLI 명령어 사용

cellcli 유틸리티는 Exadata의 Cell을 관리하기 위한 command-line 관리 툴로서, 각각의 스토리지 서버에서 MS 프로세스와 통신하여 Cell 의 기동과 정지, Cell 설정 정보 관리 및 Cell 환경 내의 오브젝트 들을 관리할 수 있습니다. 스토리지 서버에서 각각 수행되어야 하며, dcli 유틸리티를 사용하면 원격으로 여러 스토리지 서버에서 동시에 명령을 수행할 수 있습니다.

cellcli 유틸리티는 다음과 같은 구조를 가지고 있고, 내용은 다음과 같습니다.

CellCLI를 이용한 alert 로그 확인

스토리지 서버에서는 기본적으로 Cell Disk, Grid Disk, Flash Cache, Consumer Group, Interconnect Network 및 I/O 등 스토리지 서버의 구성 요소와 run-time 속성 등을 metric 을 지정하여 주기적으로 모니터링 하고 이력을 관리합니다. 스토리지 서버에 설정된 metric 은 지정된 threshold 에 따라 alert 을 발생시키며, 추가로 생성하거나 threshold 를 상황에 맞게 변경하여 관리할 수 있습니다. Threshold로 관리해야 하는 요소도 있지만, Network Error 와 같이 지속적인 모니터링을 통하여 이상 징후를 파악해야 하는 요소도 있습니다.

CellCLI를 이용하여 스토리지 서버에서 발생한 모든 alert 로그를 확인합니다.

[root@krxacl01 ~]# cellcliCellCLI:

Release 12.1.2.1.0 - Production on Sun Feb 09 18:42:11 KST 2014 Copyright (c) 2007, 2013, Oracle.  All rights reserved.Cell Efficiency Ratio: 320  CellCLI>

 CellCLI>  list alerthistory   

   1_1     2013-03-15T05:46:49+09:00       critical        "A power supply component is suspected of causing a fault.  Component Name : /SYS/PS1  Fault class    : fault.chassis.power.ext-fail  Fault message  : http://www.sun.com/msg/SPX86-8003-73"         1_2     2013-03-28T18:02:50+09:00       clear           "A power supply component fault has been cleared.   Component Name : /SYS/PS1"         2_1     2013-03-28T17:54:04+09:00       critical        "Cell configuration check discovered the following problems:   Check Exadata configuration via ipconf utility Verifying of Exadata configuration file /opt/oracle.cellos/cell.conf Error. Exadata configuration file not found /opt/oracle.cellos/cell.conf [INFO] The ipconf check may generate a failure for temporary inability to reach NTP or DNS server. You may ignore this alert, if the NTP or DNS servers are valid and available. [INFO] You may ignore this alert, if the NTP or DNS servers are valid and available. [INFO] As root user run /usr/local/bin/ipconf -verify -semantic to verify consistent network configurations."         2_2     2013-03-28T18:19:23+09:00       clear           "The cell configuration check was successful."         3       2013-03-28T17:59:40+09:00       critical        "RS-7445 [Serv MS hang detected] [It will be restarted] [] [] [] [] [] [] [] [] [] []"         4       2013-03-28T18:14:23+09:00       critical        "RS-7445 [Required IP parameters missing] [Check cellinit.ora] [] [] [] [] [] [] [] [] [] []"         5_1     2013-03-14T13:46:49+09:00       critical        "A power supply component is suspected of causing a fault.  Component Name : /SYS/PS1  Fault class    : fault.chassis.power.ext-fail  Fault message  : http://www.sun.com/msg/SPX86-8003-73"         6_1     2013-04-02T10:39:26+09:00       critical        "Cell configuration check discovered the following problems:   Check Exadata configuration via ipconf utility Verifying of Exadata configuration file /opt/oracle.cellos/cell.conf Checking NTP server on 10.10.10.22                                                              : FAILED Error. Overall status of verification of Exadata configuration file: FAILED [INFO] The ipconf check may generate a failure for temporary inability to reach NTP or DNS server. You may ignore this alert, if the NTP or DNS servers are valid and available. [INFO] You may ignore this alert, if the NTP or DNS servers are valid and available. [INFO] As root user run /usr/local/bin/ipconf -verify -semantic to verify consistent network configurations."         6_2     2013-04-03T15:56:11+09:00       clear           "The cell configuration check was successful." CellCLI>

alert 로그의 상세 정보 확인 (2_1은 로그 ID)하기 위해 다음과 같이 실행합니다.

CellCLI> list alerthistory 2_1 detail     

name:                   2_1         alertMessage:           "Cell configuration check discovered the following problems:   Check Exadata configuration via ipconf utility Verifying of Exadata configuration file /opt/oracle.cellos/cell.conf Error. Exadata configuration file not found /opt/oracle.cellos/cell.conf [INFO] The ipconf check may generate a failure for temporary inability to reach NTP or DNS server. You may ignore this alert, if the NTP or DNS servers are valid and available. [INFO] You may ignore this alert, if the NTP or DNS servers are valid and available. [INFO] As root user run /usr/local/bin/ipconf -verify -semantic to verify consistent network configurations."         alertSequenceID:        2         alertShortName:         Software         alertType:              Stateful         beginTime:              2013-03-28T17:54:04+09:00         endTime:                2013-03-28T18:19:23+09:00         examinedBy:         metricObjectName:       checkconfig         notificationState:      0         sequenceBeginTime:      2013-03-28T17:54:04+09:00         severity:               critical       
  alertAction:            "Correct the configuration problems. Then run cellcli command:   ALTER CELL VALIDATE CONFIGURATION   Verify that the new configuration is correct." CellCLI>

로그 상세에 따르면 스토리지 서버 환경 설정 검증 중 오류가 발견되었고, 그에 따른 조치 권고사항을 제시하고 있습니다. alert 의 정의와 관련 metric 정보를 조회하여 문제 해결의 참고 정보로 활용할 수 있습니다.

CellCLI> list alertdefinition attributes name, metricname, alertsource, description where alertshortname='ADR'
         ADRAlert                "Automatic Diagnostic Repository"       "Incident Alert"

CellCLI를 이용한 스토리지 서버 점검

CellCLI를 이용하여 대상 스토리지 서버의 상태를 확인합니다.

CellCLI> ? 
          name:                      krxacel01
          bbuStatus:                 normal     # For equal to or earlier than X4-2
          cellVersion:               OSS_12.1.2.1.0_LINUX.X64_141206.1
          cpuCount:                  24
          diagHistoryDays:           7
          fanCount:                  8/8
          fanStatus:                 normal
          flashCacheMode:            WriteBack
          id:                        1233FM5057
          interconnectCount:         3
          interconnect1:             ib0
          interconnect2:             ib1                 # For Active bonding
          iormBoost:                 0.0
          ipaddress1:                192.168.10.11/22
          ipaddress2:                192.168.10.12/22    # For Active bonding
          kernelVersion:             2.6.39-400.243.1.el6uek.x86_64
          locatorLEDStatus:          off
          makeModel:                 Oracle Corporation SUN FIRE X4270 M3 High Performance
          memoryGB:                  63
          metricHistoryDays:         7
          offloadGroupEvents:
          offloadEfficiency:         1,000.0
          powerCount:                2/2
          powerStatus:               normal
          releaseImageStatus:       success
          releaseVersion:            12.1.2.1.0.141206.1
          releaseTrackingBug:       17885582
          status:                    online
          temperatureReading:       27.0
          temperatureStatus:         normal
          upTime:                    3 days, 2:18
          usbStatus:                 normal
          cellsrvStatus:             running
          msStatus:                  running
          rsStatus:                  running
 
CellCLI>

수행 결과 CELLSRV, MS, RS 프로세스의 status 가 running 으로 조회되면 해당 스토리지 서버가 정상적으로 운영 중임을 확인할 수 있습니다.

💡 CellCLI를 이용하여 다른 방법으로 서버의 상태 정보를 확인할 수도 있습니다.

CellCLI> list metriccurrent attributes name, objectType, metricObjectName, metricValue, alertState where objectType='CELL'
         CL_BBU_CHARGE           CELL    krx3bcel01      84.0 %          normal
         CL_BBU_TEMP             CELL    krx3bcel01      33.0 C          normal
         CL_CPUT_CS              CELL    krx3bcel01      0.8 %           normal
         CL_CPUT                 CELL    krx3bcel01      3.8 %           normal
         CL_CPUT_MS              CELL    krx3bcel01      0.5 %           normal
         CL_FANS                 CELL    krx3bcel01      8               normal
         CL_MEMUT_CS             CELL    krx3bcel01      10.8 %          normal
         CL_MEMUT                CELL    krx3bcel01      32 %            normal
         CL_MEMUT_MS             CELL    krx3bcel01      0.9 %           normal
         CL_RUNQ                 CELL    krx3bcel01      0.4             normal
         CL_SWAP_IN_BY_SEC       CELL    krx3bcel01      0.0 KB/sec      normal
         CL_SWAP_OUT_BY_SEC      CELL    krx3bcel01      0.0 KB/sec      normal
         CL_SWAP_USAGE           CELL    krx3bcel01      0 %             normal
         CL_TEMP                 CELL    krx3bcel01      19.0 C          normal
         CL_VIRTMEM_CS           CELL    krx3bcel01      9,342 MB        normal
         CL_VIRTMEM_MS           CELL    krx3bcel01      1,373 MB        normal
         IORM_MODE               CELL    krx3bcel01      2               normal
         N_HCA_MB_RCV_SEC        CELL    krx3bcel01      0.065 MB/sec    normal
         N_HCA_MB_TRANS_SEC      CELL    krx3bcel01      0.117 MB/sec    normal
         N_NIC_KB_RCV_SEC        CELL    krx3bcel01      1.1 KB/sec      normal
         N_NIC_KB_TRANS_SEC      CELL    krx3bcel01      0.9 KB/sec      normal
         N_NIC_NW                CELL    krx3bcel01      3               normal
CellCLI>
 
CellCLI> describe metricdefinition
        name
        description
        metricType
        objectType
        persistencePolicy
        unit
 
CellCLI> list metricdefinition attributes name, metrictype, objecttype, unit, description where name='CL_BBU_CHARGE'
         CL_BBU_CHARGE   Instantaneous   CELL    %       "Disk Controller Battery Charge"
 
CellCLI>

스토리지 서버에 사전 정의된 metric 의 현재 값과 status 를 확인하여 서버의 정상 여부를 판단할 수 있습니다. 예를 들어, CL_BBU_CHARGE 는 Disk Controller Battery Charge %를 관리하는 CELL mtric 이고, 설정된 threshold 값에 따라 alertState 가 ‘normal’ 임을 확인 할 수 있습니다.

💡 CellCLI를 이용한 문제가 발생한 컴포넌트를 확인할 수 있습니다.

CellCLI> list metriccurrent attributes name, metricObjectName, metricValue, alertState where objectType='CELL' and alertState!='normal'
 
CellCLI>

➡️ alertState 가 ‘normal’ 이 아닌 컴포넌트가 없는 것을 확인할 수 있습니다.

CellCLI를 이용한 스토리지 구성요소 확인

모든 스토리지 구성요소는 CellCLI 의 list 명령어를 사용하여 조회할 수 있고, 조회 결과에 대해서 detail 과 filtering이 가능합니다. 스토리지 구성요소는 각각 lun, celldisk, griddisk, flashcache 키워드를 사용하여 조회하고, 다음 명령어를 사용하여 Cell 디스크 목록을 조회합니다.

명령어: list physicaldisk | lun | celldisk | griddisk | flashcache [where <filter 조건>][detail]

💡 CellCLI를 실행시켜 physical 디스크 목록을 조회합니다.

CellCLI> list physicaldisk

         20:0            KGNG5M          normal
         20:1            KG59EM          normal
         20:2            KGNENM          normal
         20:3            KG6KSM          normal
         20:4            KG5BJM          normal
         20:5            KG5GPM          normal
         20:6            KGNDZM          normal
         20:7            KG6K5M          normal
         20:8            KEJ1AM          normal
         20:9            KG557M          normal
         20:10           KG5BNM          normal
         20:11           KG7SUM          normal
         FLASH_1_0       5L003GG3        normal
         FLASH_1_1       5L003FVR        normal
         FLASH_1_2       5L003JYQ        normal
         FLASH_1_3       5L003JEF        normal
         FLASH_2_0       5L003G8L        normal
         FLASH_2_1       5L003FVF        normal
         FLASH_2_2       5L003JK9        normal
         FLASH_2_3       5L003HM1        normal
         FLASH_4_0       5L003G3K        normal
         FLASH_4_1       5L003GGA        normal
         FLASH_4_2       5L003FQT        normal
         FLASH_4_3       5L003GAZ        normal
         FLASH_5_0       5L004QLQ        normal
         FLASH_5_1       5L004R3Z        normal
         FLASH_5_2       5L004QT3        normal
         FLASH_5_3       5L004H87        normal
 
[For X5-2 EF]
          NVME_0  CVMD4320006K1P6LGN        normal
          NVME_1  CVMD4321006V1P6LGN        normal
          NVME_3  CVMD432300221P6LGN        normal
          NVME_4  CVMD432000031P6LGN        normal
          NVME_6  CVMD4321001V1P6LGN        normal
          NVME_7  CVMD4325005V1P6LGN        normal
          NVME_9  CVMD4320006J1P6LGN        normal
          NVME_10 CVMD4325004C1P6LGN        normal
CellCLI>

💡 특정 physical disk 에 대해서 상세한 내용을 조회합니다.

CellCLI> list physicaldisk FLASH_1_1 detail
        name:                   FLASH_1_1
        flashLifeLeft:          100
        luns:                   1_1
        makeModel:              "Sun Flash Accelerator F80 PCIe Card"
        physicalFirmware:       UI5P
        physicalInsertTime:     2014-01-09T08:07:37+09:00
        physicalSerial:         11000123312
        physicalSize:           186.26451539993286G
        slotNumber:             "PCI Slot: 1; FDOM: 1"
        status:                 normal

CellCLI>

💡 physical disk 목록 조회 결과에 filtering 을 적용할 수 있습니다.

CellCLI>  list physicaldisk where disktype=
        FLASH_1_0       5L003GG3        normal
        FLASH_1_1       5L003FVR        normal
        FLASH_1_2       5L003JYQ        normal
        FLASH_1_3       5L003JEF        normal
        FLASH_2_0       5L003G8L        normal
        FLASH_2_1       5L003FVF        normal
        FLASH_2_2       5L003JK9        normal
        FLASH_2_3       5L003HM1        normal
        FLASH_4_0       5L003G3K        normal
        FLASH_4_1       5L003GGA        normal
        FLASH_4_2       5L003FQT        normal
        FLASH_4_3       5L003GAZ        normal
        FLASH_5_0       5L004QLQ        normal
        FLASH_5_1       5L004R3Z        normal
        FLASH_5_2       5L004QT3        normal
        FLASH_5_3       5L004H87        normal

CellCLI>

➡️physical disk 의 type 이 flash disk 인 physical disk 의 목록을 확인할 수 있습니다.
💡 CellCLI를 실행시켜 cell 디스크 목록을 조회합니다.

CellCLI> list celldisk
        CD_00_krx3bcel01        normal
        CD_01_krx3bcel01        normal
        CD_02_krx3bcel01        normal
        CD_03_krx3bcel01        normal
        CD_04_krx3bcel01        normal
        CD_05_krx3bcel01        normal
        CD_06_krx3bcel01        normal
        CD_07_krx3bcel01        normal
        CD_08_krx3bcel01        normal
        CD_09_krx3bcel01        normal
        CD_10_krx3bcel01        normal
        CD_11_krx3bcel01        normal
        FD_00_krx3bcel01        normal
        FD_01_krx3bcel01        normal
        FD_02_krx3bcel01        normal
        FD_03_krx3bcel01        normal
        FD_04_krx3bcel01        normal
        FD_05_krx3bcel01        normal
        FD_06_krx3bcel01        normal
        FD_07_krx3bcel01        normal
        FD_08_krx3bcel01        normal
        FD_09_krx3bcel01        normal
        FD_10_krx3bcel01        normal
        FD_11_krx3bcel01        normal
        FD_12_krx3bcel01        normal
        FD_13_krx3bcel01        normal
        FD_14_krx3bcel01        normal
        FD_15_krx3bcel01        normal

CellCLI>

하드 디스크로 구성된 12개의 CellDisk 와 FLASH로 구성된 16개의 CellDisk를 확인할 수 있습니다.

💡 점검을 원하는 CellDisk의 상세 정보를 확인합니다.

CellCLI> list celldisk CD_00_krxacl01 detail
         name:                   CD_00_krxacl01
         comment:
         creationTime:           2014-01-20T10:10:58+09:00
         deviceName:             /dev/sda
         devicePartition:        /dev/sda3
         diskType:               HardDisk
         errorCount:             0
         freeSpace:              0
         id:                     9a58dd03-38a7-4c87-9a13-1d75cfe15e25
         interleaving:           none
         lun:                    0_0
         physicalDisk:           DL2JYE
         raidLevel:              0
         size:                   1082.84375G
         status:                 normal
CellCLI>

💡 조회하는 Cell 디스크 대상의 범위를 줄이기 위해 filtering 할 수 있습니다.

CellCLI> list celldisk where name like '.*10.*' detail
         name:                   CD_10_krxacl01
         comment:
         creationTime:           2014-01-20T10:11:00+09:00
         deviceName:             /dev/sdk
         devicePartition:        /dev/sdk
         diskType:               HardDisk
         errorCount:             0
         freeSpace:              0
         id:                     8b02c079-782f-42d6-8f4a-2b432eb16684
         interleaving:           none
         lun:                    0_10
         physicalDisk:           DP5T8E
         raidLevel:              0
         size:                   1116.640625G
         status:                 normal
 
         name:                   FD_10_krxacl01
         comment:
         creationTime:           2014-01-23T10:59:15+09:00
         deviceName:             /dev/sdx
         devicePartition:        /dev/sdx
         diskType:               FlashDisk
         errorCount:             0
         freeSpace:              341.1875G
         freeSpaceMap:           offset=31.328125G,size=341.1875G
         id:                     8010ff3e-fb08-4a1c-9671-3058e400f916
         interleaving:           none
         lun:                    4_2
         physicalDisk:           11000128518
         size:                   372.515625G      # Flashcompression 적용한 경우
size:                   186.25G      # Flashcompression 적용 안한 경우
         status:                 normal
 
CellCLI>

name에 ’10’이 포함된 대상의 celldisk 의 상세 내역을 조회할 수 있습니다.

💡 CellCLI를 실행시켜 grid 디스크 목록을 조회합니다.

CellCLI> list griddisk
          DATA_CD_00_krxacl01        active
          DATA_CD_01_krxacl01        active
          DATA_CD_02_krxacl01        active
          DATA_CD_03_krxacl01        active
          DATA_CD_04_krxacl01        active
          DATA_CD_05_krxacl01        active
          DATA_CD_06_krxacl01        active
          DATA_CD_07_krxacl01        active
          DATA_CD_08_krxacl01        active
          DATA_CD_09_krxacl01        active
          DATA_CD_10_krxacl01        active
          DATA_CD_11_krxacl01        active
          DBFS_DG_CD_02_krxacl01    active
          DBFS_DG_CD_03_krxacl01    active
          DBFS_DG_CD_04_krxacl01    active
          DBFS_DG_CD_05_krxacl01    active
          DBFS_DG_CD_06_krxacl01    active
          DBFS_DG_CD_07_krxacl01    active
          DBFS_DG_CD_08_krxacl01    active
          DBFS_DG_CD_09_krxacl01    active
          DBFS_DG_CD_10_krxacl01    active
          DBFS_DG_CD_11_krxacl01    active
          RECO_CD_00_krxacl01        active
          RECO_CD_01_krxacl01        active
          RECO_CD_02_krxacl01        active
          RECO_CD_03_krxacl01        active
          RECO_CD_04_krxacl01        active
          RECO_CD_05_krxacl01        active
          RECO_CD_06_krxacl01        active
          RECO_CD_07_krxacl01        active
          RECO_CD_08_krxacl01        active
          RECO_CD_09_krxacl01        active
          RECO_CD_10_krxacl01        active
          RECO_CD_11_krxacl01        active
CellCLI>

💡 grid 디스크 에 대해서도 cell 디스크와 마찬가지로 detail 및 filtering 이 가능합니다.

CellCLI> list griddisk where name like 'RECO_CD_0.*' detail
          name:                      RECO_CD_00_krxacl01
          asmDiskgroupName:          RECO
          asmDiskName:               RECO_CD_00_KRXACL01
          asmFailGroupName:          KRXACL01
          availableTo:               
          cachedBy:                  
          cachingPolicy:             none
          cellDisk:                  CD_00_krxacl01
          comment:                   
          creationTime:              2014-01-20T10:14:53+09:00
          diskType:                  HardDisk
          errorCount:                0
          id:                        c6d97997-0fd6-4569-8d57-7e2cb28d6e58
          offset:                    866.046875G
          size:                      216.796875G
          status:                    active
--중략--
          name:                      RECO_CD_09_krxacl01
          asmDiskgroupName:          RECO
          asmDiskName:               RECO_CD_09_KRXACL01
          asmFailGroupName:          KRXACL01
          availableTo:               
          cachedBy:                  
          cachingPolicy:             none
          cellDisk:                  CD_09_krxacl01
          comment:                   
          creationTime:              2014-01-20T10:14:50+09:00
          diskType:                  HardDisk
          errorCount:                0
          id:                        790970bc-c887-4fdd-857c-495850c3d624
          offset:                    866.046875G
          size:                      216.796875G
          status:                    active
CellCLI>

name 이 RECO_KRXA_CD_02_krxacl01 인 grid disk 의 상세 정보와 grid disk 의 name 이 RECO_KRXA_CD0 로 시작하는 grid disk 의 상세 정보를 확인할 수 있습니다.

같은 디스크 그룹의 grid 디스크는 같은 크기여야 하고, 같은 스토리지 서버의 grid 디스크는 같은 failure group 이어야 합니다. grid 디스크의 디스크 그룹 및 크기 등은 다음과 같이 확인할 수 있습니다.

CellCLI> list griddisk attributes name, size, asmDiskgroupName, asmDiskName, asmFailGroupName, cellDisk
          DATA_CD_00_krxacl01        866G              DATA    DATA_CD_00_KRXACL01        KRXACL01         CD_00_krxacl01
          DATA_CD_01_krxacl01        866G              DATA    DATA_CD_01_KRXACL01        KRXACL01         CD_01_krxacl01
          DATA_CD_02_krxacl01        866G              DATA    DATA_CD_02_KRXACL01        KRXACL01         CD_02_krxacl01
          DATA_CD_03_krxacl01        866G              DATA    DATA_CD_03_KRXACL01        KRXACL01         CD_03_krxacl01
          DATA_CD_04_krxacl01        866G              DATA    DATA_CD_04_KRXACL01        KRXACL01         CD_04_krxacl01
          DATA_CD_05_krxacl01        866G              DATA    DATA_CD_05_KRXACL01        KRXACL01         CD_05_krxacl01
          DATA_CD_06_krxacl01        866G              DATA    DATA_CD_06_KRXACL01        KRXACL01         CD_06_krxacl01
          DATA_CD_07_krxacl01        866G              DATA    DATA_CD_07_KRXACL01        KRXACL01         CD_07_krxacl01
          DATA_CD_08_krxacl01        866G              DATA    DATA_CD_08_KRXACL01        KRXACL01         CD_08_krxacl01
          DATA_CD_09_krxacl01        866G              DATA    DATA_CD_09_KRXACL01        KRXACL01         CD_09_krxacl01
          DATA_CD_10_krxacl01        866G              DATA    DATA_CD_10_KRXACL01        KRXACL01         CD_10_krxacl01
          DATA_CD_11_krxacl01        866G              DATA    DATA_CD_11_KRXACL01        KRXACL01         CD_11_krxacl01
          DBFS_DG_CD_02_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_02_KRXACL01    KRXACL01         CD_02_krxacl01
          DBFS_DG_CD_03_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_03_KRXACL01    KRXACL01         CD_03_krxacl01
          DBFS_DG_CD_04_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_04_KRXACL01    KRXACL01         CD_04_krxacl01
          DBFS_DG_CD_05_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_05_KRXACL01    KRXACL01         CD_05_krxacl01
          DBFS_DG_CD_06_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_06_KRXACL01    KRXACL01         CD_06_krxacl01
          DBFS_DG_CD_07_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_07_KRXACL01    KRXACL01         CD_07_krxacl01
          DBFS_DG_CD_08_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_08_KRXACL01    KRXACL01         CD_08_krxacl01
          DBFS_DG_CD_09_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_09_KRXACL01    KRXACL01         CD_09_krxacl01
          DBFS_DG_CD_10_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_10_KRXACL01    KRXACL01         CD_10_krxacl01
          DBFS_DG_CD_11_krxacl01    33.796875G        DBFS_DG DBFS_DG_CD_11_KRXACL01    KRXACL01         CD_11_krxacl01
          RECO_CD_00_krxacl01        216.796875G      RECO    RECO_CD_00_KRXACL01        KRXACL01         CD_00_krxacl01
          RECO_CD_01_krxacl01        216.796875G      RECO    RECO_CD_01_KRXACL01        KRXACL01         CD_01_krxacl01
          RECO_CD_02_krxacl01        216.796875G      RECO    RECO_CD_02_KRXACL01        KRXACL01         CD_02_krxacl01
          RECO_CD_03_krxacl01        216.796875G      RECO    RECO_CD_03_KRXACL01        KRXACL01         CD_03_krxacl01
          RECO_CD_04_krxacl01        216.796875G      RECO    RECO_CD_04_KRXACL01        KRXACL01         CD_04_krxacl01
          RECO_CD_05_krxacl01        216.796875G      RECO    RECO_CD_05_KRXACL01        KRXACL01         CD_05_krxacl01
          RECO_CD_06_krxacl01        216.796875G      RECO    RECO_CD_06_KRXACL01        KRXACL01         CD_06_krxacl01
          RECO_CD_07_krxacl01        216.796875G      RECO    RECO_CD_07_KRXACL01        KRXACL01         CD_07_krxacl01
          RECO_CD_08_krxacl01        216.796875G      RECO    RECO_CD_08_KRXACL01        KRXACL01         CD_08_krxacl01
          RECO_CD_09_krxacl01        216.796875G      RECO    RECO_CD_09_KRXACL01        KRXACL01         CD_09_krxacl01
          RECO_CD_10_krxacl01        216.796875G      RECO    RECO_CD_10_KRXACL01        KRXACL01         CD_10_krxacl01
          RECO_CD_11_krxacl01        216.796875G      RECO    RECO_CD_11_KRXACL01        KRXACL01         CD_11_krxacl01
 
CellCLI>

➡️ DATA_KRXA 그룹은 866GB, DBFS_DG 그룹은 33.796875GB, RECO_KRXA 그룹은 216.796875G 로 크기가 같고, KRXACL01 이라는 같은 Failure Group 으로 되어있는 것을 확인할 수 있습니다.

디스크 구성 및 Failure Group 등에 대한 상세한 내용은 6.ASM 점검 및 관리 에서 확인할 수 있습니다.

CellCLI를 이용한 Network 에러 점검

Network 에러는 N_MB_DROP_SEC, N_MB_RDMA_DROP_SEC 두 개의 metric 을 주기적으로 모니터링 하여 그 수가 기존과 다르게 증가하면 해당 스토리지 서버의 Network 점검이 필요합니다.

💡 N_MB_DROP_SEC, N_MB_RDMA_DROP_SEC metric 의 정보를 확인하고, 현재 metric 값을 확인합니다.

CellCLI> list metricdefinition N_MB_DROP_SEC detail
         name:                   N_MB_DROP_SEC
         description:            "Number of megabytes droped during transmission  per second  to  a particular host"
         metricType:             Rate
         objectType:             HOST_INTERCONNECT
         unit:                   MB/sec
 
CellCLI> list metricdefinition n_mb_rdma_drop_sec detail
         name:                   N_MB_RDMA_DROP_SEC
         description:            "Number of megabytes dropped during RDMA transmission per second  to  a particular host"
         metricType:             Rate
         objectType:             HOST_INTERCONNECT
         unit:                   MB/sec
 
CellCLI> list metricdefinition n_mb_rdma_drop_sec, n_mb_drop_sec detail
         name:                   N_MB_RDMA_DROP_SEC
         description:            "Number of megabytes dropped during RDMA transmission per second  to  a particular host"
         metricType:             Rate
         objectType:             HOST_INTERCONNECT
         unit:                   MB/sec
 
         name:                   N_MB_DROP_SEC
         description:            "Number of megabytes droped during transmission  per second  to  a particular host"
         metricType:             Rate
         objectType:             HOST_INTERCONNECT
         unit:                   MB/sec
 
CellCLI>

Flash 관련 정보 확인 4.10.1 Flash 카드 목록 확인

💡 flash 카드 구성 정보는 여러 가지 방법으로 확인할 수 있습니다. 여기에서는 lsscsi 명령어와 CellCLI 커맨드를 사용하여 확인합니다.

[root@krxacl01 ~]# lsscsi | grep ATA
[0:0:0:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sda
[0:0:1:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdb
[0:0:2:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdc
[0:0:3:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdd
[1:0:0:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sde
[1:0:1:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdf
[1:0:2:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdg
[1:0:3:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdh
[2:0:0:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdi
[2:0:1:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdj
[2:0:2:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdk
[2:0:3:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdl
[3:0:0:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdm
[3:0:1:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdn
[3:0:2:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdo
[3:0:3:0]    disk    ATA      3E128-TS2-550B01 UIO3  /dev/sdp

Flash device 가 0:, 1:, 2:, 3: 네 그룹으로 되어있고, 각각 4개의 flash card 로 구성되어 있는 것을 확인할 수 있습니다. 다만 Device 번호는 Image version에 따라 다를 수 있습니다.
조회 결과의 OS 디바이스 명은 fdisk 명령어로 상세 정보를 확인하는데 사용할 수 있습니다.

[For Flash F80(X4-2)]
 
[root@krxacl01 ~]# fdisk -l /dev/sdv
Disk /dev/sdv: 200.0 GB, 200000000512 bytes
255 heads, 63 sectors/track, 24315 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
 
Disk /dev/sdv doesn't contain a valid partition table

💡 CellCLI 명령을 사용하여 다음과 같이 조회해볼 수 있습니다.

[root@krxacl01 ~]# cellcli -e "list physicaldisk where disktype='FlashDisk' attributes name, disktype, physicalSize, slotnumber"
          FLASH_1_0        FlashDisk        186.26451539993286G       "PCI Slot: 1; FDOM: 0"
          FLASH_1_1        FlashDisk        186.26451539993286G       "PCI Slot: 1; FDOM: 1"
          FLASH_1_2        FlashDisk        186.26451539993286G       "PCI Slot: 1; FDOM: 2"
          FLASH_1_3        FlashDisk        186.26451539993286G       "PCI Slot: 1; FDOM: 3"
          FLASH_2_0        FlashDisk        186.26451539993286G       "PCI Slot: 2; FDOM: 0"
          FLASH_2_1        FlashDisk        186.26451539993286G       "PCI Slot: 2; FDOM: 1"
          FLASH_2_2        FlashDisk        186.26451539993286G       "PCI Slot: 2; FDOM: 2"
          FLASH_2_3        FlashDisk        186.26451539993286G       "PCI Slot: 2; FDOM: 3"
          FLASH_4_0        FlashDisk        186.26451539993286G       "PCI Slot: 4; FDOM: 0"
          FLASH_4_1        FlashDisk        186.26451539993286G       "PCI Slot: 4; FDOM: 1"
          FLASH_4_2        FlashDisk        186.26451539993286G       "PCI Slot: 4; FDOM: 2"
          FLASH_4_3        FlashDisk        186.26451539993286G       "PCI Slot: 4; FDOM: 3"
          FLASH_5_0        FlashDisk        186.26451539993286G       "PCI Slot: 5; FDOM: 0"
          FLASH_5_1        FlashDisk        186.26451539993286G       "PCI Slot: 5; FDOM: 1"
          FLASH_5_2        FlashDisk        186.26451539993286G       "PCI Slot: 5; FDOM: 2"
          FLASH_5_3        FlashDisk        186.26451539993286G       "PCI Slot: 5; FDOM: 3"

➡️네 개의 PCI Slot 1,2,4,5 와 각 PCI Slot 별로 0,1,2,3 의 네 개의 FDOM으로 파티셔닝 되어 있는 것을 확인할 수 있습니다. 이렇게 구성된 Flash 카드는 스토리지 서버의 Flash Disk 로써 Smart Flash Cache 와 Smart Flash Logging 에 사용될 수 있습니다. 단, Flashcompression을 적용한 경우 physicalsize는 두배 가량 증가 하여 나타납니다.

4.10.2 부터 정리

Oracle Grid Infrastructure 관리

Oracle Clusterware 구동 5.2.1 Oracle Clusterware 시작 / 종료

CRSCTL 유틸리티를 사용하여 Oracle Clusterware를 관리합니다. Oracle 고가용성 서비스 데몬(OHASD)이 모든 클러스터 노드에서 실행되는 경우, 모든 노드에서 다음 명령을 실행하여 클러스터 노드의 모든 Oracle Clusterware 스택(Oracle Clusterware 의해 관리되는 프로세스와 리소스)를 시작할 수 있습니다.

💡 한 노드에서 OHASD를 포함한 모든 Oracle Clusterware 시작

$ crsctl start crs
CRS-4123: Oracle High Availability Services has been started.

💡 클러스터의 모든 노드에서 Oracle Clusterware 시작

$ crsctl start cluster –all
$ crsctl start cluster -n KRXA01 KRXA02 -- 노드명

클러스터의 모든 노드에서 Oracle Clusterware를 중지하려면 노드에서 다음 명령을 실행합니다. 명령에서 중단되는 것은 Oracle Clusterware 의해 관리되는 리소스 Oracle ASM 인스턴스 및 모든 Oracle Clusterware 프로세스(OHASD 및 종속 프로세스 제외)입니다.

💡 클러스터 상의 모든 노드의 Oracle Clusterware 종료

$ crsctl stop cluster –all  ( or $ crsctl stop cluster -n KRXA01 KRXA02 )
 
CRS-2673: Attempting to stop 'ora.crsd' on 'KRXA01'
CRS-2673: Attempting to stop 'ora.crsd' on 'KRXA02'
CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on 'KRXA01'
CRS-2673: Attempting to stop 'ora.DBFS_DG.dg' on 'KRXA01'
CRS-2673: Attempting to stop 'ora.KRXA.db' on 'KRXA01'
--중략--
CRS-2677: Stop of 'ora.ctssd' on 'KRXA02' succeeded
CRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'KRXA01' succeeded
CRS-2673: Attempting to stop 'ora.cssd' on 'KRXA01'
CRS-2677: Stop of 'ora.cssd' on 'KRXA01' succeeded
CRS-2673: Attempting to stop 'ora.diskmon' on 'KRXA01'
CRS-2677: Stop of 'ora.diskmon' on 'KRXA01' succeeded
CRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'KRXA02' succeeded
CRS-2673: Attempting to stop 'ora.cssd' on 'KRXA02'
CRS-2677: Stop of 'ora.cssd' on 'KRXA02' succeeded
CRS-2673: Attempting to stop 'ora.diskmon' on 'KRXA02'
CRS-2677: Stop of 'ora.diskmon' on 'KRXA02' succeeded

💡 클러스터의 한 노드에서 Oracle Clusterware 종료. 각 노드에 접속하여 수행하도록 합니다.

$ crsctl stop crs
 
CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'KRXA01'
CRS-2673: Attempting to stop 'ora.crsd' on 'KRXA01'
CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on 'KRXA01'
CRS-2673: Attempting to stop 'ora.DBFS_DG.dg' on 'KRXA01'
CRS-2673: Attempting to stop 'ora.KRXAa.db' on 'KRXA01'
CRS-2673: Attempting to stop 'ora.LISTENER_SCAN1.lsnr' on 'KRXA01'
CRS-2673: Attempting to stop 'ora.oc4j' on 'KRXA01'
CRS-2673: Attempting to stop 'ora.cvu' on 'KRXA01'
CRS-2673: Attempting to stop 'ora.LISTENER.lsnr' on 'KRXA01'
CRS-2677: Stop of 'ora.cvu' on 'KRXA01' succeeded
--중략--
CRS-2673: Attempting to stop 'ora.gipcd' on 'KRXA01'
CRS-2673: Attempting to stop 'ora.diskmon' on 'KRXA01'
CRS-2677: Stop of 'ora.diskmon' on 'KRXA01' succeeded
CRS-2677: Stop of 'ora.gipcd' on 'KRXA01' succeeded
CRS-2673: Attempting to stop 'ora.gpnpd' on 'KRXA01'
CRS-2677: Stop of 'ora.gpnpd' on 'KRXA01' succeeded
CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'KRXA01' has completed
CRS-4133: Oracle High Availability Services has been stopped.

Cluster의 서비스 시작/종료

대상 Host에 SSH로 접속 후 클라이언트 콘솔 상에서 다음과 같이 실행합니다.

💡 클러스터 서비스 시작

$ srvctl start asm -n 노드명
$ srvctl start nodeapps -n 노드명
$ srvctl start instance –d <db_unique_name> -i <인스턴스명>

💡 클러스터 서비스 종료

$ srvctl stop instance –d <db_unique_name> -i <인스턴스명>
$ srvctl stop asm -n 노드명
$ srvctl stop nodeapps -n 노드명

CRS autostart 설정 확인 및 변경

CRS를 자동을 시작하게 설정하는 방법은 root 계정으로 아래와 같이 수행합니다.

💡 autostart 설정 여부 확인

root@KRXA01:/root#  crsctl config crs
CRS-4622: Oracle High Availability Services autostart is enabled.

💡 autostart 설정 하기

root@KRXA01:/root# crsctl enable crs
CRS-4622: Oracle High Availability Services autostart is enabled.

💡 autostart 설정 취소

root@KRXA01:/root# crsctl disable crs
CRS-4621: Oracle High Availability Services autostart is disabled.

Oracle Clusterware 모니터링 5.3.1 Clusterware 상태 확인

대상 Host에 SSH로 접속 후 클라이언트 콘솔 상에서 다음과 같이 실행합니다.

💡 전체 노드상의 Clusterware stack 상태 확인
CRS , CSS , EVM 프로세스가 ONLINE 상태인 경우 정상입니다.

$  crsctl check cluster -all
**************************************************************
KRXA01:
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************
KRXA02:
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************

💡 노드별 Clusterware stack 상태 확인

명령어 : crsctl check cluster -n 노드명

$ crsctl check cluster -n KRXA01
**************************************************************
KRXA01:
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************

💡 CRS stack의 서비스 실행 여부 확인
OHAS, CRS , CSS , EVM 데몬이 ONLINE 상태인 경우 정상입니다.

$ crsctl check crs
CRS-4638: Oracle High Availability Services is online
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online

CRS 리소스 상태 확인

CRS에 등록된 서비스 리소스의 상태를 점검합니다.

💡 CRS 리소스 상태 확인 ( 명령어 : crsctl status resource –t 혹은 crsctl stat res –t )

$ crsctl status resource -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS      
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATAC1.dg
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.DBFS_DG.dg
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.LISTENER.lsnr
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.RECOC1.dg
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.asm
               ONLINE  ONLINE       krxa01                  Started            
               ONLINE  ONLINE       krxa02                  Started            
ora.gsd
               OFFLINE OFFLINE      krxa01                                     
               OFFLINE OFFLINE      krxa02                                     
ora.net1.network
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.ons
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.registry.acfs
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       krxa01                                     
ora.cvu
      1        ONLINE  ONLINE       krxa01                                     
ora.krxa.db
      1        ONLINE  ONLINE       krxa01                  Open               
      2        ONLINE  ONLINE       krxa02                  Open               
ora.krxa03.vip
      1        ONLINE  ONLINE       krxa01                                     
ora.krxa04.vip
      1        ONLINE  ONLINE       krxa02                                     
ora.oc4j
      1        ONLINE  ONLINE       krxa01                                     
ora.scan1.vip
      1        ONLINE  ONLINE       krxa01
--------------------------------------------------------------------------------

OCR(Oracle Cluster Registry )과 Voting Disk 상태 확인

OCR(Oracle Cluster Registry)는 Oracle RAC(Real Application Cluster) 관련 Configuration 정보를 가지고 있으며, Voting Disk는 RAC Node의 Membership 정보를 관리하는 파일이다. 이 두가지 요소는 Clusterware의 주요 컴포넌트로서 아래와 같은 방법으로 상태를 체크할 수 있다. 현재는 “DBFS_DG” ASM Disk Group에 저장되어 있습니다.

OCR: 모든 app의 클러스터 정보가 들어있는 파일
voting disk : 심장 박동 주기 정보

💡 아래와 같은 방법으로 OCR 위치 및 상태를 체크할 수 있습니다.

root@KRXA01:/root# cat/etc/oracle/ocr.loc
ocrconfig_loc=+DBFS_DG
local_only=FALSE
 
root@KRXA01:/root#  ocr check 
Status of Oracle Cluster Registry is as follows :
          Version                  :          4
          Total space (kbytes)     :     409568
          Used space (kbytes)      :       1448
          Available space (kbytes) :     408120
          ID                       :  181960156
          Device/File Name         :   +DBFS_DG
                                    Device/File integrity check succeeded
                                    Device/File not configured
                                    Device/File not configured
                                    Device/File not configured
                                    Device/File not configured
          Cluster registry integrity check succeeded
          Logical corruption check bypassed due to non-privileged user

💡 아래와 같은 방법으로 Voting Disk의 상태를 체크할 수 있습니다.

root@KRXA01:/root#  crsctl query css votedisk
 
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   a2c98e3ecea64fd7bf42433cf372ad0f (o/192.168.10.7/DBFS_DG_CD_02_KRXAcel03) [DBFS_DG]
 2. ONLINE   382df8acda974f57bf246f804f4daf07 (o/192.168.10.6/DBFS_DG_CD_02_KRXAcel02) [DBFS_DG]
 3. ONLINE   aa9b916f77e14fe6bf5bc0b91f71fc7e (o/192.168.10.5/DBFS_DG_CD_02_KRXAcel01) [DBFS_DG]
Located 3 voting disk(s).

SCAN LISTENER 상태 확인(?)-답적기

SCAN LISTENER는 모든 리스너의 총 사령관! RAC에서 사용하는 리스너로,

SCAN(Single Client Access Name) 기능은 11gR2에서 추가된 기능으로 Client에서 데이터베이스 Server로 접속 시 여러개의 RAC 노드가 있더라도 하나의 Access Name을 갖도록 하는 기능입니다. Exadata는 기본적으로 SCAN기능을 설정하며, 이를 위해 SCAN Listener와 SCAN IP가 세팅됩니다. 아래는 해당 Scan Listener의 상태를 점검하는 방법입니다.

대상 Host에 SSH로 접속 후 클라이언트 콘솔 상에서 다음과 같이 실행합니다.

💡 srvctl 명령어를 이용한 노드별 SCAN LISTENER 상태 확인

$ srvctl status scan_listener
SCAN Listener LISTENER_SCAN1 is enabled
SCAN listener LISTENER_SCAN1 is running on node KRXA01

💡 srvctl 명령어를 이용한 노드별 LISTENER 설정 확인

$ srvctl config scan_listener
SCAN Listener LISTENER_SCAN1 exists. Port: TCP:1521
Registration invited nodes:     # 12c feature
Registration invited subnets:   # 12c feature

데이터베이스 서버 상의 어플리케이션 상태 점검

대상 Host에 SSH로 접속 후 클라이언트 콘솔 상에서 다음과 같이 실행합니다.

💡 노드상의 어플리케이션들의 상태 점검
VIP , Network 상태는 enabled 상태인지 확인하며, GSD와 ONS 데몬 프로세스는 Optional 상태로 disabled 상태가 서비스에 영향을 주지는 않는다.

[krxa1:/home/oracle] srvctl status nodeapps
VIP KRXA01-vip is enabled
VIP KRXA01-vip is running on node: KRXA01
VIP KRXA02-vip is enabled
VIP KRXA02-vip is running on node: KRXA02
Network is enabled
Network is running on node: KRXA01
Network is running on node: KRXA02
GSD is disabled
GSD is not running on node: KRXA01
GSD is not running on node: KRXA02
ONS is enabled
ONS daemon is running on node: KRXA01
ONS daemon is running on node: KRXA02

데이터베이스 서버 상의 어플리케이션 설정 확인

대상 Host에 SSH로 접속 후 클라이언트 콘솔 상에서 다음과 같이 실행 합니다.
💡 노드상의 어플리케이션들의 설정 확인

Exadata 전체 서비스 시작 및 종료

Exadata 전체 서비스 시작 및 확인

구성되어 있는 Exadata의 DB가 완전히 생성된 후 종료되었을 때, 전원을 연결하고 사용자가 전원버튼을 누르면 일정 시간(15분 이상) 소요 후 Clusterware에 등록된 DB들이 모두 서비스할 수 있는 상태까지 진행됩니다. 따라서 사용자는 최종적으로 CRS 상태와 DB 상태를 확인하는 것만으로 모든 시작절차를 마무리 지을 수 있습니다.

전원 버튼 조작 순서
1. Exadata에 장착된 네트웍 스위치 전원 on
2. Disk가 장착된 Storage Server 전원 on
3. DB Server 전원 on

CRS 및 DB 상태 확인

[KRXAa1]oracle@KRXA01:/home/oracle>  crsctl status resouce -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS      
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATAC1.dg
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.DBFS_DG.dg
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.LISTENER.lsnr
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.RECOC1.dg
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.asm
               ONLINE  ONLINE       krxa01                  Started            
               ONLINE  ONLINE       krxa02                  Started            
ora.gsd
               OFFLINE OFFLINE      krxa01                                     
               OFFLINE OFFLINE      krxa02                                     
ora.net1.network
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.ons
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
ora.registry.acfs
               ONLINE  ONLINE       krxa01                                     
               ONLINE  ONLINE       krxa02                                     
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       krxa01                                     
ora.cvu
      1        ONLINE  ONLINE       krxa01                                     
ora.krxa.db
      1        ONLINE  ONLINE       krxa01                  Open               
      2        ONLINE  ONLINE       krxa02                  Open               
ora.krxa03.vip
      1        ONLINE  ONLINE       krxa01                                     
ora.krxa04.vip
      1        ONLINE  ONLINE       krxa02                                     
ora.oc4j
      1        ONLINE  ONLINE       krxa01                                     
ora.scan1.vip
      1        ONLINE  ONLINE       krxa01
--------------------------------------------------------------------------------

8.2 Exadata 전체 서비스 종료

1) 각각의 운영 DB 종료 (어느 한쪽 DB Node에서만 명령어 수행)
$ srvctl stop database –d XXXX
2) CRS 서비스 종료 (각각의 DB서버에서 명령어 수행)
# crsctl stop crs
3) Storage 서버 및 DB서버 종료 (각각의 DB서버 및 Storage 서버에서 명령어 수행)
# shutdown –hy 0

망구씨

Slow and steady wins the race.

이전 포스트

[SQL튜닝]23.11.22

다음 포스트

[Oracle Exadata]2023.11.23

📖 Oracle Exadata

✏️ 1. 엑사 시스템이 나오게 된 배경

✏️ 2. 회사에서 DW 서버가 필요한 이유는 ?

오라클 엑사는 이 DW 서버용 오라클 제품이고 기존 DW 서버들의 단점을 극복하기 위한 노력의 일환으로 등장했다.

✏️ 3. 엑사가 출현하게 된 배경 2가지 ?

엑사가 출현하게 된 배경 2가지

✏️ 4. 데이터 베이스와 스토리지의 결합

✏️ 5. 엑사데이터 아이디어

✏️ 6. 엑사 데이터는 위의 4가지 사항을 어떻게 해결하였는가 ?

오라클 result cache 사용하는 실습으로 cache를 사용한다는것이 무엇인지 테스트

💡 무조건 result_cache에 올라가게 하는 힌트 (result_cache)

✏️ 7. 엑사 데이터 아키텍쳐

Exadata Storage SErver 에서 수행하는 기능

✅ 1. 스마트 스캔

📖 엑사 시스템 주요 명령어 총정리

✏️ 전체 시스템 구성도

모니터링 Util

구성도 상의 모니터링 툴

모니터링 툴 설명

오라클 소프트웨어 구성도

데이터베이스 서버 소프트웨어 설명

Infiniband Network 관련 소프트웨어 설명

Disk 구성 내역 및 사용량 점검

오라클 소프트웨어 관련 위치정보 및 환경변수 구성 점검

시스템 이벤트 로그 확인

DBMCLI를 이용한 alert 로그 확인 3.5.1 DBMCLI 명령어 사용

DBMCLI를 이용한 alert 로그 확인

DBMCLI를 이용한 DB서버 점검

DBMCLI를 이용한 DB서버 구성요소 확인

?

DBMCLI를 이용한 IB Network 에러 점검

시스템 자원 사용률 모니터링 및 점검

시스템 이벤트 로그 확인

CellCLI를 이용한 alert 로그 확인 4.6.1 CellCLI 명령어 사용

CellCLI를 이용한 alert 로그 확인

alert 로그의 상세 정보 확인 (2_1은 로그 ID)하기 위해 다음과 같이 실행합니다.

CellCLI를 이용한 스토리지 서버 점검

CellCLI를 이용한 스토리지 구성요소 확인

CellCLI를 이용한 Network 에러 점검

Flash 관련 정보 확인 4.10.1 Flash 카드 목록 확인

4.10.2 부터 정리

Oracle Grid Infrastructure 관리

Oracle Clusterware 구동 5.2.1 Oracle Clusterware 시작 / 종료

Cluster의 서비스 시작/종료

CRS autostart 설정 확인 및 변경

Oracle Clusterware 모니터링 5.3.1 Clusterware 상태 확인

CRS 리소스 상태 확인

OCR(Oracle Cluster Registry )과 Voting Disk 상태 확인

SCAN LISTENER 상태 확인(?)-답적기

데이터베이스 서버 상의 어플리케이션 상태 점검

데이터베이스 서버 상의 어플리케이션 설정 확인

Exadata 전체 서비스 시작 및 종료

Exadata 전체 서비스 시작 및 확인

8.2 Exadata 전체 서비스 종료

[SQL튜닝]23.11.22

[SQL튜닝]2023.11.23

0개의 댓글