作者介绍

姚远：鼎甲科技高级技术顾问，墨天轮MVP。Oracle ACE，华为云MVP，专注于 Oracle、MySQL 数据库多年，拥有 Oracle 10g、12c OCM, MySQL 5.6、5.7、8.0 OCP，并在：EMC、IBM p、RedHat、Cisco、SQL Server、DB2 等领域拥有 20 + 技术认证。两次获得国家部级科技进步奖，发明过两项计算机相关专利。现在广州鼎甲任高级技术顾问，向同事和客户提供Oracle 和 MySQL方面的培训和技术咨询。

ADR 的作用

Oracle 数据库如果出现故障，我们的第一个反应是查看数据库的 alert log，但一些工程师对 alert log 不熟悉，实际上 alert log 位于Oracle 数据库自动诊断库(Automatic Diagnostic Repository，以下简称 ADR) 中，要熟悉 alert log，我们必需全面了解 ADR 的概念。

ADR(Automatic Diagnostic Repository)是一个基于文件的存储库，用于存储数据库诊断数据，如跟踪、转储、警报日志、运行状况监视报告等。它具有跨多个实例和多个产品的统一目录结构。为什么基于文件的原因是显而易见的，因为数据库出现故障的时候数据库可能无法打开，将诊断信息放到文件里面保证了随时可以查阅。数据库、Oracle自动存储管理（Oracle ASM）、侦听器、Oracle Clusterware和其他Oracle产品或组件将所有诊断数据存储在ADR中。每个产品的每个实例都将诊断数据存储在ADR中自己的主目录下。例如，在具有共享存储和 Oracle ASM 的 Oracle Real Application Clusters 环境中，每个数据库实例和每个 Oracle ASM 实例都有一个ADR主目录。

ADR 中的文件

trace：每个服务器和后台进程都可以写入关联的 trace 文件。trace 文件在流程的整个生命周期内定期更新，可以包含有关流程环境、状态、活动和错误的信息。此外，当进程检测到严重错误时，它会将有关该错误的信息写入其 trace 文件。
dumps：dumps 是一种特定类型的 trace 文件。它通常是针对事件（如事件）的诊断数据的一次性输出，而 trace file 往往是诊断数据的连续输出。
core：core 文件包含一个内存转储，采用全二进制的格式。
Alert Log 和 sbtio.log 在后面说明。

ADR 的目录结构

ADR 的基目录称为 ADR base ，其位置由数据库的参数 DIAGNOSTIC_DEST 决定，如果省略此参数或将其留空，则数据库将在启动时采用下面的规则进行设置：

如果设置了环境变量 ORACLE_BASE，则 DIAGNOSTIC_DEST 设置为 ORACLE_BASE 指定的目录。
如果未设置环境变量 ORACLE_BASE，则 DIAGNOSTIC_DEST 设置为 ORACLE_HOME/log。
因此，目前一个常见的 ADR base 例子是 /u01/app/oracle。
在ADR base中，可以有多个 ADR home，其中每个 ADR home 是特定 Oracle 产品或组件的特定实例的所有诊断数据跟踪、转储、警报日志等的根目录。例如，在带有 Oracle ASM 的 Oracle Real Application Clusters 环境中，每个数据库实例、Oracle ASM实例和侦听器都有一个ADR home，结构如下：

一个方便的查询所有组件的家目录的方法是在 adrci 工具中用 show homes 的命令，例如：


   
    
     
      
     
     
      
       ADR base = 
       "/u01/app/grid"adrci> show homes;ADR Homes: diag/asm/+asm/+ASM1diag/crs/rac1/crsdiag/clients/user_grid/host_1874443374_110diag/clients/user_root/host_1874443374_110diag/tnslsnr/rac1/asmnet1lsnr_asmdiag/tnslsnr/rac1/listener_scan1diag/tnslsnr/rac1/listenerdiag/asmcmd/user_grid/rac1diag/asmcmd/user_oracle/rac1diag/kfod/rac1/kfod

数据库的 ADR 家目录结构

每个产品的 ADR 家的路径构成如下：（从 ADR 的基目录开始）


   
    
     
      
     
     
      
       diag/product_type/product_id/instance_id

我们以数据库为例：

例如一个 DB_UNIQUE_NAME 和 SID 都是 orcl 的数据库 ADR 家目录是：/u01/app/oracle/diag/rdbms/orcl/orcl

每个子目录的作用如下：
· alert：XML格式的 alert log
· cdump：core 文件
· incident: 多个子目录，其中每个子目录都是针对特定事件命名的，每个子目录只包含与该事件相关的转储
· trace: 后台和服务器进程跟踪文件、SQL跟踪文件和文本格式的 alert log
· others: ADR home的其他子目录，存储事件包、运行状况监视报告、警报日志以外的日志（例如DDL日志和调试日志）以及其他信息

在视图 v$diag_info 中存储着 ADR 重要目录的路径：


   
    
     
      
     
     
      
       select * from v$diag_info   INST_ID NAME       VALUE                     CON_ID---------- ---------------------------- ---------------------------------------------------------------- ----------   
       1 Diag Enabled     TRUE                    
       0   
       1 ADR Base      /u01/app/oracle                 
       0   
       1 ADR Home      /u01/app/oracle/diag/rdbms/orcl/orcl            
       0   
       1 Diag Trace      /u01/app/oracle/diag/rdbms/orcl/orcl/trace          
       0   
       1 Diag Alert      /u01/app/oracle/diag/rdbms/orcl/orcl/alert          
       0   
       1 Diag Incident    /u01/app/oracle/diag/rdbms/orcl/orcl/incident          
       0   
       1 Diag Cdump      /u01/app/oracle/diag/rdbms/orcl/orcl/cdump          
       0   
       1 Health Monitor    /u01/app/oracle/diag/rdbms/orcl/orcl/hm           
       0   
       1 Default Trace File    /u01/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_ora_33364.trc      
       0   
       1 Active Problem Count   
       0                    
       0   
       1 Active Incident Count  
       0                    
       0   
       1 ORACLE_HOME      /u01/app/oracle/product/
       19.0
       .0/db_1            
       0

Alert Log

Alert Log 可能是运维工程师最关心的日志，它是按时间顺序记录消息和错误的日志。每个 ADR 家目录中都有一个警报日志。每个警报日志都特定于其组件类型，如数据库、Oracle ASM、侦听器和Oracle Clusterware。

对于数据库，Alert Log 包含有关以下内容的消息：

严重错误（事件）
管理操作，如启动或关闭数据库、恢复数据库、创建或删除表空间等。
自动刷新实化视图时出错
其他数据库事件

Alert Log 的格式有两种，XML 格式和文本格式。您可以使用 cloud control 和ADRCI实用程序以文本格式（去掉XML标记）查看警报日志。为了向后兼容，ADR中还存储了一个文本格式的警报日志版本。但是，Oracle建议使用 XML 格式的版本对警报日志内容进行任何解析，因为文本格式是非结构化的，可能会因版本而异。
对于我们前面列举的 orcl 数据库，这两类的 alert log 如下：


   
    
     
      
     
     
      
        $ tail /u01/app/oracle/diag/rdbms/orcl/orcl/alert/log.xml  <txt>Closing Resource Manager plan via scheduler window </txt></msg><msg time=
       '2020-12-07T18:00:00.130+08:00' org_id=
       'oracle' comp_id=
       'rdbms' 
       type=
       'UNKNOWN' level=
       '16' host_id=
       'dell.scutech' host_addr=
       'fe80::655e:8314:f61f:9bac%em1' pid=
       '42245' con_uid=
       '1784183627' con_id=
       '5' con_name=
       'SALESPDB'> <txt>Clearing Resource Manager plan via parameter </txt></msg>$ tail /u01/app/oracle/diag/rdbms/orcl/orcl/trace/alert_orcl.log 
       2020
       -12
       -07T18:
       00:
       00.077657+
       08:
       00PDB1(
       3):Closing scheduler windowPDB1(
       3):Closing Resource Manager plan via scheduler windowPDB1(
       3):Clearing Resource Manager plan via parameterHRPDB(
       4):Closing scheduler windowHRPDB(
       4):Closing Resource Manager plan via scheduler windowHRPDB(
       4):Clearing Resource Manager plan via parameterSALESPDB(
       5):Closing scheduler windowSALESPDB(
       5):Closing Resource Manager plan via scheduler windowSALESPDB(
       5):Clearing Resource Manager plan via parameter

下面是一个 crs 的两类 alert log 的例子：


   
    
     
      
     
     
      
       [grid@rac1 crs]$ tail /u01/app/grid/diag/crs/rac1/crs/alert/log.xml  <txt>
       2020
       -12
       -03 
       18:
       52:
       29.951 [ORAAGENT(
       35496)]CRS
       -8500: Oracle Clusterware ORAAGENT process is starting with operating system process ID 
       35496 </txt></msg><msg time=
       '2020-12-03T18:52:52.787+08:00' org_id=
       'oracle' comp_id=
       'crs' msg_id=
       'clsdadr_process_queue:4927:2974305713' 
       type=
       'UNKNOWN' group=
       'CLSDADR' level=
       '16' host_id=
       'rac1' host_addr=
       '192.168.82.175' pid=
       '36879'> <txt>
       2020
       -12
       -03 
       18:
       52:
       52.679 [ORAAGENT(
       36879)]CRS
       -8500: Oracle Clusterware ORAAGENT process is starting with operating system process ID 
       36879 </txt></msg>[grid@rac1 crs]$ tail /u01/app/grid/diag/crs/rac1/crs/trace/alert.log 
       2020
       -12
       -03 
       18:
       52:
       13.218 [OCTSSD(
       34536)]CRS
       -2401: The Cluster Time Synchronization Service started on host rac1
       .2020
       -12
       -03 
       18:
       52:
       13.218 [OCTSSD(
       34536)]CRS
       -2407: The 
       new Cluster Time Synchronization Service reference node is host rac2
       .2020
       -12
       -03 
       18:
       52:
       20.552 [CRSD(
       34786)]CRS
       -8500: Oracle Clusterware CRSD process is starting with operating system process ID 
       347862020
       -12
       -03 
       18:
       52:
       23.601 [CRSD(
       34786)]CRS
       -1012: The OCR service started on node rac1
       .2020
       -12
       -03 
       18:
       52:
       23.671 [CRSD(
       34786)]CRS
       -1201: CRSD started on node rac1
       .2020
       -12
       -03 
       18:
       52:
       24.356 [ORAAGENT(
       35004)]CRS
       -8500: Oracle Clusterware ORAAGENT process is starting with operating system process ID 
       350042020
       -12
       -03 
       18:
       52:
       24.420 [ORAROOTAGENT(
       35014)]CRS
       -8500: Oracle Clusterware ORAROOTAGENT process is starting with operating system process ID 
       350142020
       -12
       -03 
       18:
       52:
       24.480 [ORAAGENT(
       35028)]CRS
       -8500: Oracle Clusterware ORAAGENT process is starting with operating system process ID 
       350282020
       -12
       -03 
       18:
       52:
       29.951 [ORAAGENT(
       35496)]CRS
       -8500: Oracle Clusterware ORAAGENT process is starting with operating system process ID 
       354962020
       -12
       -03 
       18:
       52:
       52.679 [ORAAGENT(
       36879)]CRS
       -8500: Oracle Clusterware ORAAGENT process is starting with operating system process ID 
       36879[grid@rac1 crs]$

sbtio log

sbtio.log，从这个文件的名字我们可以很容易推断这个日志文件是干什么用的，大家知道 rman 有两种通道，一种是 disk，另一种是 sbt，您可以认为是磁带机用的通道，io 的意思就不用说了吧，这个文件保存由介质管理软件写入的特定信息，例如鼎甲科技的迪备软件，Veritas的 nbu 软件都会在这个文件里面记录日志。
对于我们前面列举的 orcl 数据库，sbtio.log 的例子如下：


   
    
     
      
     
     
      
       $ tail /u01/app/oracle/diag/rdbms/orcl/orcl1/trace/sbtio.log
      
     
    
     
      
     
     
      
       SBT-19152 11/18/20 22:40:43 [LM_ERROR] 7501: Failed to 
       start 
       session 
       with 
       server: Protocol 
       not supported

ADRCI 工具

ADRCI 工具是 Oracle11g 版本推出的新工具，主要用来管理alert文件、trace文件、dump文件、健康检查报告等。这个工具可以快速查询错误相关的所有trace文件，并将这些文件打包到一个zip文件，以便将问题相关的信息提供给Oracle的技术支持。
下面是生成一个问题报告的例子。


   
    
     
      
     
     
      
       [grid@rac1 crs]$ adrciADRCI: Release 
       19.0
       .0
       .0
       .0 - Production on Tue Dec 
       8 
       11:
       26:
       34 
       2020Copyright (c) 
       1982, 
       2019, Oracle and/or its affiliates.  All rights reserved.ADR base = 
       "/u01/app/grid"adrci> show problemsADR Home = /u01/app/grid/diag/crs/rac1/crs:*************************************************************************PROBLEM_ID           PROBLEM_KEY                                                 LAST_INCIDENT        LASTINC_TIME                             -------------------- ----------------------------------------------------------- -------------------- ---------------------------------------- 
       1                    CRS 
       8503                                                    
       33                   
       2020
       -12
       -03 
       18:
       34:
       59.547000 +
       08:
       00       
       1 row fetchedadrci> set homepath diag/crs/rac1/crsadrci>  IPS CREATE PACKAGE PROBLEM 
       1Created 
       package 
       1 based on problem id 
       1, correlation level typicaladrci> ips generate 
       package 
       1 in /tmpGenerated 
       package 
       1 in file /tmp/CRS8503_20201208114517_COM_1.zip, mode completeadrci>