Skip to content

All posts by Guang Cai Li

近期遭遇了多次客户数据库无法关闭的问题了,数据库无法关闭,一般是关闭时有事务需要回滚(可能是客户端或者JOB等)或者是关闭时使用错误关闭参数(如忘加参数默认是NORMAL)或者关闭时有其它原因。

因此分享一下关闭数据库步骤的脚本,按照此脚本进行关闭数据库,基本上可以回避无法关闭问题;即使遇到无法关闭,使用kill关闭进程来关闭实例,也很少会造成数据损坏或数据丢失。

近期遇到的几次关闭问题及相应MOS链接如下:

http://blog.csdn.net/haibusuanyun/article/details/50285527
关闭数据库遇到SHUTDOWN: Active processes prevent shutdown operation
http://blog.csdn.net/haibusuanyun/article/details/47073459
关闭数据库时SHUTDOWN: waiting for active calls to complete.处理
供参考MOS文档:
Shutdown Immediate Hangs / Active Processes Prevent Shutdown (文档 ID 416658.1)
Alert Log: Shutdown Waiting for Active Calls to Complete (文档 ID 1039389.6)
What Is The Fastest Way To Cleanly Shutdown An Oracle Database? (文档 ID 386408.1)
—————————————–参考步骤如下:
一、应用停掉

二、停监听器
–对应的LOCAL=NO的进程确认是否需要KILL。
ps -ef|grep LOCAL=NO|wc -l
ps -ef|grep LOCAL=NO
lsnrctl stop

三、查看有没有JOB–如有需要确认是否可停掉
ps -ef|grep ora_j

四、查看有没有事务还未提交的–如有事务未提交确认是否需要等待事务完成
sqlplus ‘/ as sysdba’
select status,instance_name,to_char(startup_time,’yyyy/mm/dd hh24:mi:ss’) starttime from gv$instance;
select open_mode,name from v$database;
是否有大的查询在进行
select count(*) from v$transaction;
select count(*) from v$session_longops where time_remaining>0;
是否有大的事务在进行
select sum(used_ublk) from v$transaction; —如果有大量返回,参考本文最后
select START_TIME,STATUS from v$transaction;
是否有大事务正在回滚/需要在数据库OPEN时进行实例恢复
select * from v$fast_start_transactions;
select * from v$fast_start_servers;

五、手工做检查点与手动多次切换log
–确认以上问题解决完后继续:
先做一次检查点,目的是把脏数据写入数据文件,避免造成数据丢失,减小关闭启动不起来这种现象发生
alter system checkpoint;
切换一次日志:
SQL> alter system switch logfile;

再做一次检查点
alter system checkpoint;
再切换一次日志:
SQL> alter system switch logfile;

六、关机-此时关机速度会正常,有效减少HANG住之类问题。

建议执行关闭数据库命令时,重新打开一个会话窗口,重新登陆数据库进行关闭:
SQL> shutdown immediate;

关闭ORACLE数据库步骤参考

近期遇到一客户数据库关闭时遇到无法关闭的情况。
经检查是关闭前使用了sqlplus窗口直接使用host命名回到SHELL操作界面,然后又sqlplus / as sysdba登陆了数据库(具体切换了三、四次);
在之后的发出关闭命令shutdown immediate;后,命令一直HANG住;此时查看ALERT日志,有“SHUTDOWN: Active processes prevent shutdown operation”提示;
一开始以为是有活动会话没有关闭,查询ps -ef|grep LOCAL 和ps -ef|grep ora_j的进程,均无相应进程;也未配置EM–DB CONSOLE之类。

刚开始以为是遇到有活动会话导致的,数据库版本是AIX6.1+11.2.0.1单实例;
因此根据以往经验会提示出哪个进程导致SHUTDOWN无法完成,根据提示进程号进行KILL进程,就会正常关闭。
——————-
==》根据观察,在ORACLE10G及以上版本,会是如下提示:
Active call for process 12345 user ‘oracle’ program ‘oracle@abcd’
SHUTDOWN: waiting for active calls to complete.
也就是指出哪个进程引起的等待,此时kill -9 12345 进程即可。
==》但是在ORACLE 8I版本中,是不会提示哪个进程ACTIVE引起关闭进程HANG的。

在等待的过程中,耽误了10多分钟。后根据alert提示查询,结合之前工程师的操作;
问题可能是sqlplus时host到os下操作,后又sqlplus / as sysdba登陆,如此反复多次。
——-因为在发出shutdown immediate;的命令行窗口命令仍在执行状态,事实上此时可以使用CTRL+C来取消关闭命令。
本次就使用了CTRL+C来取消关闭命令,后一路exit退出,并重新使用TELNET登陆进行关闭操作,正常完成。
############
这里也是一个重要提醒,在发出shutdown immediate;的命令行窗口,最好新建的会话来执行,避免此类问题。
关库前最好将ps -ef|grep LOCAL 和ps -ef|grep ora_j的进程,是否有大事务在进行及大事务回滚在进行等问题进行确认;
确认之后切换日志、执行检查点,再关闭数据库,此时关库风险会小很多,即使遇到无法关闭去KILL进程,也相应更安全。

#################################故障时
1.无法关闭时的alert日志
Sun Dec 13 00:25:15 2015
Shutting down instance (immediate)
Stopping background process SMCO
Shutting down instance: further logons disabled
Sun Dec 13 00:25:17 2015
Stopping background process CJQ0
Stopping background process QMNC
Stopping background process MMNL
Stopping background process MMON
License high water mark = 78
Stopping Job queue slave processes, flags = 7
Job queue slave processes stopped
All dispatchers and shared servers shutdown
Sun Dec 13 00:30:21 2015
SHUTDOWN: Active processes prevent shutdown operation
Sun Dec 13 00:35:23 2015
SHUTDOWN: Active processes prevent shutdown operation
Sun Dec 13 00:40:24 2015
SHUTDOWN: Active processes prevent shutdown operation
Sun Dec 13 00:45:25 2015
SHUTDOWN: Active processes prevent shutdown operation
Sun Dec 13 00:48:31 2015

Instance shutdown cancelled

 

关闭数据库遇到SHUTDOWN: Active processes prevent shutdown operation

先写结果:

1.验证ifcfg-eth2与ifcfg-eth2bak这种格式的,service network restart 时会读取这种配置文件
如果改为mv ifcfg-eth2bak ifcfg-eth3.bak,则不会被读取。
2.验证了文件名的使用顺序,两个配置文件对应同一网卡时,以最早使用的配置文件的为准。

##########################################测试过程:
1.验证ifcfg-eth2与ifcfg-eth2bak这种格式的,service network restart 时会读取这种配置文件
如果改为mv ifcfg-eth2bak ifcfg-eth3.bak,则不会被读取。
[root@bys1 network-scripts]# mv ifcfg-eth3 ifcfg-eth3bak
[root@bys1 network-scripts]# mv ifcfg-eth2bak ifcfg-eth2.bak
[root@bys1 network-scripts]# service network restart
Shutting down interface eth0: [ OK ]
Shutting down loopback interface: [ OK ]
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: [ OK ]
Bringing up interface eth3bak:
Determining IP information for eth3…^C
—改为ifcfg-eth3.bak,不会使用
[root@bys1 network-scripts]# mv ifcfg-eth3bak ifcfg-eth3.bak
[root@bys1 network-scripts]# service network restart
Shutting down interface eth0: [ OK ]
Shutting down loopback interface: [ OK ]
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: [ OK ]
—-改回去 ifcfg-eth3bak验证会使用
[root@bys1 network-scripts]# mv ifcfg-eth3.bak ifcfg-eth3bak
[root@bys1 network-scripts]# service network restart
Shutting down interface eth0: [ OK ]
Shutting down interface eth3bak: [ OK ]
Shutting down loopback interface: [ OK ]
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: [ OK ]
Bringing up interface eth3bak:
Determining IP information for eth3…^C

####################################
2.测试同一网卡,不同配置文件名时的使用顺序及对应IP生效情况
验证了文件名的使用顺序,两个配置文件对应同一网卡时,以最早使用的配置文件的为准。

配置文件情况
[root@bys1 network-scripts]# cat ifcfg-eth1
# Intel Corporation 82540EM Gigabit Ethernet Controller
DEVICE=eth1
BOOTPROTO=none
ONBOOT=yes
HWADDR=08:00:27:A0:5F:E7
NETMASK=255.255.255.0
IPADDR=192.168.10.1
[root@bys1 network-scripts]# cat ifcfg-eth1bak
# Intel Corporation 82540EM Gigabit Ethernet Controller
DEVICE=eth1
BOOTPROTO=none
ONBOOT=yes
HWADDR=08:00:27:A0:5F:E7
NETMASK=255.255.255.0
IPADDR=192.168.11.1

—实验1;将IP192.168.10.1对应的配置文件先读取,后续eth1bak配置文件不会影响。
[root@bys1 network-scripts]# service network restart
Shutting down interface eth0: [ OK ]
Shutting down interface eth1: [ OK ]
Shutting down loopback interface: [ OK ]
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: [ OK ]
Bringing up interface eth1: [ OK ]
Bringing up interface eth1bak: [ OK ]
[root@bys1 network-scripts]# ifconfig

eth1 Link encap:Ethernet HWaddr 08:00:27:A0:5F:E7
inet addr:192.168.10.1 Bcast:192.168.10.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:104 errors:0 dropped:0 overruns:0 frame:0
TX packets:35 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:15754 (15.3 KiB) TX bytes:5698 (5.5 KiB)

–实验2:将IP192.168.11.1对应的配置文件先读取,会使用此配置文件的信息。
[root@bys1 network-scripts]# mv ifcfg-eth1 ifcfg-eth1b
[root@bys1 network-scripts]# mv ifcfg-eth1bak ifcfg-eth1a
[root@bys1 network-scripts]# service network restart
Shutting down interface eth0: [ OK ]
Shutting down interface eth1a: [ OK ]
Shutting down loopback interface: [ OK ]
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: [ OK ]
Bringing up interface eth1a: [ OK ]
Bringing up interface eth1b: [ OK ]
[root@bys1 network-scripts]# ifconfig eth1
eth1 Link encap:Ethernet HWaddr 08:00:27:A0:5F:E7
inet addr:192.168.11.1 Bcast:192.168.11.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:136 errors:0 dropped:0 overruns:0 frame:0
TX packets:62 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:19100 (18.6 KiB) TX bytes:9287 (9.0 KiB)

 

LINUX6.5 同一网卡多个配置文件时的使用顺序及格式要求

LINUX上安装11.2.0.4 RAC时,安装grid运行root.sh报错ORA-15020 discovered duplicate ASM disk排查。
[root@lnx67 rules.d]# ls -al /dev/asm*
brw-rw—- 1 grid asmadmin 250, 0 Jan 5 14:47 /dev/asm-diskb
brw-rw—- 1 grid asmadmin 250, 16 Jan 5 14:47 /dev/asm-diskc
brw-rw—- 1 grid asmadmin 250, 32 Jan 5 14:47 /dev/asm-diskd
修改UDEV规则,将ASM使用的盘名字改为:
[root@lnx67 Packages]# ls -al /dev/asm*
brw-rw—- 1 grid asmadmin 250, 16 Jan 6 08:24 /dev/asm-diskarch
brw-rw—- 1 grid asmadmin 250, 0 Jan 5 14:47 /dev/asm-diskb
brw-rw—- 1 grid asmadmin 250, 16 Jan 5 14:47 /dev/asm-diskc
brw-rw—- 1 grid asmadmin 250, 32 Jan 5 14:47 /dev/asm-diskd
brw-rw—- 1 grid asmadmin 250, 32 Jan 6 08:24 /dev/asm-diskdata
brw-rw—- 1 grid asmadmin 250, 0 Jan 6 08:45 /dev/asm-diskocr
此时原来的绑定规划生成的盘符没有消失,新的盘符产生了。
之后安装GRID运行root.sh时报错:
ORA-15018: diskgroup cannot be created
ORA-15020: discovered duplicate ASM disk “DGOCR_0000”

——-2016/2/29帮人查问题发现最新信息: 12cR1安装时同样问题,只报错ORA-15018:这一行。。。

原因就是使用ASM_DISKSTRING参数是/dev/asm*,此时比如同一磁盘B对应了/dev/asm-diskb及/dev/asm-diskocr。
从操作系统层面使用start_udev,旧的没产生,最终是重启解决盘符问题。
GRID安装出错后,新安装环境就使用了重新安装的方式。
————root.sh报错信息
[root@lnx67 Packages]# sh /u01/11.2.0/grid/root.sh
Performing root user operation for Oracle 11g

The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]:
Copying dbhome to /usr/local/bin …
Copying oraenv to /usr/local/bin …
Copying coraenv to /usr/local/bin …

Creating /etc/oratab file…
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
Installing Trace File Analyzer
OLR initialization – successful
root wallet
root wallet cert
root cert export
peer wallet
profile reader wallet
pa wallet
peer wallet keys
pa wallet keys
peer cert request
pa cert request
peer cert
pa cert
peer root cert TP
profile reader root cert TP
pa root cert TP
peer pa cert TP
pa peer cert TP
profile reader pa cert TP
profile reader peer cert TP
peer user cert
pa user cert
Adding Clusterware entries to upstart
CRS-2672: Attempting to start ‘ora.mdnsd’ on ‘lnx67’
CRS-2676: Start of ‘ora.mdnsd’ on ‘lnx67’ succeeded
CRS-2672: Attempting to start ‘ora.gpnpd’ on ‘lnx67’
CRS-2676: Start of ‘ora.gpnpd’ on ‘lnx67’ succeeded
CRS-2672: Attempting to start ‘ora.cssdmonitor’ on ‘lnx67’
CRS-2672: Attempting to start ‘ora.gipcd’ on ‘lnx67’
CRS-2676: Start of ‘ora.cssdmonitor’ on ‘lnx67’ succeeded
CRS-2676: Start of ‘ora.gipcd’ on ‘lnx67’ succeeded
CRS-2672: Attempting to start ‘ora.cssd’ on ‘lnx67’
CRS-2672: Attempting to start ‘ora.diskmon’ on ‘lnx67’
CRS-2676: Start of ‘ora.diskmon’ on ‘lnx67’ succeeded
CRS-2676: Start of ‘ora.cssd’ on ‘lnx67’ succeeded

Disk Group dgocr creation failed with the following message:
ORA-15018: diskgroup cannot be created
ORA-15020: discovered duplicate ASM disk “DGOCR_0000”

Configuration of ASM … failed
see asmca logs at /u01/app/oracle/cfgtoollogs/asmca for details
Did not succssfully configure and start ASM at /u01/11.2.0/grid/crs/install/crsconfig_lib.pm line 6912.
/u01/11.2.0/grid/perl/bin/perl -I/u01/11.2.0/grid/perl/lib -I/u01/11.2.0/grid/crs/install /u01/11.2.0/grid/crs/install/rootcrs.pl execution failed
You have new mail in /var/spool/mail/root

 

安装grid运行root.sh报错ORA-15020 discovered duplicate ASM disk排查

遇到一次AIX 5.3系统kernel使用在40%左右,syscall 2000K以上;
在运行ORACLE数据库的主机上,一般来说CPU kernel使用率高,多为内存分页问题,或者数据库的latch free等待。或者是系统其它进程异常了。
如下为vmstat的输出:
oracle@AA_pri.prod:/oracle>vmstat 2 5
System configuration: lcpu=10 mem=40960MB
kthr memory page faults cpu
—– ———– ———————— ———— ———–
r b avm fre re pi po fr sr cy in sy cs us sy id wa
14 0 1263554 1033532 0 0 0 0 0 0 8 2666774 800 64 36 0 0
14 0 1263555 1033531 0 0 0 0 0 0 6 2464021 636 64 36 0 0
14 0 1263555 1033531 0 0 0 0 0 0 15 2733151 765 64 36 0 0
15 0 1263555 1033531 0 0 0 0 0 0 44 2330788 19210 63 37 0 0
15 0 1263555 1033531 0 0 0 0 0 0 21 2497598 22673 63 37 0 0

排查:
在数据库层面,可以通过statspack或者AWR来查看latch free等待;
在主机层面:
1.可以查看内存分页使用情况。
2.找到使用Kernel CPU较多的进程;
–对于确认是哪些进程使用大量Kernel CPU,在AIX上可以通过tprof -x sleep 60命令来监测。
–tprof -x sleep 60—>采样60秒,在当前目录生成sleep.prof文件。
内容如下:
AA_pri:/tmp/tools/nmon# more sleep.prof
Configuration information
=========================
System: AIX 5.3 Node: mrp_pri Machine: 00C3E0A04C00
Tprof command was:
tprof -x sleep 60
Trace command was:
/usr/bin/trace -ad -M -L 1118055628 -T 500000 -j 000,00A,001,002,003,38F,005,006,134,139,5A2,5A5,465,234, -o –
Total Samples = 60025
Traced Time = 60.03s (out of a total execution time of 60.03s)
<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<

Process Freq Total Kernel User Shared Other
======= ==== ===== ====== ==== ====== =====
oracleaaa 48 87.51 61.57 12.89 12.91 0.13
AAALIBR 2 6.01 0.15 5.86 0.00 0.00
aioserver 20 2.53 2.53 0.00 0.00 0.00
lrud 3 1.39 1.39 0.00 0.00 0.00
kbiod 5 0.91 0.91 0.00 0.00 0.00
PID19886 1 0.26 0.26 0.00 0.00 0.00
PID189552 1 0.26 0.26 0.00 0.00 0.00
PID191814 1 0.26 0.26 0.00 0.00 0.00
PID191820 1 0.23 0.23 0.00 0.00 0.00
PID19880 1 0.23 0.23 0.00 0.00 0.00
rtcmd 1 0.13 0.13 0.00 0.00 0.00
/usr/bin/topas 2 0.07 0.06 0.00 0.01 0.00
wait 1 0.05 0.05 0.00 0.00 0.00
/usr/bin/tprof 1 0.05 0.02 0.00 0.02 0.00
/etc/syncd 3 0.03 0.03 0.00 0.00 0.00
zabbix_agentd: 4 0.02 0.02 0.00 0.00 0.00
swapper 1 0.01 0.01 0.00 0.00 0.00
MRCLIB 2 0.01 0.00 0.00 0.00 0.00
ora_lgwr_aa 1 0.01 0.00 0.00 0.00 0.00
ora_pmon_aa 1 0.00 0.00 0.00 0.00 0.00
/etc/getty 1 0.00 0.00 0.00 0.00 0.00
INCTM 1 0.00 0.00 0.00 0.00 0.00
PALIBR 1 0.00 0.00 0.00 0.00 0.00
tnslsnr 2 0.00 0.00 0.00 0.00 0.00
netm 1 0.00 0.00 0.00 0.00 0.00
pnsd 1 0.00 0.00 0.00 0.00 0.00
/etc/init 1 0.00 0.00 0.00 0.00 0.00
rmcd 1 0.00 0.00 0.00 0.00 0.00
gil 1 0.00 0.00 0.00 0.00 0.00
FNDCRM 1 0.00 0.00 0.00 0.00 0.00
/usr/bin/sleep 1 0.00 0.00 0.00 0.00 0.00
/usr/bin/sh 1 0.00 0.00 0.00 0.00 0.00
/usr/bin/trcstop 1 0.00 0.00 0.00 0.00 0.00
xmgc 1 0.00 0.00 0.00 0.00 0.00
======= ==== ===== ====== ==== ====== =====
Total 115 100.00 68.14 18.78 12.95 0.13

Process PID TID Total Kernel User Shared Other
======= === === ===== ====== ==== ====== =====
oracleaaa 194158 231453 7.67 5.89 0.50 1.28 0.01
oracleaaa 158136 189561 7.21 5.51 0.52 1.17 0.02
oracleaaa 197832 176219 7.20 5.47 0.52 1.20 0.01
oracleaaa 168984 203561 7.17 5.51 0.50 1.15 0.01
oracleaaa 193412 195675 7.05 5.46 0.49 1.08 0.02
oracleaaa 184722 70593 6.55 4.98 0.44 1.12 0.01
oracleaaa 190586 194065 6.54 4.99 0.48 1.06 0.02
oracleaaa 171952 232589 6.25 4.89 0.41 0.94 0.01
oracleaaa 179210 214937 6.15 4.71 0.45 0.98 0.01
oracleaaa 169492 207305 6.11 4.68 0.48 0.93 0.01
FNDLIBR 125122 99601 6.01 0.15 5.86 0.00 0.00
oracleaaa 176498 237923 5.91 4.45 0.44 1.01 0.00
oracleaaa 182152 206979 5.50 4.21 0.37 0.92 0.00
oracleaaa 168208 227319 5.29 0.11 5.18 0.00 0.00
lrud 1032 2581 0.49 0.49 0.00 0.00 0.00
lrud 1032 3097 0.49 0.49 0.00 0.00 0.00
lrud 1032 2839 0.41 0.41 0.00 0.00 0.00
kbiod 6758 230697 0.40 0.40 0.00 0.00 0.00
aioserver 98562 139071 0.39 0.39 0.00 0.00 0.00
oracleaaa 153316 221701 0.37 0.08 0.28 0.01 0.00
oracleaaa 152188 197429 0.35 0.11 0.24 0.01 0.00
oracleaaa 180482 197775 0.34 0.08 0.24 0.01 0.00
oracleaaa 188584 198153 0.33 0.10 0.22 0.01 0.00
oracleaaa 152864 226173 0.33 0.12 0.21 0.00 0.00
oracleaaa 174636 175739 0.33 0.09 0.23 0.01 0.00
oracleaaa 180154 213587 0.31 0.01 0.29 0.00 0.00
PID19886 19886 79119 0.26 0.26 0.00 0.00 0.00
PID189552 189552 178857 0.26 0.26 0.00 0.00 0.00
PID191814 191814 201195 0.26 0.26 0.00 0.00 0.00
aioserver 24218 87299 0.24 0.24 0.00 0.00 0.00
aioserver 108882 150165 0.24 0.24 0.00 0.00 0.00
PID191820 191820 201201 0.23 0.23 0.00 0.00 0.00
PID19880 19880 31753 0.23 0.23 0.00 0.00 0.00
aioserver 63464 105847 0.22 0.22 0.00 0.00 0.00
aioserver 58350 79067 0.18 0.18 0.00 0.00 0.00
oracleaaa 166350 45007 0.18 0.05 0.12 0.01 0.00
aioserver 119976 161259 0.18 0.18 0.00 0.00 0.00
kbiod 6758 208781 0.17 0.17 0.00 0.00 0.00
kbiod 6758 234833 0.17 0.17 0.00 0.00 0.00
oracleaaa 166704 202255 0.16 0.04 0.12 0.00 0.00
kbiod 6758 210309 0.16 0.16 0.00 0.00 0.00
aioserver 44420 106939 0.14 0.14 0.00 0.00 0.00
rtcmd 7784 216067 0.13 0.13 0.00 0.00 0.00
aioserver 97270 137523 0.12 0.12 0.00 0.00 0.00
aioserver 9818 24783 0.11 0.11 0.00 0.00 0.00
aioserver 84370 124879 0.11 0.11 0.00 0.00 0.00
aioserver 45570 43961 0.11 0.11 0.00 0.00 0.00
aioserver 94690 134943 0.09 0.09 0.00 0.00 0.00
aioserver 30952 66513 0.09 0.09 0.00 0.00 0.00
aioserver 42172 91475 0.09 0.09 0.00 0.00 0.00
aioserver 73266 53583 0.07 0.07 0.00 0.00 0.00
aioserver 7132 9455 0.07 0.07 0.00 0.00 0.00
aioserver 88498 129007 0.06 0.06 0.00 0.00 0.00
wait 3870 4903 0.05 0.05 0.00 0.00 0.00
/usr/bin/topas 185778 166999 0.05 0.04 0.00 0.01 0.00
oracleaaa 178694 240183 0.05 0.01 0.04 0.00 0.00
/usr/bin/tprof 162384 239105 0.05 0.02 0.00 0.02 0.00
oracleaaa 197618 239821 0.03 0.00 0.03 0.00 0.00
oracleaaa 191808 205851 0.03 0.00 0.02 0.00 0.00
oracleaaa 162034 177569 0.03 0.00 0.02 0.00 0.00
/usr/bin/topas 184380 74419 0.02 0.02 0.00 0.00 0.00
/etc/syncd 8068 27349 0.02 0.02 0.00 0.00 0.00
kbiod 6758 26329 0.01 0.01 0.00 0.00 0.00
oracleaaa 161000 203857 0.01 0.01 0.01 0.00 0.00
swapper 0 3 0.01 0.01 0.00 0.00 0.00
aioserver 57824 89009 0.01 0.01 0.00 0.00 0.00
zabbix_agentd: 185930 86787 0.01 0.00 0.00 0.00 0.00
/etc/syncd 8068 27091 0.01 0.01 0.00 0.00 0.00
ora_lgwr_aa 129784 43103 0.01 0.00 0.00 0.00 0.00
MRCLIB 135202 181919 0.00 0.00 0.00 0.00 0.00
zabbix_agentd: 180946 202877 0.00 0.00 0.00 0.00 0.00
zabbix_agentd: 172238 174785 0.00 0.00 0.00 0.00 0.00
zabbix_agentd: 187992 214365 0.00 0.00 0.00 0.00 0.00
ora_pmon_aa 154232 55873 0.00 0.00 0.00 0.00 0.00
oracleaaa 126162 213487 0.00 0.00 0.00 0.00 0.00
oracleaaa 150520 174225 0.00 0.00 0.00 0.00 0.00
aioserver 67564 103597 0.00 0.00 0.00 0.00 0.00
oracleaaa 148140 205481 0.00 0.00 0.00 0.00 0.00
oracleaaa 191648 191153 0.00 0.00 0.00 0.00 0.00
oracleaaa 155354 206489 0.00 0.00 0.00 0.00 0.00
oracleaaa 151466 99309 0.00 0.00 0.00 0.00 0.00
PALIBR 133654 64935 0.00 0.00 0.00 0.00 0.00
/etc/getty 23744 46967 0.00 0.00 0.00 0.00 0.00
FNDLIBR 145264 101097 0.00 0.00 0.00 0.00 0.00
INCTM 138826 183709 0.00 0.00 0.00 0.00 0.00
oracleaaa 131284 180667 0.00 0.00 0.00 0.00 0.00
oracleaaa 171094 83033 0.00 0.00 0.00 0.00 0.00
FNDCRM 164614 239405 0.00 0.00 0.00 0.00 0.00
netm 5160 6193 0.00 0.00 0.00 0.00 0.00
oracleaaa 72760 86729 0.00 0.00 0.00 0.00 0.00
oracleaaa 159726 167991 0.00 0.00 0.00 0.00 0.00
/usr/bin/trcstop 184152 197317 0.00 0.00 0.00 0.00 0.00
/usr/bin/sleep 184150 197315 0.00 0.00 0.00 0.00 0.00
/usr/bin/sh 184150 197315 0.00 0.00 0.00 0.00 0.00
oracleaaa 182704 236311 0.00 0.00 0.00 0.00 0.00
/etc/syncd 8068 28123 0.00 0.00 0.00 0.00 0.00
/etc/init 1 259 0.00 0.00 0.00 0.00 0.00
oracleaaa 130870 169277 0.00 0.00 0.00 0.00 0.00
oracleaaa 145862 77441 0.00 0.00 0.00 0.00 0.00
oracleaaa 156754 212609 0.00 0.00 0.00 0.00 0.00
oracleaaa 49334 242921 0.00 0.00 0.00 0.00 0.00
gil 5418 7225 0.00 0.00 0.00 0.00 0.00
oracleaaa 155878 199531 0.00 0.00 0.00 0.00 0.00
oracleaaa 127194 211171 0.00 0.00 0.00 0.00 0.00
pnsd 21160 46703 0.00 0.00 0.00 0.00 0.00
rmcd 19406 50581 0.00 0.00 0.00 0.00 0.00
oracleaaa 199414 229769 0.00 0.00 0.00 0.00 0.00
oracleaaa 151574 179487 0.00 0.00 0.00 0.00 0.00
tnslsnr 152492 96539 0.00 0.00 0.00 0.00 0.00
tnslsnr 191808 205851 0.00 0.00 0.00 0.00 0.00
oracleaaa 127314 44441 0.00 0.00 0.00 0.00 0.00
xmgc 2580 3355 0.00 0.00 0.00 0.00 0.00
aioserver 108624 149907 0.00 0.00 0.00 0.00 0.00
MRCLIB 188368 224117 0.00 0.00 0.00 0.00 0.00
oracleaaa 160178 231707 0.00 0.00 0.00 0.00 0.00
======= === === ===== ====== ==== ====== =====
Total 100.00 68.14 18.78 12.95 0.13

运行ORACLE数据库的AIX Kernel CPU使用率高达40%的排查