一、MTK AEE 系统机制简介
1.MTK AEE 系统
AEE 是MTK平台自研,用于侦测Android手机系统异常重启的一套系统机制,当AEE系统侦测到异常后会生成 db 文件.
2.db 文件存储路径:
/data/aee_exp
或data/vendor/mtklog/aee_exp
Android 8.0
之后由于系统安全机制导致db
无法保存到MTK log
中
user
版本 中AEE
仅仅侦测引起的重启故障,例如:KE/system server, NE/system server, JE/SWT
3.AEE 异常侦测机制
AP
层重启时候,AEE
系统会在db
生成后发送am
广播(com.mediatek.log2server.EXCEPTION_HAPPEND
),但系统重启类异常(KE / HW reboot/ HWT
)不会发送广播,因为AMS
还无法使用。
另外,AEE
会开机后判断异常重启,当异常重启后会设置debug.mtk.aee.db
的 property
,由于不是persist
的,关机就丢失,因此只有异常重启后才有这个property
存在。
因此,我们可以通过检查debug.mtk.aee.db
的方法来获取系统是否发生了异常重启。
4.重启异常 debug.mtk.aee.db 读取方法
- 1.java 层:
- 2.native层:
- 3.通过adb shell
android.os.SystemProperties.get("debug.mtk.aee.db", "")
int property_get(const char* key, char* value, const char* def);
adb shell getprop debug.mtk.aee.db
二、AEE 重启异常分类介绍
AEE 重启异常分类 如下:
- 1.KE
- 2.HWT
- 3.HWT Reboot
- 4.NE
- 5.JE
- 6.SWT
上面的类型可能会变化,具体请参考kernel代码:kernel-4.4/drivers/misc/mediatek/include/mt-plat/aee.h
里的AE_EXP_CLASS
。
1.AEE 输出内容
当有异常发生时候,会生成dbg
文件,通过MTK提供的GAT工具可以解压这个dbg
文件。
GAT工具可以在MTK的官网下载
2.dbg文件
db.fatal.00.JE.dbg.DEC
这个文件夹使用aee_extract.exe
抽取aee db
压缩文件生成的,这个工具在gat-win32-3\prebuilt\spsstools\bin\aee_extract.exe
可以找到。
3.ZZ_INTERNAL 简介
ZZ_INTERNAL
包含重启的简单信息,如需获取更多信息,需要解压dbg
文件。
4.KE、JE、NE、SWT分类
这种类型最好分类,因为有调用栈,有进程名,分类可以做的很细致。
KE db如果存在SYSTRACKER_DUMP
文件,表示存在bus hang
,也可以单独列出来。
5. HWT分类
不能以当前CPU
的调用栈分类。因为最后调用BUG
的CPU
是随机的。同样的调用栈,可能是不同的root cause
,应该按卡住的CPU
的调用栈进行分类
从SYS_LAST_KMSG
看Kick bit、check bit
得出是那个CPU
,可能存在多个或没有。
从SYS_LAST_KMSG
提取CPU
的调用栈
6.HW reboot分类
可以通过__exp_main.txt
里的Exception Type
分类
- HW reboot
- Thermal reboot
- SPM reboot
- ATF crash
Type
为HW reboot
可以进一步细分( 按SYS_REBOOT_REASON
里字段信息 )
-
last pc,看各个
Core
停止的位置 -
deepidle/sodi3/sodi/spm_suspend
,如果非0
表示当时处于low power
场景 - Android Dropbox
三、Kernel Exception类重启问题总结
当手机重启时候,Kernel
重启异常信息会保存在手机/data/aee_exp
或 data/vendor/mtklog/aee_exp
中的db
文件中。
Kernel Exception重启分类如下:
- 1.Kernel Panic
- 2.Watchdog Timeout
- 3.Hardware Reboot
Kernel Panic
即Linux kernel
发生了无法修复的错误,从而导致 panic
。通过查看 SYS_KERNEL_LOG 的内容,可以获取更多异常信息
kernel Panic
进一步可以分为如下几类:
- 1.普通的
data abort
- 2.
oom
主动触发的panic
- 3.
undefined instruction
,未定义指令异常 - 4.
bad mode
异常,即PC
处于一个无效的virtual address
1. 普通的data abort
从SYS_KERNEL_LOG
中,可以检索到如下关键信息:
Unable to handle kernel NULL pointer dereference at virtual address XXXXXXXX
如上的XXXXXXXX
代表某个非法地址。这种类型是最多的。
2. oom 主动触发的panic
从SYS_KERNEL_LOG
中,可以检索到如下关键信息:
Kernel panic - not syncing: Out of memory and no killable processes...
此种类型的panic
一般是某个process
或者APK
耗尽了memory
资源,从而kernel
主动触发的panic
重启。
3.undefined instruction,未定义指令异常
从SYS_KERNEL_LOG
中,可以检索到如下关键信息:
Internal error: Oops - undefined instruction
此类异常较为少见,可能是CPU/DRAM
不稳定或者受干扰导致的问题。
4.bad mode异常,即PC处于一个无效的virtual address
从SYS_KERNEL_LOG
中,可以检索到如下关键信息:
Bad mode in Synchronous Abort handler detected
[14820.652408]-(1)[682:VSyncThread_0][<ffffffc000088f90>] bad_mode+0x78/0xb0
此类异常较为少见,可能的原因是stack
错乱,或者未注册回调函数引起。
四、Watchdog Timeout类重启问题总结
看门狗超时有两种
- 1.底层看门狗超时
HWT
- 2.上层
hang_detect
触发看门狗超时SWT
1.底层看门狗超时HWT
从SYS_KERNEL_LOG
中,可以检索如下关键信息
- arm64 平台
PC is at aee_wdt_atf_info+0x4c8/0x6dc
LR is at aee_wdt_atf_info+0x4c0/0x6dc
- arm32 平台
PC is at aee_wdt_irq_info+0x104/0x12c
LR is at aee_wdt_irq_info+0x104/0x12c
此类异常较为常见,多见于底层频繁irq/bus
卡死,导致kicker
无法被schedule
,从而引起watch dog
触发中断,引导系统进入FIQ
处理流程,最终call
到BUG
触发重启。
2.上层hang_detect
触发看门狗超时SWT
从SYS_KERNEL_LOG
中,可以检索( 关键字 :hang_detect)
[ 2131.086562] (0)[77:hang_detect][Hang_Detect] we should triger HWT ...
...
[ 2180.467416]-(0)[77:hang_detect]PC is at aee_wdt_irq_info+0x154/0x170
[ 2180.467426]-(0)[77:hang_detect]LR is at aee_wdt_irq_info+0x154/0x170
...
此异常类型较为常见,多见于GPU/SD卡/eMMC
无法满足surfacelinger/system_server
的通讯需求,从而导致上层卡死,进而主动触发看门狗超时重启。
五、Hardware Reboot类重启问题总结
Hardware reboot
是watch dog
直接发出reset
信号,导致整个系统重启;在重启之前,并没有触发任何异常处理流程。
一般情况下,hardware reboot
对应的db
不会有SYS_KERNEL_LOG
可以排查,只能从SYS_LAST_KMSG
获知异常之前kernel
的动作,以及从SYS_REBOOT_REASON
获知异常时的CPU
寄存器值和其它参数。
从ZZ_INTERNAL
档案,可以知道发生了hardware reboot
例如 如下部分log
:
Hardware Reboot,0,0,99,/data/core/,0,,HW_REBOOT,Fri Jul 3 14:31:53 CST 2015,1
六、总结
在平时的开发过程中,注意总结一些关键的点和日志可以有效的提高开发的效率,比如这些系统重启的问题,如果平时有积累,就可以根据日志快速的定位到出问题的地方