2024年2月15日发(作者：经宾鸿)
DNS吊死造成批量投诉分析
一、现象
在5月5日11点以后，嘉兴投诉量激增，开始出现批量用户投诉。因为嘉兴IBS服务器未接TD数据，所以只能看到这些用户在2G网内的上网记录。通过IBS平台查询这些投诉用户记录发现这些用户11点之前上网正常，在11点以后集中出现大量的PDP激活失败，原因值返回‘missing or unknown APN（27） ’，查看用户PDP激活请求的APN全部都为‘cmnet’。用户信令如下图所示：
5月5日嘉兴全天共产生此类投诉工单共19单。
二、问题分析
通过业务支撑平台查看这些投诉用户的APN签约信息，发现这些用户签约的APN正常，并无遗漏掉‘cmnet’，结合用户之前存在使用cmnet进行PDP激活成功，且业务正
常，所以排除签约APN遗漏问题。
通过IBS平台统计嘉兴2G网内5月5日11：00——19:30的PDP激活数据，与5月4日相同时间段内的数据进行对比。下表是各原因值用户数对比情况
拒绝原因
Time out
Requested service option not subscribed
Missing or unknown APN
Activation rejected by GGSN
Activation rejected, unspecified
User Aauthentication failed
Operator Determined Barring
Service option not supported
Insufficient resources
Invalid mandatory information
Protocol error, unspecified
Reactivation required
2014/5/4
11：00-19:30
112758
30395
565
139
203
17
3
2
2
1
2014/5/5
11：00-19:30 增幅
77019 -31.70%
30586 0.63%
6299 1014.87%
173 24.46%
139 -31.53%
32 88.24%
7 133.33%
2 0.00%
1
1 -50.00%
1 0.00%
1
从上表可以看出，5月5日11:00—19:30内PDP激活失败返回’Missing or unknown
APN’的用户数比5月4日相同时间段内增加了1014.87%。
统计各主要APN返回‘Misssing or unknown APN’的情况，具体如下表：
APN
CMNET
cmwap
uninet
fetnet01
vzwinternet
uniwap
2014/5/4
11：00-19:30
218
295
117
3
3
1
2014/5/5
11：00-19:30
5954
328
117
4
3
5
3
增幅
2631.19%
11.19%
0.00%
33.33%
0.00%
200.00%
从上表中可以看出，cmnet激活的用户返回‘Missing or unknown APN’的用户数同一时间段内5月5日比5月4日增加了2631.19%，其他几个APN并无明显大幅度增加
现象。
从此现象可以看出，此次造成批量投诉的原因是因为通过cmnet进行PDP激活时被拒绝返回Missing or unknown APN’造成的。
统计该时段内这些用户的分布情况，如下表所示
SGSN
SGSN21
SGSN21
SGSN21
SGSN21
SGSN21
SGSN21
SGSN22
SGSN22
SGSN22
SGSN22
SGSN22
SGSN22
SGSN23
SGSN23
SGSN23
SGSN23
SGSN23
SGSN23
SGSN24
SGSN24
SGSN24
SGSN24
SGSN24
SGSN24
SGSN29
SGSN29
SGSN29
SGSN29
SGSN29
SGSN29
SGSN IP
10.73.28.25
10.73.28.26
10.73.28.27
10.73.28.28
10.73.28.29
10.73.28.30
10.73.30.1
10.73.30.2
10.73.30.3
10.73.30.4
10.73.30.5
10.73.30.6
10.73.30.25
10.73.30.26
10.73.30.27
10.73.30.28
10.73.30.29
10.73.30.30
10.73.30.49
10.73.30.50
10.73.30.51
10.73.30.52
10.73.30.53
10.73.30.54
10.73.22.100
10.73.22.101
10.73.22.102
10.73.22.97
10.73.22.98
10.73.22.99
总计
2014/5/4
14
12
19
19
19
17
9
8
8
9
20
16
13
15
14
13
11
11
9
13
12
10
15
15
17
13
13
9
11
15
399
2014/5/5
8
7
17
16
17
18
13
11
11
14
16
14
835
815
658
662
564
545
883
883
732
722
609
627
605
536
553
831
842
590
12654
从表中可以看出，突增的这些用户集中在SGSN23、SGSN24和SGSN29下，而且在这3个SGSN下的各个板卡上增幅大致相当，并未集中在个别板卡上，SGSN21和SGSN22未见明显增长。
统计这些用户的信息，发现这些用户绝大多数使用的都是4G卡。
终端类型
酷派8720L
三星SM-N9005
苹果IPHONE 5S(联通版)
小米MI 3(移动版)
未知
三星GT-N7105
苹果IPHONE 5S(联通版)
苹果IPHONE 5S(联通版)
苹果IPHONE 5S(港版A1530)
苹果IPHONE 5S(A1530公开版)
步步高Y1
苹果IPHONE 5S(联通版)
OPPOR8007
未知
苹果IPHONE 5S(联通版)
苹果IPHONE 5S(联通版)
苹果IPHONE 5S(联通版)
苹果iPhone 5S(A1518移动版)
中兴U202
终端是否支持4G 是否4G卡 是否开通4G业务
是 是 否
否 是 是
是 是 否
否 是 是
是 否
否 是 否
是 是 否
是 是 否
是 是 是
是 是 是
否 是 否
是 是 否
是 是 否
是 否
是 是 是
是 是 否
是 是 是
是 是 否
否 否 否
CC27代表未知或缺少APN的错误。是MS/UE在做PDP激活时的一种常见错误。
具体来说有如下几种情况：
1 、MS在做PDP激活的时候，会在上下文激活请求消息里携带请求的APN，告知网络侧自己想要访问的外部PDN代表什么.但MS/UE可能没有在激活消息里携带请求的APN或未签约的APN，造成网络侧也就是SGSN/GGSN不知道用户想要访问哪个外部网络，造成激活失败。
2 、MS做激活的时候，携带了请求的APN，但在SGSN做APN的DNS解析请求的时候，DNS SERVER上没有数据，不能返回正确的GGSN IP给SGSN，或者DNS SERVER根本就没有响应。造成激活失败。
所以通过分析用户的上网记录、各APN情况和用户分布情况，可以看出，用户之前使用cmnet正常，11点以后才出现此现象，且查看用户签约APN也正常，所以排除用户签约APN问题；统计cmnet情况，该APN并没有全部返回错误，只是小部分用户出现此类问题，而且也集中在个别SGSN上，所以排除DNS SERVER 上没有该APN相关GGSN的数据的问题。
所以初步判断为DNS服务器存在某些异常或SGSN23、24和29相连的GGSN存在某些异常，影响到部分经过该DNS服务器异常进程或GGSN异常进程的用户PDP激活失败。
三、问题解决
经过省公司排查，判断为DNS服务器上部分4G用户锚定的DNS进程吊死，造成经过该DNS进程的用户在进行PDP激活的时候无法解析正确的GGSN地址。在5月5日19：30左右进行相应的调整后，恢复正常。
2024年2月15日发(作者：经宾鸿)
DNS吊死造成批量投诉分析
一、现象
在5月5日11点以后，嘉兴投诉量激增，开始出现批量用户投诉。因为嘉兴IBS服务器未接TD数据，所以只能看到这些用户在2G网内的上网记录。通过IBS平台查询这些投诉用户记录发现这些用户11点之前上网正常，在11点以后集中出现大量的PDP激活失败，原因值返回‘missing or unknown APN（27） ’，查看用户PDP激活请求的APN全部都为‘cmnet’。用户信令如下图所示：
5月5日嘉兴全天共产生此类投诉工单共19单。
二、问题分析
通过业务支撑平台查看这些投诉用户的APN签约信息，发现这些用户签约的APN正常，并无遗漏掉‘cmnet’，结合用户之前存在使用cmnet进行PDP激活成功，且业务正
常，所以排除签约APN遗漏问题。
通过IBS平台统计嘉兴2G网内5月5日11：00——19:30的PDP激活数据，与5月4日相同时间段内的数据进行对比。下表是各原因值用户数对比情况
拒绝原因
Time out
Requested service option not subscribed
Missing or unknown APN
Activation rejected by GGSN
Activation rejected, unspecified
User Aauthentication failed
Operator Determined Barring
Service option not supported
Insufficient resources
Invalid mandatory information
Protocol error, unspecified
Reactivation required
2014/5/4
11：00-19:30
112758
30395
565
139
203
17
3
2
2
1
2014/5/5
11：00-19:30 增幅
77019 -31.70%
30586 0.63%
6299 1014.87%
173 24.46%
139 -31.53%
32 88.24%
7 133.33%
2 0.00%
1
1 -50.00%
1 0.00%
1
从上表可以看出，5月5日11:00—19:30内PDP激活失败返回’Missing or unknown
APN’的用户数比5月4日相同时间段内增加了1014.87%。
统计各主要APN返回‘Misssing or unknown APN’的情况，具体如下表：
APN
CMNET
cmwap
uninet
fetnet01
vzwinternet
uniwap
2014/5/4
11：00-19:30
218
295
117
3
3
1
2014/5/5
11：00-19:30
5954
328
117
4
3
5
3
增幅
2631.19%
11.19%
0.00%
33.33%
0.00%
200.00%
从上表中可以看出，cmnet激活的用户返回‘Missing or unknown APN’的用户数同一时间段内5月5日比5月4日增加了2631.19%，其他几个APN并无明显大幅度增加
现象。
从此现象可以看出，此次造成批量投诉的原因是因为通过cmnet进行PDP激活时被拒绝返回Missing or unknown APN’造成的。
统计该时段内这些用户的分布情况，如下表所示
SGSN
SGSN21
SGSN21
SGSN21
SGSN21
SGSN21
SGSN21
SGSN22
SGSN22
SGSN22
SGSN22
SGSN22
SGSN22
SGSN23
SGSN23
SGSN23
SGSN23
SGSN23
SGSN23
SGSN24
SGSN24
SGSN24
SGSN24
SGSN24
SGSN24
SGSN29
SGSN29
SGSN29
SGSN29
SGSN29
SGSN29
SGSN IP
10.73.28.25
10.73.28.26
10.73.28.27
10.73.28.28
10.73.28.29
10.73.28.30
10.73.30.1
10.73.30.2
10.73.30.3
10.73.30.4
10.73.30.5
10.73.30.6
10.73.30.25
10.73.30.26
10.73.30.27
10.73.30.28
10.73.30.29
10.73.30.30
10.73.30.49
10.73.30.50
10.73.30.51
10.73.30.52
10.73.30.53
10.73.30.54
10.73.22.100
10.73.22.101
10.73.22.102
10.73.22.97
10.73.22.98
10.73.22.99
总计
2014/5/4
14
12
19
19
19
17
9
8
8
9
20
16
13
15
14
13
11
11
9
13
12
10
15
15
17
13
13
9
11
15
399
2014/5/5
8
7
17
16
17
18
13
11
11
14
16
14
835
815
658
662
564
545
883
883
732
722
609
627
605
536
553
831
842
590
12654
从表中可以看出，突增的这些用户集中在SGSN23、SGSN24和SGSN29下，而且在这3个SGSN下的各个板卡上增幅大致相当，并未集中在个别板卡上，SGSN21和SGSN22未见明显增长。
统计这些用户的信息，发现这些用户绝大多数使用的都是4G卡。
终端类型
酷派8720L
三星SM-N9005
苹果IPHONE 5S(联通版)
小米MI 3(移动版)
未知
三星GT-N7105
苹果IPHONE 5S(联通版)
苹果IPHONE 5S(联通版)
苹果IPHONE 5S(港版A1530)
苹果IPHONE 5S(A1530公开版)
步步高Y1
苹果IPHONE 5S(联通版)
OPPOR8007
未知
苹果IPHONE 5S(联通版)
苹果IPHONE 5S(联通版)
苹果IPHONE 5S(联通版)
苹果iPhone 5S(A1518移动版)
中兴U202
终端是否支持4G 是否4G卡 是否开通4G业务
是 是 否
否 是 是
是 是 否
否 是 是
是 否
否 是 否
是 是 否
是 是 否
是 是 是
是 是 是
否 是 否
是 是 否
是 是 否
是 否
是 是 是
是 是 否
是 是 是
是 是 否
否 否 否
CC27代表未知或缺少APN的错误。是MS/UE在做PDP激活时的一种常见错误。
具体来说有如下几种情况：
1 、MS在做PDP激活的时候，会在上下文激活请求消息里携带请求的APN，告知网络侧自己想要访问的外部PDN代表什么.但MS/UE可能没有在激活消息里携带请求的APN或未签约的APN，造成网络侧也就是SGSN/GGSN不知道用户想要访问哪个外部网络，造成激活失败。
2 、MS做激活的时候，携带了请求的APN，但在SGSN做APN的DNS解析请求的时候，DNS SERVER上没有数据，不能返回正确的GGSN IP给SGSN，或者DNS SERVER根本就没有响应。造成激活失败。
所以通过分析用户的上网记录、各APN情况和用户分布情况，可以看出，用户之前使用cmnet正常，11点以后才出现此现象，且查看用户签约APN也正常，所以排除用户签约APN问题；统计cmnet情况，该APN并没有全部返回错误，只是小部分用户出现此类问题，而且也集中在个别SGSN上，所以排除DNS SERVER 上没有该APN相关GGSN的数据的问题。
所以初步判断为DNS服务器存在某些异常或SGSN23、24和29相连的GGSN存在某些异常，影响到部分经过该DNS服务器异常进程或GGSN异常进程的用户PDP激活失败。
三、问题解决
经过省公司排查，判断为DNS服务器上部分4G用户锚定的DNS进程吊死，造成经过该DNS进程的用户在进行PDP激活的时候无法解析正确的GGSN地址。在5月5日19：30左右进行相应的调整后，恢复正常。