NB-IoT网络质量测试评估规范
1 目标
本测试评估规范用于网络建设初期，评估和分析各省、市的NB-IoT网络性能和网络质量。
2 总体原则
1. 评估以室外场景为主（室内、地下CQT测试作为可选），场景选择应和客户实际业务发生一致。
2. 评估应充分考虑数据质量和采集效率，降低人为干预。
3. 测试评估体系根据目标，主要从“网络性能评估”维度考虑。其核心内容、指导方向、测试手段和主要指标如下：
ü 核心内容
由于NB-IoT网络不支持切换，主要通过室外道路遍历测试方式对网络性能进行评估（室内CQT测试作为可选手段）。网络性能指标排除了数据源、网间互联等因素，反映的是网络的极限能力，不代表客户的真实感知。
ü 指导方向
a) 反映网络覆盖、干扰等方面的问题，指导网络规划建设；
b) 指导网络层面的性能和质量优化。
ü 测试手段
a) 室外道路测试使用扫频仪；
b) （可选手段）室内CQT测试可选路测终端。
ü 主要指标
a) 覆盖、干扰、重叠覆盖度等网络指标；
b) 速率、时延、成功率等主要业务指标；
c) 基站、小区遍历性指标。
3 NB-IoT网络性能测试规范
3.1 室外道路测试规范
NB-IoT室外道路测试主要采用NB-IoT扫频仪进行网络性能测试，主要测试方法及要求如下：
1. 测试区域
按照网格划分（建设区域）区域进行测试。
2. 测试道路
城区范围：包含背街小巷在内的所有1-4级道路、国道省道；县城城区：县城城区范围内的主要道路；农村及旅游景点：乡镇、行政村、旅游景点及连接道路。
3. 测试路线
按照指定路线进行道路遍历性测试，合理规划路线尽量减少重复道路测试。
4. 测试轨迹记录
测试仪表需配备相应GPS设备进行测试轨迹记录。
5. 测试仪表
需满足中国移动相关测试仪表规范要求。
6. 测试速度
考虑NB-IOT移动性能力偏低，平均车速建议不超过30Km/h。
7. 渗透率、重复率
不考虑实际交通情况，渗透率需达到85%以上、重复率不得高于30%。
8. 测试条件：
全网不加扰。
9. 测试方法和步骤
采用测试业务1，遍历事先选择的道路行驶路线。
序号 | 测试内容 | 测试方法概要 |
1 | NB-IoT覆盖性能 | 扫频仪：对服务小区和邻区进行扫频 |
4 NB-IoT指标分析规范
4.1 道路测试指标分析
4.1.1NB-IoT网络性能评估指标
1. 覆盖类指标
序号 | 指标 | 定义 | 说明 | 单位 | 统计log来源 |
1 | 覆盖率 | 覆盖率=条件采样点/总采样点*100；NB-IoT条件采样点： RSRP >= -84dBm，SINR>=-3dB | 综合接收场强和信干比，描述全网的覆盖情况 | % | 3.1，包括扫频仪的测试结果 |
2 | 平均RSRP | 参考信号平均接收电平 | 从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度 | dBm | 3.1，包括扫频仪的测试结果 |
3 | 边缘RSRP | 取RSRP中CDF等于5%的值 | 如果边缘RSRP太低，不能达到网络最低覆盖要求。如果边缘RSRP过高，小区间干扰也会严重。故NB-IoT更加重视利用边缘覆盖电平，来评估小区边缘的覆盖 | dBm | 3.1，包括扫频仪的测试结果 |
4 | RSRP分段占比 | RSRP分段采样点/NB-IoT测试总采样点 | 通过对RSRP采样点分段统计情况，客观反映整体覆盖质量。其中分段为RSRP<-110、-110≤RSRP<-94、-94≤RSRP<-84、-84≤RSRP<-74、-74≤RSRP<-60、RSRP≥-60 | % | 3.1，包括扫频仪的测试结果 |
5 | RSRP连续弱覆盖比例 | NB-IoT连续弱覆盖里程/NB-IoT测试里程*100% | 评估路测中参考信号RSRP接收功率情况，反映服务小区覆盖的主要指标。其中：弱覆盖里程的定义为持续10秒70%的采样点路段满足RSRP< - 84 dBm。 | % | 3.1，包括扫频仪的测试结果 |
6 | RSRP连续无覆盖比例 | NB-IoT连续无覆盖里程/NB-IoT测试里程*100% | 评估路测中参考信号RSRP接收功率情况，反映服务小区无覆盖的情况。连续无覆盖里程的定义为持续10秒70%的采样点路段满足RSRP< - 94 dBm | % | 3.1，包括扫频仪的测试结果 |
注1：覆盖率RSRP门限为NB-IoT的验收指标
2. 干扰类指标
序号 | 指标 | 定义 | 说明 | 单位 | 统计log来源 |
1 | 平均RS-SINR | 参考信号平均接收信号与干扰噪声比 | 从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度 | dB | 3.1，包括扫频仪的测试结果 |
2 | 边缘RS-SINR | 参考信号平均接收信号与干扰噪声比取CDF （累计概率分布）5%对应的值 | 从参考信号平均接收信号与干扰噪声比角度，评估全网各小区边缘的干扰强度 | dB | 3.1，包括扫频仪的测试结果 |
3 | SINR分段占比 | SINR分段采样点/NB-IoT测试总采样点 | 通过对SINR采样点分段统计情况，客观反映整体覆盖质量。其中分段为SINR<-10、-10≤SINR<-5、-5≤SINR<0、0≤SINR<5、5≤SINR<10、10≤SINR<15、15≤SINR<20、SINR≥20 | % | 3.1，包括扫频仪的测试结果 |
4 | 连续SINR质差里程占比 | 连续SINR质差里程/NB-IoT测试里程*100% | 评估RS-SINR质差里程；其中：SINR质差里程定义为持续10秒且70%的采样点CRS-SINR< -3dB的连续路段 | % | 3.1，包括扫频仪的测试结果 |
5 | 重叠覆盖率 | 道路重叠覆盖率 = 重叠覆盖度>=4的采样点 / 总采样点 * 100%；重叠覆盖度指与最强信号电平差距在6dB范围内的电平数量，且最强信号RSRP＞-84 | 重叠覆盖度>=4，即认为存在较严重的重叠覆盖情况；从参考信号平均接收信号电平角度，评估服务小区覆盖范围内强信号邻区叠加的程度 | % | 3.1，包括扫频仪的测试结果 |
6 | 重叠覆盖里程占比 | 道路重叠覆里程占比 = 连续重叠覆盖度>=4的里程 / 总测试里程 * 100% | 评估全网内重叠覆盖里程占比，一定程度上反映网络建设合理性 | % | 3.1，包括扫频仪的测试结果 |
7 | Mod3冲突比例 | Mod3冲突采样点比例=Mod3冲突采样点小区数量/采样点测量到的邻区数量总数*100% ，最强信号RSRP门限=-84 | PCI = 3* Group ID ( S-SS)+ Sector ID (P-SS)，如果PCI mod 3值相同的话，就会造成P-SS的干扰；实际网络必然中存在两邻区PCI模3无法错开的情况。模3会造成CRS信号相互干扰，使SINR降低；重叠覆盖和模3干扰同时存在，以重叠覆盖影响为主 | % | 3.1，包括扫频仪的测试结果 |
4.1.2NB-IoT遍历小区及基站的统计
序号 | 指标 | 定义 | 说明 |
1 | 遍历小区总数 | 遍历的小区数量 | 根据Dtlog统计遍历小区情况 |
2 | 小区遍历率（%） | 遍历小区总数/现网建设小区总数*100% | |
3 | 遍历基站总数 | 遍历的基站数量 | 根据Dtlog统计遍历小区情况 |
4 | 基站遍历率（%） | 遍历基站总数/现网建设基站总数*100% | |
5 | 室外道路的遍历率 | 遍历的非重复里程/规划路线里程*100% | |
6 | 遍历重复里程 | 遍历的重复里程数 | |
7 | 遍历非重复里程 | 遍历的非重复里程数 | |
8 | 重复里程占比 | 遍历的重复里程/测试总里程*100% | |
9 | 测试总里程 | 遍历的总里程 |
5 可选测试内容
5.1 定点测试规范
NB-IoT定点测试主要采用路测终端或同类设备进行网络性能测试，主要测试方法及要求如下：
1. 测试场景
根据城市的规模，测试楼宇的数量可不同。楼宇数量至少需满足：
（1）一线城市及省会城市：40个楼宇
（2）二线城市： 30个楼宇
（3）其他城市：20个楼宇
所选取的测试楼宇均匀分布于城市的不同网格中，测试楼宇类型包括但不仅限于党政军机关、办公楼、宾馆酒店、餐饮娱乐、交通枢纽、居民小区、商场（大型超市）、学校。
场景类型 | 占比 | 楼层选择 | 占比 |
党政军机关 | 5% | 地下一层 | 至少40% |
办公楼 | 15% | ||
宾馆酒店 | 15% | ||
餐饮娱乐 | 20% | ||
交通枢纽 | 5% | ||
居民小区 | 20% | ||
商场（大型超市） | 10% | ||
学校 | 10% |
2. 测试选点
从物联网典型应用场景选择测试点，且一个城市所选取的定点场景需遍历到此城市包含的所有业务类型。场景包括但不仅限于：
a) 物联网典型应用场景：弱电井、车库、地下室、水电气表间、管道井等
b) 公众用户所及区域：走廊、过道、办公区、会议室、楼梯、电梯厅等
· 室内选点要求：
n 每个楼宇选择地下一层、低层、中高层各一层，每层选择1个测试点
n 如果该楼宇无地下场景，则仅测试低层、中高层；如果地下一层无法进行业务测试，则空闲态记录电平和SINR信息，并做统计
3. GPS定位：测试人员进入楼宇前需首先进入GPS定位、上报测试点。
4. 测试仪表及数据处理：必须使用集团集采或业内成熟的测试仪器仪表，数据处理采用集团自动路测平台进行统一汇总统计。
5. 测试步骤
a) 步骤1：在选定的测试定点上，ATU设备进行测试业务1
b) 步骤2：更换为测试业务2，重复步骤1
c) 步骤3：更换为测试业务3，重复步骤1
d) 步骤4：更换为测试业务4，重复步骤1
序号 | 测试业务 | 测试内容概要 |
1 | Ping小包业务 | ping包大小：20 byte 定点测试，AT指令方式，从空闲态发起Ping包业务，不断链连续测试20次 |
2 | 接入类Attach业务 | 测试终端进行附着去附着操作，每个点测试10次： （1） 发起Attach Request到Attach Complete （2） 保持3s后，终端发出Detach Request （3） 超时时长为60s，每次测试间隔为10s |
3 | UDP大数据量上传业务 | 文件大小：200K Byte； 定点测试，连续发包，定点持续发送3分钟以上的业务；每个点测试1次 |
4 | UDP大数据量下载业务 | 文件大小：200K Byte； 定点测试，连续发包，定点持续发送3分钟以上的业务；每个点测试1次 |
5.2 定点测试指标分析
5.2.1NB-IoT网络性能评估指标
1. 覆盖类指标
序号 | 指标 | 定义 | 说明 | 单位 | 统计log来源 |
1 | 覆盖率 | 覆盖率=条件采样点/总采样点*100；NB-IoT条件采样点： RSRP >=-125dBm，SINR>=-3dB | 综合接收场强和信干比，描述全网的覆盖情况 | % | 3.2，路测终端或同类设备的测试结果 |
2 | 平均RSRP | 参考信号平均接收电平 | 从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度 | dBm | 3.2，路测终端或同类设备的测试结果 |
3 | 边缘RSRP | 取RSRP中CDF等于5%的值 | 如果边缘RSRP太低，不能达到网络最低覆盖要求。如果边缘RSRP过高，小区间干扰也会严重。故NB-IoT更加重视利用边缘覆盖电平，来评估小区边缘的覆盖 | dBm | 3.2，路测终端或同类设备的测试结果 |
2. 干扰类指标
序号 | 指标 | 定义 | 说明 | 单位 | 统计log来源 |
1 | 平均RS-SINR | 参考信号平均接收信号与干扰噪声比 | 从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度 | dB | 3.2，路测终端或同类设备的测试结果 |
2 | 边缘RS-SINR | 参考信号平均接收信号与干扰噪声比取CDF （累计概率分布）5%对应的值 | 从参考信号平均接收信号与干扰噪声比角度，评估全网各小区边缘的干扰强度 | dB | 3.2，路测终端或同类设备的测试结果 |
3. 调度类指标
指标来源：根据一个城市所有的定点测试结果统计下述指标。
序号 | 指标 | 定义 | 说明 | 单位 | 统计log的来源 |
1 | 上行物理层速率（含掉线） | 物理层总上传量（含掉线）/上传总时长（含掉线），每个点分别计算再求平均。 | 评估NB-IoT网络上行传输性能的重要指标 | Kbps
| 3.2，路测终端或同类设备的测试结果 |
2 | 上行物理层速率（不含掉线） | 物理层总上传量（不含掉线）/上传总时长（不含掉线），每个点分别计算再求平均。 | 评估NB-IoT网络上行传输性能的重要指标 | Kbps
| 3.2，路测终端或同类设备的测试结果 |
3 | 下行物理层速率（含掉线） | 物理层总下载量（含掉线）/下载总时长（含掉线），每个点分别计算再求平均。 | 评估NB-IoT网络下行传输性能的重要指标 | Kbps
| 3.2，路测终端或同类设备的测试结果 |
4 | 下行物理层速率（不含掉线） | 物理层总下载量（不含掉线）/下载总时长（不含掉线），每个点分别计算再求平均。 | 评估NB-IoT网络下行传输性能的重要指标 | Kbps
| 3.2，路测终端或同类设备的测试结果 |
5 | MAC层上行平均BLER | MAC层上行 BLER=上行总错误TB数/上行传输总TB数*100% ，每个点分别计算再求平均。 | 评估数据传输的误码程度，反映系统保证传输数据的准确性和稳定性，间接反映空口的质量
| % | 3.2，路测终端或同类设备的测试结果 |
6 | MAC层下行平均BLER | MAC层下行BLER=下行总错误TB数/下行传输总TB数*100% ，每个点分别计算再求平均。 | 评估数据传输的误码程度，反映系统保证传输数据的准确性和稳定性，间接反映空口的质量 | % | 3.2，路测终端或同类设备的测试结果 |
7 | 下行NPDSCH平均重复次数 | 每次调度下行NPDSCH重复次数总和/调度次数，每个点分别计算再求平均。 | 评估下行业务信道的重复次数，反映空口的质量 | 次 | 3.2，路测终端或同类设备的测试结果 |
8 | 上行NPUSCH Format 1平均重复次数 | 每次调度上行NPUSCH重复次数总和/调度次数，每个点分别计算再求平均。 | 评估上行业务信道的重复次数，反映空口的质量 | 次 | 3.2，路测终端或同类设备的测试结果 |
9 | 上行MCS统计 | 上行MCS平均值=上行码字MCS值总和/上行码字MCS上报次数，最高频率MCS占比=max(每种MCS上报个数/MCS上报个数总和)，每个点分别计算再求平均。 | 评估采用的平均调制编码方式统计，可以间接反映了当前数据传输速率的大小 | 3.2，路测终端或同类设备的测试结果 | |
10 | 下行MCS统计 | 下行MCS平均值=下行码字MCS值总和/下行码字MCS上报次数，最高频率MCS占比=max(每种MCS上报个数/MCS上报个数总和)，每个点分别计算再求平均。 | 评估采用的平均调制编码方式统计，可以间接反映了当前数据传输速率的大小 | 3.2，路测终端或同类设备的测试结果 | |
11 | 上行NPUSCH Format 1平均调度的子载波个数 | 每次调度上行NPUSCH子载波数总和/调度次数，每个点分别计算再求平均。 | 评估上行信道的调度情况 | 个 | 3.2，路测终端或同类设备的测试结果 |
12 | 上行NPUSCH Format 1 3.75KHz ST的比例 | 上行3.75KHz ST子载波的调度次数/总调度次数，每个点分别计算再求平均。 | 评估上行信道的调度情况 | 个 | 3.2，路测终端或同类设备的测试结果 |
13 | 上行NPUSCH Format 1 15KHz ST的比例 | 上行15KHz ST子载波的调度次数/总调度次数，每个点分别计算再求平均。 | 评估上行信道的调度情况 | 个 | 3.2，路测终端或同类设备的测试结果 |
14 | 上行NPUSCH Format 1 15KHz MT的比例 | 上行15KHz MT子载波的调度次数/总调度次数，每个点分别计算再求平均。 | 评估上行信道的调度情况 | 个 | 3.2，路测终端或同类设备的测试结果 |
15 | Ping包成功率 | Ping包成功的总次数/ping包总次数，每个点分别计算再求平均。 | 评估室外遍历测试情况下的业务性能 | % | 3.2的步骤1，路测终端或同类设备的测试结果 |
16 | Ping包时延 | Ping包总时延/ping包总次数，每个点分别计算再求平均。 | 评估室外遍历测试情况下的业务性能 | 秒 | 3.2的步骤1，路测终端或同类设备的测试结果 |
4. 接入类指标
序号 | 指标 | 定义 | 说明 | 单位 | 统计log的来源 |
1 | RRC连接建立成功率 | RRC连接建立成功率=RRC连接建立成功次数/RRC连接建立尝试次数*100% | 评估系统接入性能的重要指标；其中：以终端发起RRCConnectionRequest作为一次 RRC连接建立尝试，到终端发送RRCConnectionSetupComplete作为一次 RRC连接建立成功 | % | 3.2的步骤2，路测终端或同类设备的测试结果 |
2 | RRC连接建立平均时延 | RRC连接建立平均时延=RRC连接建立时延总和/RRC连接建立成功次数 | 评估NB-IoT系统接入性能的重要指标；其中：以终端发起RRCConnectionRequest作为一次 RRC连接建立尝试，到终端发送RRCConnectionSetupComplete作为一次 RRC连接建立成功 | 秒 | 3.2的步骤2，路测终端或同类设备的测试结果 |
3 | ATTACH成功率 | ATTACH成功率=ATTACH 成功次数/ATTACH尝试次数*100% | 评估NB-IoT系统接入性能的重要指标；其中：以终端发起ATTACH REQUEST 作为一次 ATTACH 尝试，到终端发送ATTACH COMPLETE作为一次 ATTACH 成功 | % | 3.2的步骤2，路测终端或同类设备的测试结果 |
4 | ATTACH平均时延 | ATTACH平均时延=ATTACH时延总和/ATTACH成功次数 | 评估NB-IoT系统接入性能的重要指标；其中：以终端发起ATTACH REQUEST 作为一次 ATTACH 尝试，到终端发送ATTACH COMPLETE作为一次 ATTACH 成功 | 秒 | 3.2的步骤2，路测终端或同类设备的测试结果 |
5 | DETACH成功率 | DETACH成功率=DETACH 成功次数/DETACH尝试次数*100% | 评估NB-IoT系统接入性能的重要指标；其中：终端触发关机作为1次尝试，到终端发出DETACH REQUEST作为一次 DETACH 成功 | % | 3.2的步骤2，路测终端或同类设备的测试结果 |
6 | DETACH平均时延 | DETACH平均时延=DETACH时延总和/DETACH成功次数 | 评估NB-IoT系统接入性能的重要指标；其中：终端触发关机作为1次尝试，到终端发出DETACH REQUEST作为一次 DETACH 成功 | 秒 | 3.2的步骤2，路测终端或同类设备的测试结果 |
7 | SERVICEREQUEST成功率 | SERVICE REQUEST成功率=SERVICE 建立成功次数/SERVICE 建立尝试次数*100% | 评估NB-IoT系统业务建立性能的重要指标；其中：SERVICE 建立成功以UE上发Service Request后，到收到Service Accept作为一次服务请求成功 | % | 3.2，路测终端或同类设备的测试结果 |
8 | SERVICEREQUEST平均时延 | SERVICE平均时延=SERVICE 建立时延总和/ SERVICE 建立成功次数 | 评估NB-IoT系统接入性能的重要指标；其中：以UE上发Service request作为服务建立请求,到收到Service Accept作为一次服务请求成功，两者时间差为业务请求建立时延 | 秒 | 3.2，路测终端或同类设备的测试结果 |
5.2.2NB-IoT定点测试楼宇的统计
序号 | 指标 | 定义 | 说明 |
1 | 测试楼宇数 | 所测试的楼宇总数 | |
2 | 定点测试数 | 所测试的定点总数 |