Analysis on training result caused by different anchor ratios

Comparison

我们将anchor_ratio分别设为(0.5 1. 2.)(原有)、(1. 2. 4.)、(1. 3. 6.)。其在验证集上的表现如下。

mAP

(0.5 1. 2.) & (1. 3. 6.)

(0.5 1. 2.) & (1. 2. 4.)

ARm

ARl

Conclusion

mAP

可以看到原始Anchor = (0.5 1. 2.)的训练效果最好，(1. 2. 4.)和(1. 3. 6.)的效果分别次之。该公司章程数据集当中绝大多数框的宽高比都大于1，通过图示可以发现，纵使在训练的初期阶段更大的Anchor有着接近甚至超越原始Anchor的测试表现。但随着训练过程深入，网络逐渐收敛，彼此之间的差距甚至达到了10%。
因此，我们可以推断，无论自身数据集有怎样的特点。设置一个全面的Anchor对于提高准确率是最好的选择。

AR

对于章和节，其尺寸多在ARm定义的范围之内。而对于条，其尺寸多在ARl定义的范围之内。
可以看到在训练初期，有着一定优势的高宽高比Anchor的召回率较高。但随着训练深入，原始Anchor的召回率领先在前。
因此，我们可以推断，无论自身数据集有怎样的特点。设置一个全面的Anchor对于提高召回率是最好的选择。

附录

Anchor_ratio = (0.5 1. 2.)

Evaluation results for bbox

Average Precision

Batch	AP	AP50	AP75	APs	APm	APl
500	0.8	3.8	0.1	nan	0.0	0.8
1000	3.7	12.8	1.2	nan	0.5	4.3
1500	8.3	25.0	3.0	nan	3.7	11.1
2000	12.7	36.8	4.8	nan	5.8	15.1
2500	17.0	43.5	8.2	nan	14.3	17.7
3000	21.6	50.7	13.4	nan	16.7	23.4
3500	19.7	45.7	13.7	nan	15.6	20.9
4000	26.2	57.6	21.2	nan	22.5	26.5
4500	26.3	55.1	23.0	nan	23.7	27.2
5000	29.3	60.6	24.8	nan	29.1	29.3
5500	34.7	65.5	35.6	nan	35.9	33.2
6000	35.0	69.5	31.6	nan	25.8	35.5
6500	34.6	66.2	32.7	nan	27.6	34.0
7000	40.6	73.6	41.9	nan	35.0	39.9
7500	42.3	76.1	45.1	nan	37.9	41.9
8000	42.6	75.5	48.8	nan	36.1	42.6
8500	45.9	79.9	50.4	nan	41.2	45.1
9000	47.9	82.3	53.0	nan	42.1	47.3
9500	49.9	84.3	57.0	nan	41.4	49.1
10000	49.5	84.0	56.0	nan	41.7	48.5
10500	50.8	85.0	57.1	nan	45.9	49.7
11000	51.1	86.3	55.0	nan	42.7	50.3
11500	51.3	85.3	60.9	nan	42.5	50.4
12000	53.3	87.0	62.9	nan	46.7	52.5
12500	53.7	87.4	65.1	nan	46.0	52.7
13000	55.7	86.7	68.2	nan	47.0	55.0
13500	54.6	85.2	66.8	nan	46.2	54.2
14000	40.4	81.0	31.9	nan	38.0	39.6

Average Recall

Batch	AR1	AR10	AR100	ARs	ARm	ARl
500	0.5	3.3	5.3	nan	0.0	5.3
1000	5.0	15.9	17.9	nan	2.0	20.1
1500	13.1	22.7	25.0	nan	11.3	27.0
2000	16.3	27.5	29.8	nan	17.7	30.5
2500	20.1	33.3	35.7	nan	28.0	35.1
3000	24.6	39.2	41.2	nan	35.1	40.7
3500	22.3	36.8	39.1	nan	28.1	39.1
4000	27.3	42.1	44.0	nan	41.9	42.9
4500	25.6	40.5	42.5	nan	36.6	42.5
5000	28.8	45.1	46.4	nan	42.0	46.4
5500	31.1	47.2	48.7	nan	44.6	47.2
6000	31.6	48.6	49.9	nan	37.4	49.9
6500	30.6	49.8	51.3	nan	47.3	50.0
7000	34.1	52.9	54.2	nan	49.8	53.6
7500	34.2	54.1	55.0	nan	58.0	54.6
8000	33.8	53.0	53.6	nan	50.2	53.5
8500	35.6	56.4	57.2	nan	57.1	56.9
9000	36.3	57.8	58.4	nan	61.6	57.3
9500	37.7	60.9	61.6	nan	58.3	61.1
10000	37.0	59.7	60.5	nan	56.6	60.1
10500	37.8	61.3	61.9	nan	61.8	60.8
11000	38.4	61.7	62.4	nan	60.9	61.4
11500	38.5	61.8	62.7	nan	60.8	61.4
12000	39.2	62.7	63.2	nan	62.0	62.5
12500	39.1	63.4	64.0	nan	64.3	63.4
13000	40.4	65.0	65.4	nan	63.8	64.6
13500	39.3	63.1	63.6	nan	59.1	63.8
14000	33.7	49.4	49.5	nan	44.0	49.7

Anchor_ratio = (1. 3. 6.)

Evaluation results for bbox

Average Precision

Batch	AP	AP50	AP75	APs	APm	APl
500	0.5	2.5	0.0	nan	0.0	0.5
1000	0.7	3.2	0.0	nan	0.1	0.8
1500	7.5	20.9	3.4	nan	1.8	8.9
2000	9.9	25.7	4.7	nan	3.8	12.2
2500	16.0	38.5	10.3	nan	10.1	17.5
3000	19.5	43.8	14.5	nan	18.0	20.6
3500	19.3	44.7	13.5	nan	20.4	19.2
4000	22.7	49.2	17.7	nan	20.3	23.3
4500	21.3	47.6	14.1	nan	24.7	20.5
5000	27.4	55.3	23.5	nan	26.6	27.4
5500	27.5	55.1	25.2	nan	29.5	26.6
6000	28.8	59.1	24.9	nan	26.7	28.7
6500	26.6	54.2	23.7	nan	22.3	26.7
7000	30.0	61.0	25.8	nan	31.2	29.1
7500	31.5	62.5	28.8	nan	25.9	31.8
8000	30.9	60.3	29.8	nan	27.8	30.8
8500	33.5	64.5	32.9	nan	35.0	32.1
9000	34.6	65.7	33.2	nan	29.6	34.8
9500	36.2	68.0	38.4	nan	35.7	35.3
10000	35.8	68.4	36.4	nan	38.6	34.9
10500	40.1	71.6	43.8	nan	39.9	39.3
11000	39.2	74.7	39.6	nan	40.3	38.4
11500	41.3	72.4	44.7	nan	41.6	39.6

Average Recall

Batch	AR1	AR10	AR100	ARs	ARm	ARl
500	0.4	2.3	3.5	nan	0.0	3.5
1000	0.9	4.8	6.2	nan	1.6	6.4
1500	11.8	20.6	23.0	nan	8.0	24.9
2000	12.3	29.0	31.2	nan	20.7	31.1
2500	20.8	34.6	36.5	nan	32.7	35.2
3000	24.4	38.8	40.6	nan	34.9	40.0
3500	22.6	36.1	38.4	nan	32.1	37.2
4000	27.7	42.3	44.3	nan	37.7	43.4
4500	22.0	34.4	36.1	nan	28.5	35.7
5000	29.8	45.3	47.5	nan	42.5	46.6
5500	29.8	44.6	46.9	nan	39.0	46.2
6000	30.5	45.2	47.1	nan	38.4	47.1
6500	27.6	42.5	45.0	nan	41.8	44.3
7000	31.1	46.4	48.4	nan	44.2	47.3
7500	31.2	47.6	49.9	nan	45.9	48.8
8000	30.4	46.6	49.0	nan	42.4	47.9
8500	32.3	48.8	50.4	nan	47.8	49.2
9000	32.9	50.9	52.7	nan	50.7	52.6
9500	33.2	51.2	52.8	nan	46.9	51.8
10000	31.7	50.7	52.3	nan	57.3	51.6
10500	35.2	53.9	55.3	nan	60.8	54.6
11000	34.4	54.0	55.3	nan	59.8	53.9
11500	34.8	54.3	55.2	nan	54.2	54.6

Anchor_ratio = (1. 2. 4.)

Evaluation results for bbox

Average Precision

Batch	AP	AP50	AP75	APs	APm	APl
500	0.3	1.5	0.1	nan	0.2	0.4
1000	1.6	6.0	0.6	nan	0.2	1.8
1500	8.4	24.6	3.8	nan	2.1	10.5
2000	12.1	30.0	7.4	nan	5.9	14.1
2500	19.0	42.2	13.9	nan	11.8	21.3
3000	21.4	47.9	14.8	nan	16.9	22.0
3500	22.1	47.2	16.7	nan	18.8	22.2
4000	27.2	53.6	26.0	nan	23.7	27.2
4500	27.6	56.6	23.1	nan	25.4	27.8
5000	29.4	54.8	29.3	nan	25.5	29.8
5500	30.1	59.3	25.8	nan	29.5	29.6
6000	33.0	61.7	33.0	nan	28.6	33.3
6500	31.2	57.7	33.9	nan	30.5	30.9
7000	35.4	64.7	36.4	nan	35.1	34.8
7500	36.2	66.7	38.0	nan	34.0	36.0
8000	37.9	66.5	41.7	nan	35.8	37.5
8500	37.5	66.8	42.0	nan	37.5	36.9
9000	39.9	70.4	43.5	nan	38.0	39.5
9500	42.2	72.8	49.5	nan	39.3	41.7
10000	40.7	71.6	45.7	nan	41.7	40.4

Average Recall

Batch	AR1	AR10	AR100	ARs	ARm	ARl
500	0.5	2.8	3.1	nan	0.2	3.4
1000	2.3	8.7	10.2	nan	1.9	10.9
1500	14.0	24.7	27.3	nan	13.1	28.8
2000	16.9	27.9	30.0	nan	16.8	31.2
2500	24.2	39.0	41.6	nan	32.7	41.6
3000	27.0	40.4	42.4	nan	31.7	42.7
3500	24.3	38.4	40.6	nan	27.8	40.8
4000	30.0	45.4	47.6	nan	38.2	47.0
4500	28.2	41.9	44.4	nan	30.7	45.2
5000	31.5	46.7	49.0	nan	47.7	48.8
5500	30.4	46.0	48.3	nan	39.1	48.1
6000	32.9	48.1	50.5	nan	38.8	50.5
6500	32.0	47.3	49.9	nan	41.4	49.7
7000	34.5	50.6	53.0	nan	46.4	52.9
7500	34.6	51.3	53.6	nan	53.9	52.8
8000	34.8	51.6	53.7	nan	45.2	53.3
8500	35.2	52.2	53.7	nan	48.1	53.6
9000	37.0	54.4	55.9	nan	58.8	55.0
9500	37.6	56.4	58.0	nan	57.6	57.6
10000	35.2	54.1	55.4	nan	61.1	54.9