小言_互联网的博客

高斯定理在神经网络上的投影

334人阅读  评论(0)

电场强度对任意封闭曲面的通量只取决于该封闭曲面内电荷的代数和,与曲面内电荷的位置分布情况无关,与封闭曲面外的电荷亦无关。

---高斯定理

神经网络的分类过程就是用一套权重让形态A变换成形态B,再让形态B变换成形态A。也就是让组成A的粒子移动到(0,1)位,让组成B的粒子移动到(1,0)位。用电池做类比,A的粒子是由正极到负极,而B的粒子是由负极到正极,。所以A和B粒子的运动事实上形成了一个闭合的回路。而权重就是粒子运动的空间本身,按照高斯定律权重空间一定有一个仅仅和移位粒子数量有关的物理表象。

所以用此思路可以很自然的得到移位距离和假设

用神经网络分类A和B,把参与分类的A和B中的数字看作是组成A和B的粒子,分类的过程就是让A和B中的粒子互相交换位置,寻找最短移位路径的过程。而熵H与最短移位距离和成正比,迭代次数n和熵H成反比。

对二值化图片移位规则汇总

每个粒子移位一次,位置重合不移位,0不动,单次移位距离恒为1.

所以迭代次数可以理解为权重空间的通量,这个量仅与移位粒子数量有关。用实验去验证这个假设

用神经网络分类A和B让A有8个1,B有5个1,统计相同收敛误差下的迭代次数

851

852

853

854

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

5.00E-04

25288.76

25687.64

25628.29

22738.92

4.00E-04

31347.55

30984.3

31484.12

27653.1

3.00E-04

40549.93

40845.78

40562.37

36072.61

2.00E-04

59255.58

59526.14

59150.38

53116.99

1.00E-04

114094.8

111861.3

112058

100986.2

s

3

3

3

5

851,852,853不重合的需要移位的粒子都只有3个,因此他们的迭代次数相同。而854不重合粒子有5个,按照移位粒子数量和迭代次数之间的反比关系,854的迭代次数要小些。

做第二组

同样统计迭代次数

851

852

853

854

855

856

857

858

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

5.00E-04

25288.76

25687.64

25628.29

22738.92

25451.39

22453.8

22649.25

22418.6

4.00E-04

31347.55

30984.3

31484.12

27653.1

31410.07

27650.26

27925.52

27807.69

3.00E-04

40549.93

40845.78

40562.37

36072.61

40813.36

36050.68

36206.22

36315.7

2.00E-04

59255.58

59526.14

59150.38

53116.99

59125.05

52699.7

52560.17

52650.34

1.00E-04

114094.8

111861.3

112058

100986.2

112628.3

101393.2

101142.5

101611.5

s

3

3

3

5

3

5

5

5

855的移位粒子数是3因此和851,852,853的迭代次数相同。而856,857,858的移位粒子数是5因此和854的迭代次数相同,数据符合假设。

再与前面实验数据横向比较

981

871

971

881

861

122

961

875

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

5.00E-04

34219.01

34553.02

28229.22

27843.89

28270.21

25862.05

25523.99

25117.39

4.00E-04

41899.68

41568.85

34548.15

34511.79

34803.25

31524.1

30958.15

31102.23

3.00E-04

53474.56

54287.27

44497.27

44407.41

45065.05

41011.36

40262.78

40239.05

2.00E-04

77797.83

78173.77

64693.36

64832.42

64707.93

59270.11

59096.97

58618.7

1.00E-04

148175

146473.4

123601.3

122874.1

123288

112397.9

113446.1

111994.6

s

1

1

2

2

2

3

3

3

851

951

866

941

854

931

921

911

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

5.00E-04

25288.76

23904.73

23868.01

22959.57

22738.92

22166.65

22094.36

23575.86

4.00E-04

31347.55

28978.03

28820.87

27774.2

27653.1

27290.48

27253.6

28991.81

3.00E-04

40549.93

38252.24

37659.14

35993.35

36072.61

35639.73

35340.25

37399.98

2.00E-04

59255.58

55426.48

54661.18

52950.71

53116.99

51890.25

52155.43

54335.16

1.00E-04

114094.8

106880.8

106599.8

101146.2

100986.2

100158

98502.28

102787.2

s

3

4

4

5

5

6

7

8

数据符合假设。


转载:https://blog.csdn.net/georgesale/article/details/125745208
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场