机器学习系列5：距离空间（1）

一、何谓空间

        所谓空间，就是对一个集合上定义某种规则，该规则可以普及到集合内每一个元素。

        比如：所谓大气空间，就是指“在地球上的空气分子，在自然状态可以到达的任意空间”。根据这个定义，凡是在井底的空间是大气空间，而篮球内的空间不属于大气空间，因为自然力无法进入。

        距离空间：就是在一个集合上，定义两个点的距离函数，该函数可以看成规则，对集合中任意一个点成立。

二、距离空间理解和定义

2.1 距离空间定义之几何理解

       在数学中，度量空间（英语：Metric space）是一个集合及其度量，该度量是一个函数--距离函数。所谓“距离函数” 是指：集合中任两个成员（通常我们称为“点”）间的距离这一概念。距离的形式可能多样，但是所有这些函数，必须符合下面特性：

• 每个点和自己的距离为0，
• 任两点间的距离为正数，
• 从A到B的距离，等同于从B到A的距离，
• 从A到B的距离小于等于从A先经过C再到B的距离。

比如下图：

在集合S中，任意一个点，比如A点，A到A的距离为0；写成

在集合S中，任意两个点，比如A点B点（不重合），其距离大于0；写成

在集合S中，任意三个点，比如A点B点C点（不重合），其距离有：B到A的距离，一定小于B到C的距离加上C到A的距离，写成：

        度量空间中最符合人们对于现实直观理解的为三维欧几里得空间。事实上，“度量”的概念即是欧几里得距离四个周知的性质之推广。欧几里得度量定义了两点间之距离为连接这两点的直线段之长度。此外，亦存在其他的度量空间，如椭圆几何与双曲几何，而在球体上以角度量测之距离亦为一度量。狭义相对论使用双曲几何的双曲面模型，作为速度之度量空间。

2.2 距离空间定义之代数理解

        注意，代数理解和几何理解有啥区别？答：对于几何理解，最高维度是三维；而代数理解，可以扩展到N维，甚至是无穷维度。

度量空间为一有序对 (M,d)，其中 M 为集合而 d 为在 M 上之度量(metric)，即为函数

使对于任何在 M 内之 x、y、z，下列条件均成立：

1.  (非负性)
2.   (不可区分者的同一性)
3.    (对称性)
4.    (三角不等式)。

 度量空间还能导出开集与闭集之类的拓扑性质，这导致了对更抽象的拓扑空间之研究。

注意：距离的代数理解更加抽象，以至于可能有些距离空间无法图像画出。

三、比较简单的距离空间

下面问题需要一些证明，而证明需要一些基本定理，这里先介绍这些原理：

原理1 ：如果a>b,而且a>-b, 那么a>|b|.

原理2： 如果a>|b|, 那么有a>b成立，a>-b也成立。

       我们在建立数学模型中，如果发现某些属性是一个距离空间，那么，整个集合都满足这种关系，可以极大简化数据复杂性。 下面，我们将示范出行行色色的距离空间：

3.1 一维数轴

 将一维数轴看成一个点集合，那么数轴上任意两点的距离：

, 即A和B两点距离是其坐标值差的绝对值，我们验证它是否距离空间：

• 非负性：，  成立
• 同一性：，两点重合距离为零
• 对称性：
• 三角不等式：须证明(如下图)：

证明：

因为： 

 

---这是通过以上3式和6式相加而成。

---这是通过以上4式和5式相加而成。

因此：

（这步原理是，若 ）                  证毕。

3.2 曼哈顿距离

我们在学习计算机原理，常常遇到“曼哈顿距离”，下面证明，“曼哈顿距离”符合距离空间的定义。

 以上图说明曼哈顿距离：二维平面上，A坐标是（6，1），B点坐标（1，5），那么A到B距离函数为：

d(A,B)=5+4 =9 ;更加规范的表达是：

现在验证是否距离空间：

• 非负性：，  成立
• 同一性：

                  ，两点重合距离为

• 对称性：
• 三角不等式：须证明验证如下：

因此，只要证明目标不等式，就可以了：

 

 这里只验证X轴部分，同理推广到Y轴部分：

（通过以上1、4合并得到）

（通过以上2、3合并得到）

因此，

同样有: 

因而以上（1）式成立，即曼哈顿距离符合距离空间。（证毕）

参考文章

https://zh.wikipedia.org/zh-cn/%E5%BA%A6%E9%87%8F%E7%A9%BA%E9%97%B4