简言之，所有的计算都转换成数字，首先转换成分词、词的集合、ID，只要一致就可以了，这种模式很粗糙。
单词向量余弦
单词向量馀弦算法将文本作为多维空间的向量，计算两个文本的相识，即计算两个向量在该多维空间中是否朝向相同的方向来判断。 这个多维空间的构成是对文本进行分词，各个分词表示空间的一个维度。
以多维空间构成的词向量问题为例进行说明。 例如，计算以下两个短文本的相识程度。
课文一：天气预报说明天会下雨，所以明天早上上班记得带伞。
课文二：明天早上去工作的时候，记得带伞。 天气预报说可能会下雨。
首先，使用某种分词方法对文本进行分词，如下。
这里不考虑标点符号，当然也可以涵盖
一分词： [天气预报说明天会下雨。 明天早上去工作的时候请带伞]
课文二分词： [明天早上去工作的时候，请记住，带伞天气预报说的可能会下雨]
多维空间的词集合如下。
[天气你带的带子可能会下雨。 到了早上，预报说明天会下雨去伞]
这是在单词的集合中得到每个文本所构建的多维空间的单词向量。
文本1中的单词向量： [ 1，1，1，0，0，1，1，0，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1，1 ]
文本2中的单词向量： [1、1、2、1、1、1、1、1、1、1、1、1、1、0、1、0、1、0、1、1、1、1]
得到了英语向量。 这可以根据词向量余弦的公式计算相似度值。 公式如下。
所计算出的类似度的值是similarity=0.8295150620062532
从馀弦定理可以看出，cosine值的范围为[ 0，1 ]，越接近1，两个向量所成的角越小，表示两个文本越相似。
我们在进行推荐和信息检索任务时，往往需要比较项目嵌入和项目嵌入之间，或者用户嵌入和项目嵌入之间的相似度来进行推荐。 余弦相似度的计算公式如下。
余弦相似度cosine similarity和余弦距离cosine distance是相似度度量中常用的两个指标，sklearn.metrics.pairwise下的cosine_similarity和paired_distances
import numpy as np
froms klearn.metrics.pairwiseimportcosine _ similarity，paired_distances
x=NP.array ([ 0.26304135，0.91725843，0.6109966，0.40816231，0.93606288，0.52462691 ] )
打印(x )是
y=NP.array ([ 0.03756129，0.50223667，0.66529424，0.57392135，0.20479857，0.27286363 ] )
是打印(y )
余弦相似度Simi=cosine_similarity(x，y )。
打印(cosine similarity :simi ) ) )。
余弦距离=1 -余弦相似度dist=paired_distances(x，y，metric=‘cosine’) () () ) ) ) )。
打印(余弦距离： )，离散) )。
从这里可以看出，余弦相似度余弦距离=1。
尝试使用cosine_similarity和paired_distances函数分别计算多个向量和一个向量的余弦相似度和余弦距离，会产生以下效果：
import numpy as np
froms klearn.metrics.pairwiseimportcosine _ similarity，paired_distances
x=NP.array ([ 0.26304135，0.91725843，0.6109966，0.40816231，0.93606288，0.52462691 ]，[ 0.26304135，0.91725843 ]
打印(x )是
y=NP.array ([ 0.03756129，0.50223667，0.66529424，0.57392135，0.20479857，0.27286363 ] )
是打印(y )
余弦相似度Simi=cosine_similarity(x，y )。
打印(cosine similarity :simi ) ) )。
余弦距离=1 -余弦相似度dist=paired_distances(x，y，metric=‘cosine’) () () ) ) ) )。
打印(余弦距离： )，离散) )。
专业测量的有效方法：
/p>1、余弦相似性（cosine）
（1）使用sklearn中的向量相似性的计算包，代码如下： 这个函数的输入是n个长度相同的list或者array，函数的处理是计算这n个list两两之间的余弦相似性，最后生成的相似矩阵中的s[i][j]表示的是原来输入的矩阵中的第i行和第j行两个向量的相似性，所以生成的是n*n的相似性矩阵from sklearn.metrics.pairwise import cosine_similarity
s = cosine_similarity([[1, 0, 0, 0]], [[1, 0, 0, 0]])
print(s)
输出：
[[1.]]
（2）使用scipy包中的距离计算，代码如下： 这里的vec1和vec2都是一维的array向量。from scipy.spatial.distance import cosine
vec1 = [1, 2, 3]
vec2 = [2, 3, 4]
s = cosine(vec1, vec2)
print(s)
0.007416666029069763
2、皮尔森相关系数（pearson）
from scipy import stats
import numpy as np
a = np.array([0, 0, 0, 1, 1, 1, 1])
b = np.arange(7)
s1 = stats.pearsonr(a, b)
s2 = stats.pearsonr([1,2,3,4,5], [5,6,7,8,7])
print(“s1:”, s1)
print(“s2:”, s2)
s1: (0.8660254037844387, 0.011724811003954626)
s2: (0.8320502943378438, 0.08050957329849848)
前面的0.866025和0.862050即为所要求的相关系数，具体用法参见：scipy.stats.pearsonr
3、欧式距离
欧式距离，即rxdls距离，这里的计算有三种方式： （1）已知vec1和vec2是两个Numpy array，即数组，使用numpy包计算：import numpy
a = numpy.array([0, 0, 0, 1, 1, 1, 1])
b = numpy.arange(7)
dist = numpy.sqrt(numpy.sum(numpy.square(a - b)))
print(dist)
dist: 7.681145747868608
import numpy
a = numpy.array([0, 0, 0, 1, 1, 1, 1])
b = numpy.arange(7)
dist = numpy.linalg.norm(a - b)
print(“dist:”, dist)
dist: 7.681145747868608
import numpy
a=[1,2,3,1,4,5,5846,464,64,456,456,4]
print(a)
b=numpy.array(a).reshape(len(a),1) # reshape(列的长度，行的长度)
print(b) #转换为二维矩阵
print(‘b的形状是’+numpy.shape(b)) #12行1列
keys = [‘a’, ‘b’, ‘c’]
values = [1, 2, 3]
dictionary = dict(zip(keys, values))
print dictionary
“”"
输出:
{‘a’: 1, ‘c’: 3, ‘b’: 2}
“”"
[numpy] ndarray 与 list 互相转换
豆腐羲羲 2018-05-19 13:29:20 136354 收藏 32
分类专栏： numpy
版权
list 转 numpy
np.array(a)
ndarray 转 list
a.tolist()