怎么对词库中的词语进行高效的编码？

Question

自己现在有两种方案，一种是直接用数进行增长// let weight=//     {//         '美国': 10,//         '军区': 5,//         '雇员': 7,//         '灰色': 4,//         '外星人': 7,//         'ufo': 3,//     }另一种是将字符用utf8的方式进行解析出来。let str='国'function hash(str){    let strcode=0     for (const iterator of str)      {         strcode += iterator.codePointAt(0).toString(2)     }    return strcode }console.log(hash(str))//0101011011111101但是两者的的编码仍然不能缩小数据量。计算这个是为了后面能够进行，文本相似度的计算。谢谢。

Answer 1

编码当然不能缩小数据量，压缩才可以减小数据量。

Answer 2

计算相似度前的向量化文本除了词袋模型还可以使用TF-IDF, LSI等模型