一、定义

各向异性(Anisotropic) 的概念在BERT-flow的文章中有明确的定义：
(1)“Anisotropic” means word embeddings occupy a narrow cone in the vector space.
翻译过来就是：“各向异性”表示词嵌入在向量空间中占据了一个狭窄的圆锥形体。但这个定义有点过于场景化，实际上各向异性的表现形式并不一定是锥形。

- 阅读剩余部分 -

一、背景

这种结构使得 BERT 不适合语义相似度搜索，同样也不适合无监督任务，例如聚类

解决聚类和语义搜索的一种常见方法是将每个句子映射到一个向量空间，使得语义相似的句子很接近

- 阅读剩余部分 -

背景

句向量表征技术」一直都是NLP领域的热门话题，粗略来看分了几个时代：

- 阅读剩余部分 -

一、定义

xgboost是华盛顿大学博士陈天奇创造的一个梯度提升（Gradient Boosting）的开源框架。至今可以算是各种数据比赛中的大杀器，被大家广泛地运用。

- 阅读剩余部分 -

一、定义

GBDT(Gradient Boosting Decision Tree)（梯度提升决策树）
定义：是为了解决一般损失函数的优化问题，

- 阅读剩余部分 -