一、查看通过pip库版本

1.查看已经安装的所有库版本

pip list

2.查看已经安装的某个库版本

pip show paddlenlp

3.查看将要安装的某个库版本

pip index versions [your python module name]
例如：
pip index versions paddlenlp

或者
pip install  paddlenlp==

二、pip离线安装一个包

1.离线下载

#pip download 你的包名 -d "下载的路径(windows下双引号来表示文件夹)"
pip download paddlenlp -d pipDownloadTest

2.离线安装

# 模块有依赖包的把所有包放在一个文件夹下，执行以下命令安装
pip install --no-index --find-link=./pipDownloadTest paddlenlp

三、pip离线安装多个包

1.制作requirement.txt

此处制作requirement只是为了测试，pip freeze命令可将已安装的模块列表打印出来。实际应用中只需把要安装的包及版本信息写入一个文本文件。后续用写入pip包的文本文件代替后续命令中的requirement.txt文件。

pip freeze > requirement.txt

2.离线下载

pip download -d offline_packages -r requirements.txt #批量下载
pip download -d offline_packages [package_name] #单个包下载

3.离线安装

pip install --no-index --find-links=./offline_packages/ -r requirements.txt #批量安装
pip install --no-index --find-links=./offline_packages/ [package_name] #单个包安装

四、修改源
1.临时修改

pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple/

2.永久修改

信息熵完美编码
交叉熵不完美编码
相对熵是两者的差值，交叉熵减去信息熵。差值即差异，也即KL散度

- 阅读剩余部分 -

torch的乘积分两种

一、点乘

点乘都是broadcast的，可以用torch.mul(a, b)实现，也可以直接用*实现。
要求a,b有相同的维度

二、矩阵相乘

矩阵相乘有torch.mm和torch.matmul两个函数。其中前一个是针对二维矩阵，后一个是高维。当torch.mm用于大于二维时将报错。
a = [B,E]
b = [E,B]
c = torch.mm(a,b)
C 维度是[B,B]

一、定义

1.返回所给tensor的矩阵范数或向量范数
2.范数本质上是一种距离

二、常用

1.最常用的就是做求2范数
2.可以用来对向量做归一化

三、代码

def normalize(x, axis=-1):
    """Normalizing to unit length along the specified dimension.
    Args:
      x: pytorch Variable
    Returns:
      x: pytorch Variable, same shape as input
    """
    x = 1. * x / (torch.norm(x, 2, axis, keepdim=True).expand_as(x) + 1e-12)#2是范数计算中的幂指数值,就是取2范式
    return x

一、基本流程

对spark里面一些基本名词介绍一下

master和worker节点：
master节点常驻master守护进程，负责管理worker节点，我们从master节点提交应用。
worker节点常驻worker守护进程，与master节点通信，并且管理executor进程。

1，Application

application（应用）其实就是用spark-submit提交的程序。比方说spark examples中的计算pi的SparkPi。一个application通常包含三部分：从数据源（比方说HDFS）取数据形成RDD，通过RDD的transformation和action进行计算，将结果输出到console或者外部存储（比方说collect收集输出到console）。

2，Driver

 Spark中的driver感觉其实和yarn中Application Master的功能相类似。主要完成任务的调度以及和executor和cluster manager进行协调。有client和cluster联众模式。client模式driver在任务提交的机器上运行，而cluster模式会随机选择机器中的一台机器启动driver。从spark官网截图的一张图可以大致了解driver的功能。

3，Job

 Spark中的Job和MR中Job不一样不一样。MR中Job主要是Map或者Reduce Job。而Spark的Job其实很好区别，一个action算子就算一个Job，比方说count，first等。

4, Task

Task是Spark中最新的执行单元。RDD一般是带有partitions的，每个partition的在一个executor上的执行可以任务是一个Task。 

5, Stage

Stage概念是spark中独有的。一般而言一个Job会切换成一定数量的stage。各个stage之间按照顺序执行。至于stage是怎么切分的，首选得知道spark论文中提到的narrow dependency(窄依赖)和wide dependency（ 宽依赖）的概念。其实很好区分，看一下父RDD中的数据是否进入不同的子RDD，如果只进入到一个子RDD则是窄依赖，否则就是宽依赖。宽依赖和窄依赖的边界就是stage的划分点