1.MiniGPT-5
1.5 CLIP
1.8 PLIP
2.BLIP
3.BLIP-2
参考内容：
1.https://www.bilibili.com/read/cv25429299/
>> X光影像路径：./data/Xray/861_1.png
>> 用户：这是一张什么图？
>> XrayGLM：这张图片显示的是一张肺部检查的X光片。
>> 用户：请描述这张胸部X光片的诊断结果
>> XrayGLM：心脏大小正常，肺部清晰。没有急性心肺疾病的证据。
>> 用户：是否存在肺气肿？
>> XrayGLM：没有肺气肿。心脏大小正常，肺部清晰。没有发现急性心肺疾病的证据。
>> 用户：平时饮食该注意什么？
>> XrayGLM：饮食应该健康，均衡。建议增加蛋白质的摄入量，
因为蛋白质有助于维持肌肉和骨骼的健康。多食用蔬菜、水果、
全谷物以及健康的脂肪来源如橄榄油、鱼类等可以帮助获得足
够的维生素和矿物质。此外，避免过度饮酒或吸烟，这些习惯
可能会对心脏健康产生负面影响。
至于如何评估一个模型的好坏：MTEB Leaderboard - a Hugging Face Space by mteb (https://huggingface.co/spaces/mteb/leaderboard)是针对大规模文本表示学习方法的一个评测排行榜。这个排行榜会将文本向量化模型在大量的评测数据集:文本分类，聚类，文本排序，文本召回等大量数据集上进行评测，并给出一个平均的分数，来评估这个模型文本embeding的能力。
生成模型（Generative Model）与判别模型（Discriminative Model）在机器学习领域是两种不同类型的模型，它们之间存在着显著的差异。以下是对这两种模型区别的详细分析：
生成模型：生成模型是概率统计和机器学习中的一类重要模型，指一系列用于随机生成可观测数据的模型。在给定某些隐含参数的条件下，它能够随机生成观测数据，并给观测值和标注数据序列指定一个联合概率分布。生成模型的应用十分广泛，可以用来对不同的数据进行建模，如图像、文本、声音等。
判别模型：判别模型是一种对未知数据y与已知数据x之间关系进行建模的方法，直接对条件概率p(y|x;θ)建模。在机器学习领域，判别模型是一种基于概率理论的方法，已知输入变量x，通过构建条件概率分布P(y|x)来预测y。
1、优化准则不同
生成模型：优化训练数据的联合分布概率P(X,Y)。
判别模型：优化训练数据的条件分布概率P(Y|X)。
2、对观察序列的处理不同
生成模型：将观察序列作为模型的一部分。
判别模型：将观察序列仅作为条件。
3、训练复杂度
由于需要归一化，判别模型的训练复杂度通常较高。
生成模型的训练复杂度相对较低。
4、是否支持无指导训练
生成模型支持无指导训练，即可以在没有标签数据的情况下进行训练。
判别模型通常不支持无指导训练，它依赖于标签数据来构建条件概率分布。
5、本质区别
判别模型：估计的是条件概率分布p(class|context)，即给定观测数据x，模型预测目标变量y的条件概率。
生成模型：估计的是联合概率分布p(x,y)，即同时考虑观测数据x和目标变量y的联合分布。
6、模型应用
生成模型：由于能够模拟数据的生成过程，因此在无监督学习任务（如聚类、异常检测）中表现较好。同时，生成模型在刻画复杂学习任务中的依赖关系方面也更加灵活。
判别模型：由于直接对条件概率建模，因此在有监督学习任务（如分类、回归）中通常能够取得更好的效果。特别是当不考虑x与y之间的联合分布时，判别模型可以更加专注于学习x到y的映射关系。
三、典型模型
生成模型：高斯混合模型（Gaussian Mixture Model, GMM）、隐马尔可夫模型（Hidden Markov Model, HMM）、朴素贝叶斯分类器（Naive Bayes Classifier）等。
判别模型：线性回归模型、线性判别分析（Linear Discriminant Analysis, LDA）、支持向量机（Support Vector Machine, SVM）、神经网络（Neural Network, NN）等。
综上所述，生成模型和判别模型在定义、优化准则、对观察序列的处理、训练复杂度、是否支持无指导训练以及模型应用等方面都存在显著的差异。选择哪种模型取决于具体的应用场景和需求。