1.官网

chatpdf没有论文，属于chatgpt的一个应用。
https://www.chatpdf.com/
中文类似网站：
http://www.chatspdf.cn/

2.测试页面

切割错误情况：

3.技术原理

1.pdf转文本

读取PDF文件，将其转换为txt格式的文本文件。

2.数据预处理

对文件进行清理和标准化，例如去除特殊字符，保留标题和文本，按照自然段落进行分割。

3.段落embedding

ChatPDF使用OpenAI的Embeddings API将每个分段转换为向量，这个向量将对文本中的语义进行编码，以便于与问题的向量进行比较

4.用户query问题embedding

当用户提出问题时，ChatPDF使用OpenAI的Embeddings API将问题转换为一个向量，并与每个分段的向量进行比较，以找到最相似的分段。这个相似度计算可以使用余弦相似度等常见的方法进行。

5.prompt工程

ChatPDF将找到的最相似的分段与问题作为prompt，调用OpenAI的Completion API，让ChatGPT学习分段内容后，再回答对应的问题。

难点思考：
1.切断粒度的划分：以什么为维度切片，chatpdf也有切错情况，如上图。
2.提示语句的实验
3.chatpdf存在的问题:
(1)概括性的问题无法找到答案
(2)对于语义非常相似的文本能找到对应位置，但是上下文语义可能存在切错误情况。
4.推荐先通过chatgpt快速实验一版方案，然后替换大模型自研

4.复现代码参考

https://www.alanwang.site/blog/chatgpt-pdf
https://blog.csdn.net/m0_55868614/article/details/129639067

1.https://zhuanlan.zhihu.com/p/626433991
2.https://www.ccf.org.cn/Focus/2023-05-04/791137.shtml
3.https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/130211938

nohup python pre_brand.py>>./train.log 2>&1 &

一、Bloom

1.参考论文

https://arxiv.org/pdf/2211.05100.pdf

2.硬件组成

3.数据量

epoch:
token:3500亿token

4.网络参数

模型参数量：176B

二、GLM

1.参考论文

https://openreview.net/pdf?id=-Aw0rrrPUF

2.硬件组成

3.数据量

epoch:1
token:4000亿token

4.网络参数

模型参数量：130B

三、GPT-3

1.参考论文

https://arxiv.org/pdf/2005.14165.pdf

2.硬件组成

论文中没有说明：
。英伟达表示，GPT-3 需要 512 颗 V100 显卡
训练 7 个月，或者 1024 颗 A100 芯片训练一个月

3.数据量

epoch:1
token:4000亿token

4.网络参数

模型参数量：175B

四、LLaMa

1.参考论文

https://arxiv.org/pdf/2302.13971.pdf

2.硬件组成

3.数据量

epoch:1
token:1.4万亿
disk size:4.9TB

4.网络参数

模型参数量：
参数大小：65B