导师让我搞gpt方向,我该怎么去学?

不如先来试试这个 :

github.com/DLLXW/baby-l

周末闲暇时间使用3090单卡在两天内从零开始预训练,并结合SFT(Supervised Fine-tuning)方法,打造出了一个迷你版的中文Llama2模型,该模型可以具备简单的中文问答能力,同时在针对性的预训练语料加强下,在医疗问答上面表现不错。

本Repo作者提供了完整的预训练和SFT所需要的代码和数据、训练参数配置等。可以根据自己的需求和实际情况进行调整和应用,以实现更好的中文问答效果。

编辑于 2023-08-20 20:04

Published

Category

Zhihu

Tags