导师让我搞gpt方向,我该怎么去学?
不如先来试试这个 :
https://github.com/DLLXW/baby-llama2-chinese周末闲暇时间使用3090单卡在两天内从零开始预训练,并结合SFT(Supervised Fine-tuning)方法,打造出了一个迷你版的中文Llama2模型,该模型可以具备简单的中文问答能力,同时在针对性的预训练语料加强下,在医疗问答上面表现不错。
本Repo作者提供了完整的预训练和SFT所需要的代码和数据、训练参数配置等。可以根据自己的需求和实际情况进行调整和应用,以实现更好的中文问答效果。
编辑于 2023-08-20 20:04