小破本也能炼GPT!300行代码搞定,GitHub获6k星,来自特斯拉前AI总监
詹士 发自 凹非寺其名为:NanoGPT。从名字就能看出是个“纳米武器”,据作者介绍,该库代码简单易读,2个仅300行代码的文件。现已基于OpenWebText重现 GPT-2 (124M),在单个8XA100 40GB节点上,训练时间为38小时。值得一提的是,该库发布者是前特斯拉AI总监,李飞飞高徒,Andrej Karpathy。此次发布的NanoGPT,正是他2年前MinGPT的升级版。目前,此项目在GitHub所获star已超6k,HackerNews上points也破千。毫无意外地,评论区一片“喜大普奔”...
ChinaAI · 2023-01-27 09:03:00