没有博士学位却开启了GPT时代，奥特曼盛赞Alec Radford，爱因斯坦级天才

首页 » 没有博士学位却开启了GPT时代，奥特曼盛赞Alec Radford，爱因斯坦级天才

文章来源于互联网:没有博士学位却开启了GPT时代，奥特曼盛赞Alec Radford，爱因斯坦级天才

《连线》曾在一篇报道中将 Alec Radford 在 OpenAI 扮演的角色，比作 Larry Page 发明 PageRank。PageRank 彻底革新了互联网搜索方式，Radford 的工作（特别是在 Transformer 和后来的 GPT 方面的研究）从根本上改变了 AI 语言模型的工作方式。

几天前，OpenAI 宣布组织结构调整，裂变成了一家营利性公司和一个非营利组织。与此同时，OpenAI CEO 山姆・奥特曼在 X 上用一个系列推文感谢了 OpenAI 的多位元老。

之后，他又单独发了一条推文对一位「爱因斯坦级别的天才」表达了特别感谢：Alec Radford。奥特曼还表示 Radford 是他一直以来最喜欢的人，并指出 AI 领域当今的进步很多都可以追溯到他的研究成果。上个月 20 号，传出了 Radford 即将离开 OpenAI 进行独立研究的消息，详情可参阅机器之心的报道《刚刚，OpenAI 元老级研究员 Alec Radford 离职，他主导了 GPT-1、GPT-2 的研发》。

根据谷歌学术的数据，Alec Radford 论文的引用量现在已经超过了 19 万，并拥有多篇超过 1 万引用的重要论文。

事实上，早在一年多以前，就已经有人指出了这位当时还声名不显的研究者的巨大贡献：他是 GPT 原始论文等多篇奠基性研究成果的第一作者！而更让人惊讶的是，他并没有博士学位，也没有硕士学位；并且他的许多研究成果最早都是在 Jupyter Notebook 中完成的。

新年伊始，Alec Radford 的故事又再一次火遍了 AI 社交网络。人们在谈到他时莫不称颂。

下面我们就来简单了解下这位谦逊的天才的人生故事吧。

Alec Radford 的人生故事

Alec Radford 是自然语言处理和计算机视觉领域的研究者。曾在 OpenAI 担任机器学习开发者 / 研究员。在此之前，他曾担任 indico 公司的研究主管。

在 OpenAI 担任研究员期间，他参与撰写了多篇关于语言模型生成式预训练（GPT）的论文，并在 NeurIPS、ICLR、ICML 和 Nature 等著名会议和期刊上发表过许多论文。

他也曾活跃在 X/Twitter 上，在那里分享他对人工智能各个领域的见解和观点。遗憾的是，2021 年 5 月之后他就再未在 X 上现身，最后一条推文是在回复 Anthropic 的研究者 Simon Kornblith，解释 GPT-1 层宽度设置为 768 的原因。

LinkedIn 显示，2011 年 – 2016 年， Alec Radford 就读于富兰克林・W・奥林工程学院，并获得学士学位。这是一所位于美国马萨诸塞州尼达姆（Needham）的私立工程学院，以其非常低的录取率和精英化教育著称。

该校的课程结构非常独特，其学术体系「欧林三角」包括科学和工程基础、创业以及文学。学校也仅提供四种学位：ME（机械工程）、ECE（电子与计算机工程）、CS（计算机科学）、BCE（生物医药工程）。

奥林工程学院非常重视实用教育，将知识和实际生活中的挑战和课题联系起来，鼓励学生追求自己的兴趣和激情。

本科时期，Alec Radford 就对机器学习充满热情，并与同学一起参加 Kaggle 比赛获得了成功，最终拿到风投。2013 年，Alec Radford 和伙伴在宿舍创立了 indico ，为企业提供机器学习解决方案。

作为公司的研究主管，Alec Radford 主要从事识别、开发和改进有前景的图像和文本机器学习技术，并将其从研究阶段转化为更广泛的行业应用。

在那里，他进行了生成对抗网络（GAN）相关研究，并提出 DCGAN 以改善 GAN 的可训练性，这也是 GAN 领域的一个重要突破。

由于波士顿地区在 AI 领域的影响力已被西海岸科技巨头超越，加上资源限制，2016 年，Radford 选择加入 OpenAI 。

他形容这份新工作「类似于加入研究生课程」，有一个开放、低压力的 AI 研究环境。

Radford 比较低调，不愿与媒体接触。他通过邮件回应了《连线》关于他在 OpenAI 早期工作的提问。他表示，最感兴趣的是让神经网络与人类进行清晰的对话。

他认为，当时的聊天机器人（从 ELIZA 到 Siri 和 Alexa）都存在局限性。他的目标是探索语言模型在各种任务、设置、领域和场景中的应用可能。

他的第一个实验是使用 20 亿条 Reddit 评论来训练语言模型，虽然失败，但 OpenAI 给予了足够的试错空间，也成为后续一系列革命性突破的开始，如大家熟知的初代 GPT，还主导了 GPT-2 的研发等。

这些工作为现代大语言模型奠定了重要基础，以致于《连线》在一篇报道中将 Alec Radford 在 OpenAI 扮演的角色，比作 Larry Page 发明 PageRank。有趣的是， PageRank 虽然是 Larry Page 在斯坦福攻读博士期间的产物，但他此后再也没有回去完成博士学位。

不仅如此，Alec Radford 还参与了 GPT-3 论文的撰写、以及 GPT-4 的预训练数据和架构研究工作。

2024 年年末，在 OpenAI 赚尽眼球的 12 天连发的最后一天前，Alec Radford 即将离开 OpenAI 的消息传出，但没有任何消息透露这是否与 OpenAI 的组织结构调整有关。