【学习工具】Transformer学习利器：transformer-explainer可视化工具

前言

Transformer 架构已经成为大模型的主流架构，但是 Transformer 模型的内部工作原理往往难以理解。为了更好地理解 Transformer 模型的工作机制，Transformer Explainer 可视化工具应运而生。

工具简介

Transformer Explainer 是一款开源的交互式可视化工具,旨在帮助任何人了解基于 Transformer 的模型(如 GPT)的工作原理。它在您的浏览器中运行一个实时的 GPT-2 模型，并实时观察 Transformer 的内部组件和操作如何协同工作来预测下一个令牌。

功能介绍

Transformer Explainer 的主要功能包括:

词嵌入可视化：通过对词嵌入的可视化，帮助用户理解embedding以及positional encoding的作用。
QKVkey可视化：将 Query、Key 和 Value 向量可视化，帮助用户理解词嵌入与QKV权重的计算过程。
注意力权重可视化：将多头注意力计算过程可视化，帮助用户理解多头注意力以及掩码的作用。
输出概率可视化：展示 Transformer 每次执行预测时，预测词的概率分布。

资料

工具原始Git仓库地址：https://github.com/poloclub/transformer-explainer
汉化翻译Git仓库地址：https://github.com/domonic18/transformer-explainer
论文地址：https://arxiv.org/abs/2408.04619

部署方法

transformer-explainer 可以本地化部署，部署方法如下。

环境要求

Node.js v20 或更高版本
NPM v10 或更高版本

部署方法

git clone https://github.com/domonic18/transformer-explainer.git
cd transformer-explainer
npm install
npm run dev

体验地址

对于不方便进行本地化部署的用户，可以使用17aitech搭建的在线环境。

注意事项：

因为是在线环境，所以该工具会下载GPT2模型(约600M)，对于网络较慢的用户，可能需要花费一定的时间。
因为服务器带宽及维护成本支出，该项目目前仅限17aitech的注册会员才可查看访问。
目前该工具仅支持英文输入，中文暂不支持。

http://transf.17aitech.com/