# 前言 本文罗列一些大模型、Transformer 相关的基础知识。 可能会有误解和疏漏,谨慎参考。 # 什么是动态图 什么是计算图 :由「算子节点 + 张量边」组成的 DAG 有向无环图,记录:数据怎么走、谁加谁、谁乘谁、谁做归一化 什么是静态图 :我们通常把 onnx、TensorRT network IR 等看作静态图。先把整个网络结构完整定义、固化、序列化成一张固定的图,图是永久存在的文…
# 前言 本文罗列一些大模型、Transformer 相关的基础知识。 可能会有误解和疏漏,谨慎参考。 # 什么是动态图 什么是计算图 :由「算子节点 + 张量边」组成的 DAG 有向无环图,记录:数据怎么走、谁加谁、谁乘谁、谁做归一化 什么是静态图 :我们通常把 onnx、TensorRT network IR 等看作静态图。先把整个网络结构完整定义、固化、序列化成一张固定的图,图是永久存在的文…
讨论
登录后参与讨论
还没有评论,来说第一句吧。