几年前在一次工作中，第一次接触到自然语言处理模型 BERT。 当时在评估这个模型的性能时，领导说这个模型的性能需要达到了 200 token 每秒，虽然知道这是一个性能指标，但是对 token 这个概念却不是很清晰。 因为当时接触视觉模型多一些，在视觉模型的性能评估中，有一个关键指标叫做 fps，通俗理解就是一秒钟可以处理的图片数。 fps 数值越大，说明模型吞吐性能越好(关于吞吐的概念可以查看：再也不怕被问吞吐和延时的区别了)。 那么 token 每秒又是什么呢？要搞清楚这个，就得先来了解一下什么是 token。…