温故知新

本文回顾Transformer的相关原理并手撕源码，且基于一个公开的翻译数据集训练一个小的Transformer模型。

本文回顾Transformer的相关原理并手撕源码，且基于一个公开的翻译数据集训练一个小的Transformer模型。

最近meta出了一篇内容风控相关的论文，这里精读这篇论文，希望能借鉴其思路应用于个人项目中。

本文整理主流模型的位置编码实现方式，并用torch实现以加深理解。

top_k、top_p、temperature的简单介绍

本文主要概括了我这段时间学习prompt的一些心得，和一些简单的大模型的入门知识。

本文为对clip模型论文的精度。

本文从传统分词算法谈起，重点介绍subwords算法中的BPE算法，并使用python实现(这里没有对实现速度上进行优化)。

简单总结下模型部署的相关知识，及遇到的一些问题。

本文整理主流模型的位置编码实现方式，并用torch实现以加深理解。