OpenAI数据科学家Andrej Karpathy大神最精简的BPE算法。Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.

阅读全文 »

本文介绍了python装饰器的原理,以及常见的打印日志的用法

阅读全文 »

本文介绍如何用CMake去构建项目、如何构建库以及指定库的生成路径、常见的宏、嵌套的CMake等

阅读全文 »

介绍一下c/c++编译流程,包含预处理、编译、汇编、连接等,并介绍了gcc的一些参数使用说明

阅读全文 »

本文系统介绍了静态库和动态库的构建和使用方法,以及可能遇到的一些坑及其解决方法。

阅读全文 »

介绍经典的transformer架构以及attention的原理和计算。

阅读全文 »