新智元报谈

裁剪：alan

【新智元导读】近日，天才程序员Justine Tunney发推暗示我方更新了Llamafile的代码，通过手搓84个新的矩阵乘法内核，将Llama的推理速率提高了500%！

谷歌的好意思女程序员，将Llama的推理速率提高了500%！

近日，天才程序员Justine Tunney发推暗示我方更新了Llamafile的代码，

她重写了84个新的矩阵乘法内核，使得Llamafile不错更快地读取请示和图像。

与llama.cpp比拟，新的Llamafile在CPU上的推理速率升迁了30%到500%。

其中，ARMv8.2+（如RPI 5）、Intel（如Alderlake）和AVX512（如Zen 4）打算机的矫正最为显赫。

另外，关于符合L2缓存的矩阵，新的内核比MKL快2倍！

Justine Tunney暗示：致密MKL的行家，你们有事作念了！

毕竟，由，英特尔，TI，AMD，HPE，Oracle，Huawei，Facebook，ARM和National Science Foundation资助的BLIS，手脚最强大的开源BLAS，输了就太没好看了！

Any time somebody outside Intel beats MKL by a nontrivial amount, I report it to the MKL team. It is fantastic for any open-source project to get within 10% of MKL... [T]his is why Intel funds BLIS development. 每当英特尔之外的东谈主以不小的幅度打败MKL时，我齐会向MKL团队陈述。关于任何开源名堂，卓绝MKL 10%以内就依然荒谬横蛮了......这即是英特尔为BLIS缔造提供资金的原因。

跨平台的「羊驼」

Llamafile手脚一个腹地LLM名堂，诞生于昨年11月，由Justine Tunney与Mozilla团队相助缔造。

他们使用Cosmopolitan Libc，将llama.cpp打包为一个跨平台的单个二进制文献，让「羊驼」不错在基于AMD64和ARM64的六个操作系统上运行。

何况在GPU短缺的情况下，Llamafile不错不需要不菲的CUDA内核，——家里的旧CPU，只须性能还行，再加小数RAM就鼓胀了，很好地保护了行家的钱包。

名堂地址：https://github.com/Mozilla-Ocho/llamafile/releases

Llamafile代码不错在GitHub上找到，使用C++编写的，莫得外部依赖，不错在Linux、macOS、Windows、FreeBSD，致使SerenityOS上编译。

何况，Justine Tunney并莫得就此留步。她依然在发奋解救新的数据花样，比如FP16和BF16，以进一步减少内存占用，——她致使在Raspberry Pi上生效运行了TinyLlama！

性能升迁

老惠普

Justine Tunney最启动尝试LLM时，用的是底下这台节略的HP主机，运行Alpine，机械硬盘、慢速RAM、AVX2处理器、莫得 GPU。

HP Intel® Core™ i9-9900 ($439) w/ 2200 MT/s RAM

出于对llama.cpp的热爱，Justine Tunney与东谈主相助为其引入了mmap()解救，使得权重不错立即加载，只使用原本一半的RAM。

之后，Justine又花了很长的时辰来优化代码，让我来看一下矫正后的后果：

在Skylake上，llamafile终明晰2倍的加快，llama.cpp也得到了50%的性能升迁。

到目下为止，Justine为q8_0、f16、q4_1、q4_0和f32数据类型编写了优化的内核。

树莓派

最新版的树莓派不仅升迁了主频，还引入了对ARMv8.2 dotprod 和fp16算术ISA的解救，仅这两个功能就让llama.cpp在f16权重上终明晰10倍性能升迁。

因为树莓派的两个CPU齐有32个矢量寄存器，Justine使用为AVX512编写的内核，使推理速率又提高了2倍。

不外值得贵重的是，新的ARMv8.2 fp16 ISA可能会引入比泛泛更多的无理，因为它会导致llamafile使用fp16。因此，Q8_0权重骨子上的后果更好，因为它使用dotprod ISA。

游戏主机

在Alderlake CPU上，Justine将float16的性能提高了五倍。

与ARMv8.2不同，Alderlake大概在不引入舍入无理的情况下作念到这小数，因为内核在里面使用float32打算类型。

另外让东谈主吃惊的是，当波及到小责任负载时，这个芯片致使大概在CUDA启动之前就完成任务。

苹果

Mac Studio，手脚llama.cpp缔造东谈主员最关怀的硬件平台，思要在这里升迁性能比较贫穷。

另一个问题则是苹果自己的顽固环境：

M2 Ultra将RAM DIMM放在了CPU里面，使得token生成等受蔓延截止的操作速率更快，因为CPU不再需要打「远程电话」了。

咱们不错看到，与低廉得多的打算机比拟，M2 Ultra仅通过ARM ISA表露了30%的打算才调。

要是缔造者思拜访更多内容，则需要通过苹果的私有框架，举例Metal和Accelerate。

AMD

天然llamafile荒谬关怀匡助短缺GPU的东谈主，但也为另外1%的东谈主提供了一流的体验。

AMD Ryzen Threadripper PRO 7995WX，通过破耗10,000好意思元摆布，你会得到96个基于Zen4架构的AVX512内核。

尽管价钱唯有M2 Ultra的两倍，但7995WX x86 ISA提供的原始打算才调是M2 Ultra ARM ISA的7倍，token生成速率确切相易，这可能要归功于384M的L3缓存。

通过Justine的优化，目下不错在Zen4上以2.8倍的速率运行LLaMA。

天才程序员

Justine Tunney诞生于1984年，14岁就启动帮别的黑客缔造软件，其时的混名是「Oogle」。

咱们来淡淡地看一下她这些年的一些责任：

RedBean

一个web业绩器，神奇的是不错跨平台在6种操作系统上运行！

这可不是Java那种叠了一层捏造机的机制，Justine缔造了一种叫作念APE(Acctually Portable Executbale)的文献花样，不错在职何x86-64的操作系统上引申。

「一次编译，处处运行」——Java：嗯？这不是我吗？

cosmopolitan libc

为了大概跨平台调用外部程序，比如c圭臬库，Justine平直办搓了一个libc，在各式平台上终明晰通盘需要的中枢操作：

看一下上头的责任量，确切是太炸裂了，何况一般东谈主就算思肝，莫得实力亦然不成能的。

sectorLisp

仅有512个字节，最小的Lisp终了，可通过BIOS指引启动：

除了上头这几个，还有诸如Blinkenlights、RoseHub等天才名堂，这里不再逐个列举。

关于这番树立，有网友神往谈：

Every time I read something by Justine Tunney, I am continually reminded of my mediocrity.

关于之前提到的mmap责任，网友评价：「有Fabrice Bellard之风」。

Justine Tunney is a true genius. Similar to Fabrice Bellard, a truly unique mind. Justine or Fabrice are the true 10x engineers, their output is world class and they are much rarer than any hiring article about these gurus want us to believe. With Justine's work, I feel would need to be more than a 1x engineer myself just to find the time to play with all of her creations.

2012年，Justine Tunney启动在责任，并致密了一些有名名堂标要津部分。

比如大名鼎鼎的TensorFlow，Tunney为这个名堂作念出了好多孝敬，包括用于存储数据的概要系统。

Bazel是谷歌从Make演变而来的PB级构建系统，Tunney的主要孝敬是下载器代码部分，用于自动化运营商级群众工件传输。

Nomulus是一项用于惩办顶级域名的业绩，是谷歌的第一个开源出产业绩。Tunney致密为其编写注册表数据托管系统。

参考而已：

https://twitter.com/JustineTunney/status/1774621341473489024