Encore.ts — 冷启动速度比 NestJS 和 Fastify 快 17 倍

几个月前，我们发布了Encore.ts——一个 TypeScript 的开源后端框架。

由于已经存在许多框架，我们想分享一些我们做出的异常设计决策以及它们如何带来显著的性能数字。

我们最近发布的性能基准测试显示，Encore.ts 的请求吞吐量是 Express.js 的 9 倍，是 Fastify 的 2 倍。

今天，我们将继续我们的性能之旅，深入研究 Encore.ts 如何实现极快的冷启动时间。

性能基准

这次我们对 Encore.ts、Fastify、NestJS 和 Express 进行了基准测试，以了解每个框架在冷启动时间方面的表现。

基准测试程序注册了 10 个 API 端点，每个端点都带有一个简单的模式，并设置了模式验证。
对于模式验证，我们尽可能使用了 Zod。
对于 Fastify，我们使用了 Ajv 作为官方支持的模式验证库。

我们测量了从 JavaScript 代码开始执行到服务器准备好接受传入请求的时间。
对于每个基准测试，我们取了五次运行中的最佳结果。

说得够多了，让我们深入研究一下数字！

Encore.ts 冷启动速度比 NestJS 和 Fastify 快 17 倍

（查看GitHub上的基准代码。）

如您所见，Encore.ts 实现了显著的快速冷启动时间，比 Express 快 5 倍以上，比 NestJS 快 17 倍以上。

这怎么可能？通过测试，我们发现了两个主要的性能问题，都与 Encore.ts 的底层工作原理有关。

但在此之前，我们先来谈谈冷启动到底是什么，以及它为什么重要。

什么是冷启动？

在无服务器的语境中，冷启动是指底层平台需要先启动一个新的服务器实例来处理传入请求。（它也可以指服务器新实例首次启动来处理请求，例如在部署之后。）

由于请求实际上处于暂停状态，直到进程启动并准备好处理请求，因此减少冷启动时间会对应用程序的长尾延迟产生很大影响。

这对于具有多个无服务器功能的分布式系统尤其重要，因为在处理请求时很可能会在系统的某些部分遇到冷启动。

冷启动的剖析

冷启动过程中具体发生什么，取决于你部署到的平台（Kubernetes、Lambda、Cloud Run 等）。
但总的来说，这个过程大致如下：

1. 平台下载无服务器功能的代码/容器镜像
2. 平台启动容器/无服务器功能/容器的新实例
3. 容器/函数初始化自身（导入 JavaScript 模块、运行初始化代码等）

完成这些初始化步骤后，冷启动就完成了，无服务器功能开始处理传入的请求。

前两个步骤基本上是我们无法控制的（除了确保代码/容器的大小得到优化），所以让我们把注意力集中在第三步上。

事实上，让我们进一步分解第三步，假设我们正在运行 Node.js：

1. 该node进程启动并开始初始化 V8 JavaScript 引擎
2. 入口点文件被解析、加载并开始执行应用程序代码
3. 当 JavaScript 代码执行时import，require还会加载、解析并执行更多文件。（对于具有大量依赖项的应用程序，需要重复多次。）

最后，在加载所有依赖项并执行所有初始化代码后，容器/无服务器功能就可以处理传入的请求了。

优化冷启动

上面的细分为我们提供了明确的优化目标，Encore.ts 对其控制的所有步骤进行了大力优化。

优化 1：Rust 运行时

Encore.ts 使用 Rust 实现，并作为原生模块加载到 Node.JS 中。这对于冷启动有几个好处：

更少的 JavaScript 代码需要解析和执行。由于 JavaScript 是一种解释型语言，所有 JavaScript 代码都需要从磁盘读取、解析和执行。Encore.ts 作为预编译的原生模块，加载速度极快，无需 JavaScript 引擎 (V8) 解析或执行。

零 NPM 依赖。由于 Encore.ts 使用 Rust 实现其所有功能，因此它没有任何 NPM 依赖，这进一步减少了冷启动期间需要执行的 JavaScript 数量。

预编译和优化。JavaScript 严重依赖即时编译 (JIT)，即 JavaScript 引擎会优化重复执行的代码。这对于解释型语言来说意义重大，但这也意味着代码首次运行时速度会显著降低，从而严重影响冷启动。由于 Encore.ts 是用 Rust 实现的，因此它已针对其运行平台进行了预编译和高度优化，这意味着它从首次执行开始就非常快。

优化二：高效的Docker镜像

Encore.ts 默认构建精简版 Docker 镜像，仅包含已编译的 JavaScript 代码和运行应用程序所需的依赖项。这减少了软件包大小，从而减少了下载和启动容器的时间。

此外，一些计算平台已添加对流式 Docker 镜像的支持，这意味着平台可以在下载完整个镜像之前启动容器。Encore.ts 内置了此功能，并会自动优先处理镜像中需要的部分，以减少冷启动。

总结

通过将 Rust 运行时与优化的 Docker 镜像相结合，Encore.ts 能够实现显著的冷启动时间，这会对应用程序的长尾延迟产生很大影响。

如果性能对您的项目很重要，那么尝试一下Encore.ts可能是个好主意。

而且它全部都是开源的，因此您可以查看代码并在GitHub上做出贡献。

或者尝试一下并告诉我们您的想法！