🚨🏆 你必须了解的 5 大 LLM 开发开源替代方案 💥

TL:DR

1. DeepEval >> Humanloop

2. Llama3.1 >> Open AI GPT-4

3. LangChain >> OpenAI助手

4. Flowise >> Relevance AI

5. 精简法学硕士 >> 火星人工智能

TL:DR

我不喜欢闭源，尤其是在 LLM 应用程序开发方面👎但值得庆幸的是，自然界中的每个闭源框架都应该有一个平等的开源对应物（毕竟，这不是某位著名科学家的第三定律吗🤔？）。

因此，在本文中，作为一个在 LLM 开发兔子洞🐇中浸泡和沐浴了两年多的人，我将向您介绍五个最重要的闭源 LLM 开发解决方案的开源替代方案。

开始吧！🙌

（PS：请为所有开源存储库加注星标，以帮助它们比闭源存储库更受关注！）

1. DeepEval >> Humanloop

DeepEval 是开源 LLM 评估框架👍，而 Humanloop（您猜对了）是一个闭源 LLM 评估解决方案👎，它具有隐藏的 API 端点，而不是开放的算法，您可以看到如何进行评估。

这一点至关重要，因为在我看来，没有什么比公开的LLM评估更重要了💯。公开性带来了透明度，而透明度，尤其是在LLM项目开发中，能让每个人都了解评估的标准。你肯定不希望LLM安全评估在私下进行，而你只是被告知结果而已，对吧？

开源代码始终受到严格审查，这使得 DeepEval 比 Humanloop 更易于使用。以下是如何在 DeepEval 中评估你的 LLM 申请：

from deepeval import evaluate
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase

test_case = LLMTestCase(
 input="How many evaluation metrics does DeepEval offers?",
 actual_output="14+ evaluation metrics"
)
metric = AnswerRelevancyMetric()

evaluate(test_cases=[test_case], metrics=[metric])

🌟 在 GitHub 上为 DeepEval 点赞

（DeepEval 的吉祥物想要一颗星星）

2. Llama3.1 >> Open AI GPT-4

我敢打赌你肯定预料到了，但接下来要说的就是 Meta 的 Llama3.1 与 OpenAI 的 GPT-4 的对比。Llama3.1 可以自托管，推理速度比 GPT-4 快得多，代币成本也更低，而且最棒的是它是开源的，权重也是开放的。这意味着什么呢？

这意味着，如果你想定制 Llama3.1（顺便说一句，它在多个基准测试中的表现与 GPT-4 不相上下），你将能够自行完成。Meta 在训练 Llama3.1 上投入的数百万（甚至数十亿美元？）美元几乎可以被任何人利用，并进行微调。

立即使用 Llama3.1：

import transformers
import torch

model_id = "meta-llama/Llama-3.1-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)

response = pipeline("Hey how are you doing today?")

3. LangChain >> OpenAI助手

抱歉，OpenAI，又是你。LangChain 是一个 LLM 应用程序编排框架，而 OpenAI Assistants 就像一个 RAG API，其内部编排逻辑隐藏在幕后。

我知道，我用的词有点大，听起来很玄乎，但让我解释一下它们的含义。LLM 编排简单来说就是将外部数据连接到你的 LLM，并允许你的 LLM 通过访问你的 API 来获取它认为合适的数据。例如，一个基于 LangChain 构建的每日天气预报聊天机器人，可以允许 LLM 获取当天的最新天气信息。在 OpenAI 助手中，他们把所有这些都隐藏在 API 后面。

这意味着它不那么可定制，坦率地说，我还没有遇到过一个使用助手功能的人，尽管它被大肆宣传为下一个大事件。

🌟 在 GitHub 上加星标

4. Flowise >> Relevance AI

因此，LangChain 允许您用代码构建 LLM 应用程序。Flowise 允许您通过开源 UI 进行构建。只需点击并拖放即可自定义您的 LLM 可以访问的数据，一切就绪。

替代方案？如果可以的话，可以选择稍微不那么漂亮的付费版本。

看看Flowise：

🌟 在 GitHub 上加星标

5. 精简法学硕士 >> 火星人工智能

Lite LLM 是一个开源库，允许您在一行代码中将 LLM 切换为 LLM，而另一方面，Martian 是它的闭源版本。

好吧，不完全是，实际上，虽然两者都允许您将 LLM 换成 LLM，但 Martian AI 是一个 LLM 路由器，这意味着它会为您的 LLM 的每个输入选择最佳的 LLM，以优化准确性、速度和成本。

在这种罕见的情况下，我不得不说这两款都是非常好的产品。

🌟 在 GitHub 上加星标

火星人工智能：https ://withmartian.com/

好了，以上就是你绝对应该了解的开源和闭源 LLM 开发工具列表。觉得我遗漏了什么吗？欢迎在下方评论告诉我！

感谢您的阅读，下次再见😊