🔥 如何在 2024 年学习 RAG:从初学者到专家(循序渐进)🚀
每个人似乎都担心人工智能会抢走我们的工作。
但令人惊讶的是,很少有人真正深入研究在实际环境中使用人工智能模型的基本方面。
到目前为止,大多数技术人员都听说过 RAG(检索增强生成)。简单来说,RAG 只是一种将文档或某些知识源链接到 AI 模型的方法。
如果你只是用 5 个文档和 ChatGPT 来思考,这听起来很容易。但是,如果你考虑一下任何人或一家公司需要如何处理数千、数万甚至数百万个文件,那就完全是另一回事了。
几乎所有公司都面临这个问题。正因如此,我极力主张每个人都至少对 RAG 有一个基本的了解,因为它是运用 AI 模型所需的基本知识之一。
2024年提升你的AI知识
正是受此启发,LLMWare 在 YouTube 上创建了免费的分步视频,教你 RAG 的基础知识。通过 7 个简短的视频(每个视频时长 8 到 15 分钟不等),你就能学会 RAG。注意:前提条件是具备 Python 基础知识。
正如生活中的任何事情一样,如果你认真对待,这将是你成为人工智能专家的起点。即使你对成为人工智能专家不感兴趣,了解 RAG 的各个组成部分的工作原理也绝对会让你受益匪浅,因为许多公司都会采用这些工作流程。
准备好开始了吗?简介
此 RAG 简介视频将引导您了解 RAG 的基本组件,以便您可以使用 LLMWare 开始您的 AI 之旅。
1. 解析、文本分块、索引
创建您的第一个库并开始执行基本步骤。库中的文档需要解析为统一格式,然后拆分成更小的文本(分块),并使用所有元数据进行索引。本视频将引导您完成此步骤。
2. 构建嵌入
什么是嵌入、嵌入模型、向量和向量数据库?在本教程中,我们将学习嵌入、嵌入模型、向量和向量数据库背后的基本概念。
您将使用 Hugging Face 中的模型构建您的第一个嵌入以存储到数据库中,并使用这些嵌入来运行您的查询。
3. 提示模型
通过加载和提示来自 Hugging Face 和 OpenAI 的模型来了解如何提示模型。
使用此示例开始推理模型,并了解如何使用传递的上下文检查模型是否提供了正确的答案。了解如何捕获模型的使用数据,例如令牌消耗量、输出和总处理时间。
4. 带文本查询的 RAG
通过本视频,你将开始搜索。我们将从嵌入库中提取某种形式的知识,并将这些知识与模型整合在一起。
了解如何将正确的 RAG 策略与深思熟虑的检索和查询策略以及正确的模型结合起来完成工作。
5. 带语义查询的 RAG
现在,你真的取得了进展。你现在可以开始语义搜索了。语义搜索也称为自然语言查询,这正是我们利用嵌入和向量数据库的优势所在。
您将能够使用自然语言查询您的知识库,提出问题,从最复杂的法律文件中获得答案。
6. 具有多步骤混合查询的 RAG
今天是毕业日!(如果你一直关注到这里的话)。我们将快速回顾你在之前视频中学到的所有内容,并学习如何在笔记本电脑上使用 Hugging Face 的量化 DRAGON-YI-6b-GGUF 模型。
执行多步骤混合查询以获得所需的响应。
还要学习如何执行证据验证(防止模型幻觉)以及如何将所有输出保存为 JSON 或 CSV 文件以供将来的数据集或审计。
看完这些视频后,您就可以深入研究并体验生成式人工智能的所有非常酷的方面,包括构建复杂的代理工作流程。
请查看我们的 Github 并留下一颗星!https://github.com/llmware-ai/llmware
在 Discord 上关注我们:https://discord.gg/MgRaZz2VAB
请务必访问我们的网站llmware.ai以获取更多信息和更新。
文章来源:https://dev.to/llmware/become-a-rag-professional-in-2024-go-from-beginner-to-expert-41mg