优化人工智能对话：深入探讨语义搜索和多模态输入

人工智能聊天助手

这是Pinata 挑战赛的参赛作品

我建造了什么

我开发了一个人工智能聊天助手平台，它利用先进的语义搜索技术，从多样化的内容中分析和检索相关数据。该平台通过 LangGraph 工具智能处理用户输入，该工具会确定何时仅在必要时调用 RAG（检索增强生成）工具，从而优化性能。这确保了高效检索相关参考文献，从而提升语言模型响应的准确性和相关性。

该系统支持多种输入格式，包括图像、YouTube 链接和 PDF。对于视频，它通过 YouTube API 检索元数据，并使用大型语言模型 (LLM) 生成简洁的摘要。同样，它还能从图像中总结内容，从而为不同类型的媒体提供全面而丰富的用户体验。

此外，该平台集成了 Stable Diffusion 技术，可根据文本提示生成图像。生成的图像存储在 Pinata (IPFS) 中。平台还保留完整的聊天历史记录，确保对话流畅连续，并允许用户轻松查阅之前的互动记录。

LangGraph流程：

• 高级语义搜索：

  • 有效地分析并从向量存储中检索相关数据。
  • 利用 LangGraph 工具仅在必要时调用 RAG 工具来优化工作流程。

• 多格式输入支持：

  • 处理图像、YouTube 链接、PDF 和文本文件。
  • 通过 YouTube API 检索视频元数据并使用 LLM 生成简明摘要。
  • 总结图像内容，实现无缝多媒体分析。

• 图像生成：

  • 集成稳定扩散，根据用户提供的文本提示生成图像。
  • 使用 Pinata（IPFS）存储生成的图像以实现分散访问。

• 全面的聊天记录：

  • 允许用户选择要存储的聊天记录并轻松参考以前的互动。

• 优化性能：

  • LangGraph工具确保仅在必要时调用RAG，从而增强响应的相关性和效率。

演示

演示视频：链接

我的代码

更多详情

该平台集成了 Stable Diffusion，可根据用户文本提示生成图片。生成的图片存储在 Pinata (IPFS) 中，聊天记录也由 Pinata 负责维护，并利用 CDN 实现高效的图片访问。

使用的 TechStack：

• NextJS
• 朗查因
• LangGraph
• 皮纳塔
• Huggingface API
• Azure OpenAI 法学硕士
• 松果
• Firebase
• Redux