深入探究 Microsoft MarkItDown

什么是 MarkItDown？

MarkItDown是微软开发的一个 Python 包，旨在将各种文件格式转换为 Markdown。

自首次亮相以来，该库的人气一路飙升，短短两周内就获得了超过 2.5 万个 GitHub 星标！🤯

是什么让 MarkItDown 如此受欢迎？

MarkItDown 为多种文件类型提供强大的支持，例如：

• 办公格式：Word、PowerPoint、Excel
• 媒体文件：图像（带有 EXIF 数据和描述）、音频（带有转录支持）
• Web 和数据格式：HTML、JSON、XML、CSV
• 档案：ZIP 文件

它不仅能够处理Word等标准格式，还能处理多模态数据，这使其脱颖而出。例如，它使用OCR和语音识别从图像和音频文件中提取内容。

MarkItDown 能够将任何内容转换为 Markdown，使其成为 LLM 培训的强大工具。通过处理特定领域的文档，它提供了丰富的上下文，以便在 LLM 驱动的应用程序中生成更准确、更相关的响应。

MarkItDown 入门

使用 MarkItDown 非常简单 - 只需要 4 行代码：

from markitdown import MarkItDown

md = MarkItDown()
result = md.convert("test.xlsx")
print(result.text_content)

以下是 MarkItDown 的一些用例。

转换 Word 文档生成干净、准确的 Markdown：

即使多标签 Excel 电子表格也可以轻松处理：

ZIP 压缩包？没问题！该库会递归解析其中的所有文件：

最初，图像提取可能不会产生任何结果：

这是因为 MarkItDown 依赖于 LLM 来生成图像描述。通过集成 LLM 客户端，您可以启用此功能：

from openai import OpenAI

client = OpenAI(api_key="i-am-not-an-api-key")

md = MarkItDown(llm_client=client, llm_model="gpt-4o")

配置完成后，就可以成功处理图像文件了：

注意：LLM 不处理基于图像的 PDF。PDF 需要 OCR 预处理才能提取内容。

但是，PDF 在提取时会丢失其格式，因此无法区分标题和纯文本：

限制

MarkItDown 并非没有局限性：

• 没有 OCR 功能的 PDF 文件无法处理。
• 从 PDF 文件提取时无法进行格式化。

尽管如此，作为一个开源项目，它具有高度可定制性。由于其代码库简洁，开发人员可以轻松扩展其功能。

MarkItDown 的工作原理

MarkItDown 的架构简洁且模块化。其核心逻辑全部位于一个文件中。

它有一个DocumentConverter类，其中定义了一个通用convert()方法：

class DocumentConverter:
    """Base class for all document converters."""

    def convert(
        self, local_path: str, **kwargs: Any
    ) -> Union[None, DocumentConverterResult]:
        raise NotImplementedError()

各个转换器从该基类继承并动态注册：

self.register_page_converter(PlainTextConverter())
self.register_page_converter(HtmlConverter())
self.register_page_converter(DocxConverter())
self.register_page_converter(XlsxConverter())
self.register_page_converter(Mp3Converter())
self.register_page_converter(ImageConverter())
# ...

这种模块化方法可以轻松添加对新文件类型的支持。

文件转换工作流程

办公文档

使用 、 或 等库将 Office 文件转换为 HTML mammoth，pandas然后pptx使用 转换为 Markdown BeautifulSoup。

音频文件

speech_recognition音频通过利用 Google API 的库进行转录。

（微软，为什么不使用 Azure？💔）

图片

图像处理涉及通过 LLM 提示生成标题：
"Write a detailed description for this image."

PDF

该库可以处理 PDF，pdfminer但缺少内置的 OCR 功能。您必须对 PDF 进行预处理才能提取文本。

将 MarkItDown 部署为 API

MarkItDown 可以在本地运行，但将其作为 API 托管可以释放额外的灵活性，使其易于集成到 Zapier 和 n8n 等工作流程中。

以下是使用 MarkItDown API 的一个简单示例FastAPI：

import shutil
from markitdown import MarkItDown
from fastapi import FastAPI, UploadFile
from uuid import uuid4

md = MarkItDown()

app = FastAPI()

@app.post("/convert")
async def convert_markdown(file: UploadFile):
    unique_id = uuid4()
    temp_dir = f"./temp/{unique_id}"

    shutil.os.makedirs(temp_dir, exist_ok=True)

    file_path = f"{temp_dir}/{file.filename}"
    with open(file_path, "wb") as f:
        shutil.copyfileobj(file.file, f)
    result = md.convert(file_path)
    content = result.text_content

    shutil.rmtree(temp_dir)

    return {"result": content}

调用 API：

const formData = new FormData();
formData.append('file', file);

const response = await fetch('http://localhost:8000/convert', {
  method: 'POST',
  body: formData,
});

免费托管 API

托管 Python API 可能比较棘手。像 AWS EC2 或 DigitalOcean 这样的传统服务需要租用整台服务器，这通常成本不菲。

但现在，您可以使用Leapcell。

它是一个可以以无服务器方式托管 Python 代码库的平台 - 它仅按 API 调用收费，并提供慷慨的免费使用套餐。

只需连接您的 GitHub 存储库，定义构建和启动命令，一切就绪：

现在您拥有一个托管在云中的 MarkItDown API，可以随时集成到您的工作流程中，最重要的是，只有在真正调用时才会收费。

立即在Leapcell上构建你自己的 MarkItDown API ！😎