MinerU

基本介绍

MinerU是由上海人工智能实验室OpenDataLab团队在2024年7月4日世界人工智能大会（WAIC）科学前沿主论坛上开源的智能数据提取工具，旨在解决复杂多模态文档处理难题，提升AI语料准备效率，并通过与RAG技术结合，助力法律、财务、学术等垂直领域构建新知识引擎。该工具分为Magic-PDF与Magic-Doc两大组件，其中Magic-PDF可识别PDF文档中的图文、表格、公式等元素并转化为Markdown或Latex格式，支持扫描版及乱码PDF处理；Magic-Doc专注于网页干扰信息过滤与正式内容提取，同时支持docx等格式批量转换。

产生背景

在这个信息爆炸的时代，AI研究者常常面临着从大量文档中提取高质量数据的挑战。无论是学术文献、行业报告、会议PPT、课本、说明书还是合同单据，这些文档往往以PDF或网页的形式存在，内容复杂，格式多样，给AI语料的快速、精准提取带来了不小的难度。

发展历程

在2024年7月4日举行的WAIC 2024科学前沿主论坛上，在数据处理环节，上海人工智能实验室（上海AI实验室）大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU。

特色功能

<h3> 主要功能 </h3> <p> MinerU，作为一款全能、开源的文档与网页数据提取工具，致力于简化开发者的数据处理流程。它不仅能将混合了图片、表格、公式等在内的多模态PDF文档精准转化为清晰、易于分析的Markdown格式；还能从包含广告等各种干扰信息的网页中快速解析、抽取正式内容；同时支持docx等多种格式批量转化为Markdown…… </p> <p> MinerU由2个部分组成，Magic-PDF（PDF文档提取）、Magic-Doc（网页提取）。分别提供不同功能：01快速识别与转换MinerU中的Magic-PDF能够快速识别PDF版面元素，自动删除页眉、页脚、脚注等非正文内容，保留原文档的结构和格式，包括标题、段落、列表等，准确提取图片、表格和公式等多模态内容，并根据顺序，将文档转化为清晰、通顺、易读的Markdown格式。 </p> <p> 在OpenDataLab自研的公式识别模型加持下，Magic-PDF也能轻松地将其转化为Latex格式。另外乱码PDF、扫描版PDF等也能自动识别并转换…… </p>