-
Nougat – 强出天际,学术之光,PDF OCR神器,Meta AI开源,让人头疼的公式表格全部拿下~
科学知识主要存储在书籍和科学期刊中,通常以 PDF 的形式存储。然而,PDF 格式会导致语义信息丢失,尤其是数学表达式。我们提出了 Nougat(学术文档的神经光学 理解),这是一种 Visual Transformer模型,它执行光学字符识别(OCR)任务,将科学文档处理为标记语言,并证明了我们的模型在新的科学文献数据集。所提出的方法提供了一种有前途的解决方案,通过弥合人类可读文档和机器可读文本…- 1.9k
-
AudioCraft – 顶级音乐生成AI工具,来自Meta AI免费开源,音乐效果媲美音乐家作品~
一、AudioCraft是什么? AudioCraft是Meta AI免费开源的一款深度学习进行音频处理和生成的库。可满足您所有的生成音频需求:音乐、音效以及原始音频信号训练后的压缩。 它具有最先进的EnCodec音频压缩器/标记器,沿着MusicGen,一个简单可控的音乐生成LM,具有文本和旋律调节。 素材训练使用2万小时的授权音乐来训练MusicGen。 二、AudioCraft的项目地址: …- 1.9k
-
Osprey – 首个像素级别的区域图像分析多模态AI工具
A part of Along the River During the Qingming Festival (清明上河图) Spirited Away (千与千寻) Osprey 是一款创新图像分析AI工具,旨在提升大型语言模型(LLM)对图像的理解能力,精确到像素级别。它使用户能够在图像上选择特定区域,并对这些区域进行深入分析和识别。 一、什么是Osprey? Osprey 是一种掩码文本指令…- 1.6k