东方财富网 > 研报大全 > 行业研报正文

多模态文档大模型mPLUG-DocOwl

www.eastmoney.com 中智凯灵(北京)科技 查看PDF原文



名称 相关 涨跌幅



名称 相关 净流入(万)

  利用MLLM进行文档图片理解的五大挑战:

  文字相关的图片在类型、形状、大小三个方面都十分多样化,已有的MLLM的视觉编码器难以编码这些图片

  2023.7mPLUG-D9c9wl/UReader:无参数的形状适应的切图模块,EMNLP2023文档相关的任务形式很多样,包括信息抽取,问答和自然语言推理等,涉及文字识别和语义理解等不同层次;

  2023.7mPLUG-DocOwl/UReader:多任务联合学习,EMNLP2023文档图片在结构布局方面十分复杂多样化,其对于文档语义理解十分关键:2024.3mPLUG-DocQwl1.5:统一的结构学习

  作为文档图片的一类,Chart问答更考验模型的多步推理和数学计算的能力;2024.4TinyChart-3B:通过Program-of-Thought解决Chart领域多步推理和数学计算问题

  特殊场景(例如论文理解)下,文档图片的理解需要外部知识的支持2023.12mPLUG-PaperQwL:基于上下文的论文图表分析,MM2024

郑重声明:东方财富发布此内容旨在传播更多的信息,与本站立场无关,不代表东方财富观点。建议用户在阅读研报过程中,请认真仔细阅读研报里的风险提示、免责声明、重要声明等内容,用户据此操作风险自担。
文中涉及到的个股
最新研究报告
热门个股评级一览
个股未来3年盈利预测
个股财务指标排行榜
以下数据基于个股最新报告期
热门行业追踪

数据来源:东方财富Choice数据

郑重声明:东方财富网发布此信息的目的在于传播更多信息,与本站立场无关。东方财富网不保证该信息(包括但不限于文字、视频、音频、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资建议,据此操作,风险自担。

信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500