Mistral 发布开源多模态模型 Pixtral Large，聊天助手 Le Chat 全面对标 ChatGPT
今日凌晨，Mistral AI 发布了最新开源多模态模型 Pixtral Large，该模型基于 Mistral Large 2 构建，展示出强大的图像理解能力，能够理解文档、图表和自然图像，同时还保持了 Mistral Large 2 优秀的纯文本理解能力。
据介绍，该模型具有强大的多模态性能，在 MathVista、DocVQA、VQAv2 上达到了 SORA，能够在不影响文本性能的前提下对 Mistral Large 2 进行扩展并具有 123B 多模态解码器、1B 参数视觉编码器以及 128K 的上下文窗口。
同时，他们的 AI 聊天助手 le Chat 也新增了网页搜索、画布、文件理解和图像生成等功能。
最新基础模型 Pixtral Large
Mistral AI 通过一套通用测试工具，在一组标准多模态基准上将 Pixtral Large 与前沿模型进行比较。他们使用 MathVista 评估模型在视觉数据的复杂数学推理方面的性能，在这项测试中，Pixtral Large 实现了 69.4% 的准确率，优于所有其他模型。为了评估复杂图表和文档的推理能力，他们使用 ChartQA 和 DocVQA 评估性能，结果显示 Pixtral Large 超越了 GPT-4o 和 Gemini-1.5 Pro。
图｜在使用 MathVista、ChartQA 和 DocVQA 评估性能时，Pixtral Large 均优于其他模型。
最后，Pixtral Large 在 MM-MT-Bench 上展示了具有竞争性的能力，表现优于 Claude-3.5 Sonnet（新版）、Gemini-1.5 Pro 和 GPT-4o（最新版）。MM-MT-Bench 是一种开源的、基于评判的评估，旨在反映多模态 LLM 的实际用例。
图｜Pixtral Large 在 MM-MT-Bench 上展示了竞争性能力。
以下是 Pixtral Large 的一些能力展示：
多语言 OCR 和推理
提示（Prompt）：
我买了咖啡和香肠。我需要付多少钱？加上 18% 的小费。
回复：
要计算出你需支付的总金额（包含 18% 的小费），请按以下步骤操作：
1.计算咖啡和香肠的费用：
-
2 杯拿铁玛奇朵：2 × 4.50 瑞士法郎 = 9.00 瑞士法郎
-
1 份炸猪排：22.00 瑞士法郎
-
咖啡和香肠的总费用：9.00 瑞士法郎 + 22.00 瑞士法郎 = 31.00 瑞士法郎
2.计算 18% 的小费：
- 小费：31.00 瑞士法郎 × 0.18 = 5.58 瑞士法郎
3.将小费加到总费用上：
- 应付总金额：31.00 瑞士法郎 + 5.58 瑞士法郎 = 36.58 瑞士法郎
所以，你总共需支付 36.58 瑞士法郎。
图表理解
提示：
dark dragon 项目何时开始出现问题？
回复：
“dark-dragon-50” 模型的训练损失在大约 10,000 步时开始呈现出明显的不稳定状态。此时损失值出现了显著的峰值，并且这种不稳定状态持续，在大约 20,000 步时又出现了一个较大的峰值。这些峰值表明“dark-dragon-50” 模型的训练过程从大约 10,000 步时开始遇到问题。
图像理解
提示：
哪些公司使用由 Mistral AI 制作的模型？
回复：
如图所示，使用由 Mistral AI 制作的模型的公司有：
1.法国巴黎银行（BNP Paribas）
2.Brave
3.Cloudflare
4.CMA CGM
5.Front
进一步对标 ChatGPT
Mistral AI 已开始着力于人工智能交互界面的投入，首先他们对 le Chat 进行了一些重大更新。Le Chat 是 Mistral AI 推出的免费生成式人工智能办公助手。
以下是 le Chat（测试版）新能力的简要概述：
-
带引文的网页搜索
-
用于构思、在线编辑和导出的 Canvas
-
SOTA 文档和图像理解技术，由 Pixtral Large 提供支持
-
由 Black Forest Labs 的 Flux Pro 提供支持的图像生成功能
-
从模型到输出的全集成式服务
-
通过推测性编辑实现更快的响应
以下是 le Chat 与当今市场上领先的聊天和搜索助手的比较：
具体而言：
网页搜索
le Chat 的大部分用户来自学生和专业人士，他们将其用于学习、研究和工作。为了更好地促进这些用例，Mistral AI 通过互联网搜索增强了 le Chat 的训练知识。
Canvas 画布
Canvas 是一个新的界面，当用户需要超越对话并进行构思时，它会弹出到用户的 le Chat 窗口中。它使用户能够与 Mistral LLM 合作完成共享输出，从而实现知识工作的 0-1 创作和构思。
Canvas 不再局限于双向对话，借助 LLM 强大的推理能力，可以直接修改、编辑或转换内容。
用户可以使用 Canvas 创建文档、演示文稿、代码、模型……等等。可以就地修改其内容而无需重新生成响应、版本控制草稿并预览设计。Canvas 可以让任何团队发挥无限的创意。
快速准确的文档理解
Le Chat 现在可以处理大型、复杂的 PDF 文档和图像，进行分析和总结。只需将文档附加到聊天栏，即可了解所有内容——图形、表格、图表、文本、公式、方程式……基本上是整个文档。
这些功能是由新的 Pixtral Large 实现的，与实验模型结合使用比之前的视觉模型 Pixtral 12B 强大得多。
图像生成
Mistral AI 与 Black Forest Labs 合作，将后者领先的图像生成模型引入 le Chat。现在，用户可以直接在 le Chat 中生成高质量的图像。
智能体
如果用户会重复使用某些提示内容，或者已经确定了某些希望能实现自动化的创意工作模式，那么用户可以将这些工作流程编写成智能体（agents）。常见的应用场景包括为费用报销进行收据扫描、为冗长的会议纪要生成摘要，以及发票处理等。
这些智能体可以发布并分享给团队成员。用户可以反复进行构思，构建功能愈发强大的智能体，以帮助自己更高效地完成工作。
原文地址：https://blog.csdn.net/AMiner2006/article/details/143885079
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！