商汤商量大模型的多模态能力，基于日日新5.0版本，确实展现出了很强的实力。从技术架构到实际应用，它都有不少亮点。
先看技术层面，日日新5.0采用了混合专家架构（MoE），参数量高达6000亿，支持200K的上下文窗口。这意味着模型能够处理更长的文本，理解更复杂的内容。在数据方面，它使用了10T tokens的高质量训练数据，还大规模采用了思维型的合成数据，这对于提升模型的逻辑推理、数学和编程能力很有帮助。训练过程也很精细，分为三阶段预训练、双阶段SFT和在线RLHF，每个阶段都有明确的目标，避免了不同目标之间的干扰。
在多模态能力上，日日新5.0表现突出。在多模态大模型权威综合基准测试MMBench中综合得分排名首位，在MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU等榜单中也取得领先成绩。它支持高清长图的解析和理解，能进行文生图交互式生成，还可实现跨文档知识抽取及总结问答展示。比如，用户上传一张复杂的图表，模型可以准确解析并生成详细的分析报告。
多语言交互方面，商汤商量大模型也有不错的表现。商量2.0版本就突破了大语言模型输入长度的限制，支持阿拉伯语和粤语等地方语言。以粤语为例，用户用粤语输入一段文字，要求创作老子和孔子的对话，模型不仅能用粤语给出答案，还包含了问道、悟道、布道三个逻辑解释，语言表达自然流畅。
在企业应用中，商汤商量大模型解决了不少实际问题。在金融领域，金融智脑Agent能全面赋能营销获客、财富管理、合规风控等工作，可实现对客户需求的实时识别和实时响应，大幅减低员工培训时长，综合提升效率超过100%，运营成本节省80%。在医疗场景，“大医”医疗大模型利用超300亿token的高质量医学知识数据训练而成，可帮助患者在院内实现全流程高效就医，并在院外化身患者的“随身AI智慧健康管家”，实现全周期个人健康管理。
农业领域，商汤推出的“稷睿”种植决策大模型基于日日新5.0基座大模型，使用超10亿token农业数据、语料以及超1亿条遥感和图像标注样本，在遥感、语言、生长机理、气象4个领域进行针对性训练。它能根据环境和作物数据，实时生成农事建议，融合作物栽培学、生物、气象和政策法规等多学科知识，提供更全面合理的决策建议，还能做到因地制宜，生成准确定量的播种、施肥、灌溉、植保建议，为农业种植提供分析指导和辅助决策。例如，在耕地监测中，商汤“智能遥感云”平台仅需8-16个小时即可完成2000平方公里区县的耕地地块检测和分析，而传统人工目视判读方案则需2个月，效率提升60余倍。
教育领域，日日新5.0也有应用。它可以帮助学生进行学习辅导，比如解答数学题、分析文本等。学生将手写的数学题答案拍照上传，模型先进行解题，并对答案进行分析，然后以引导提问的方式为学生逐步剖析解题思路，还支持语音实时答疑，就像一个“一对一私教”。
在端侧部署方面，商汤商量大模型也有突破。端侧大模型推理速度在中端平台可实现18.3字/s的平均生成速度，旗舰平台可达78.3字/s。扩散模型同样可在端侧实现快速推理速度，端侧LDM-AI扩图技术在某主流平台上的推理速度小于1.5秒，支持输出1200万像素及以上的高清图片。此外，端侧模型矩阵包括商量Mini写作助手、总结助手和百科助手等特化模型，每台使用成本最低仅为每年9.9元，已支持在智能手机、平板电脑、VR一体机、车载电脑、智能台灯等多种IoT设备部署应用，目前已有超过150位客户启动商业对接。
行业认证方面，商汤日日新融合模态大模型获得了中国信通院可信AI多模态大模型首轮评估的最高评级——4+级，成为国内首家获此殊荣的大模型。这意味着商汤日日新不仅已具备行业领先的多模态推理能力，还能很好地满足各行各业真实场景中对模型通用性、泛化性和专业性的严格要求。
不过，商汤商量大模型也并非十全十美。在与其他大模型的对比中，虽然日日新5.0在中文综合成绩上超越了GPT-4 Turbo，但在某些特定领域，如纯英文的复杂逻辑推理，可能还存在一定差距。此外，端侧部署虽然成本低、速度快，但在处理极其复杂的多模态任务时，可能还需要依赖云端的强大算力。
总体来说，商汤商量大模型基于日日新5.0的多模态能力，在技术上有创新，在应用上有成效，为企业解决了不少实际问题。随着技术的不断发展和优化，相信它会在更多领域发挥更大的作用。
该文章由dudu123.com嘟嘟ai导航整理，嘟嘟AI导航汇集全网优质网址资源和最新优质AI工具。
