最近一直在琢磨,现在国内的大模型真是遍地开花,但用起来总觉得有点不踏实。你说问个问题吧,有时候回答得头头是道,有时候却能冒出些让人哭笑不得的胡话。这不上周就用了几个主流模型问同一个历史问题,结果三个模型给了三个不同的答案,还都信誓旦旦的。所以今天就借着第五 AI 的视角,好好跟大家掰扯掰扯,国内这几个热门大模型,到底谁的 “胡说八道” 更容易现原形。
🧐 基础常识关:谁在拿 “常识” 开玩笑?
先从最基础的常识题开始测,这就像给大模型做 “智商体检”,要是连小学课本里的知识都能答错,那真得打个大大的问号。
问 “一年有多少个节气”,这题够简单吧?文心一言、通义千问、混元都答对了是 24 个,还能顺嘴说出几个节气的名字,看来这点底子还是有的。但轮到豆包的时候,居然冒出一句 “一年有 22 个节气,其中立春和春分是最重要的”,当时就愣了,这错误也太明显了。再追问一句为啥是 22 个,它还能编出一套 “古代历法修订时删减了两个” 的理由,听得人直摇头。
再试试地理常识,问 “世界上最深的海沟是哪个”。通义千问和混元都准确说出了马里亚纳海沟,还附带了深度数据,看起来挺靠谱。文心一言虽然答对了名字,但把深度说成了 “大约 11000 米”,实际上公认的数据是 10909 米,虽说误差不大,但作为知识型回答,这种模糊处理总让人觉得不够严谨。最离谱的是讯飞星火,直接回答 “是菲律宾海沟,深度超过 10000 米”,这就属于完全的知识错误了,而且后续纠正时还嘴硬,说 “不同资料来源有差异”,这可不是差异,是硬伤啊。
🔬 专业领域测试:严肃知识容不得瞎掰
专业领域的知识出错,后果可比常识错误严重多了。就拿医学领域来说,随便一句错误建议都可能误导人。
问 “糖尿病患者能不能吃西瓜”,文心一言的回答比较稳妥,说 “可以少量吃,注意控制总热量摄入,每次不超过 200 克为宜”,还提醒了吃的时间最好在两餐之间,这符合营养学常识。通义千问也差不多,强调了 “西瓜升糖指数不低,需计算在每日碳水总量里”。
但混元的回答就有点问题了,它说 “糖尿病患者完全不能吃西瓜,西瓜含糖量极高”。这就太绝对了,实际上西瓜的含糖量在水果里并不算特别高,关键是控制量。更让人担心的是讯飞星火,居然说 “西瓜有降血糖的作用,糖尿病患者可以多吃”,这简直是在害人,这种错误要是被患者采信,后果不堪设想。
再看法律领域,问 “劳动合同期限三个月以上不满一年的,试用期不得超过多久”。正确答案是一个月,文心一言和通义千问都答对了,还引用了《劳动合同法》的具体条款,显得很专业。混元回答 “不得超过两个月”,差了一半。讯飞星火更绝,说 “没有明确规定,由用人单位和劳动者协商确定”,这完全是无视法律条文,要是企业真按这个来操作,那麻烦就大了。
🧩 逻辑闭环挑战:绕圈子还是露马脚?
有些问题本身不涉及硬核知识,但特别考验逻辑能力。一旦逻辑链条断了,很容易就开始胡编乱造。
出了个经典的逻辑题:“有一个池塘,里面有一片睡莲,睡莲每天的面积会扩大一倍,假设 30 天能长满整个池塘,那么第几天能长满半个池塘?” 这题的关键是反向推理,正确答案是 29 天。
文心一言很快给出了正确答案,解释也清晰:“因为每天扩大一倍,第 30 天满了,那前一天就是一半”。通义千问也答对了,还举了个类似的例子帮助理解。混元一开始说 “15 天”,明显是没转过弯来,追问之下才改口,但解释还是磕磕绊绊,看得出来是蒙对的。
最让人无语的是豆包,它先是说 “15 天”,被指出错误后,居然说 “题目里说每天扩大一倍,30 天长满,那半个池塘就是 30 除以 2,所以是 15 天”,这逻辑简直是一塌糊涂,完全没理解题意,就硬套数字,典型的为了回答而回答,根本不管逻辑对不对。
再试了个更复杂的:“小明的妈妈有三个儿子,大儿子叫大毛,二儿子叫二毛,三儿子叫什么?” 答案当然是小明。文心一言、通义千问、混元都轻松答对了。讯飞星火却回答 “叫三毛”,这说明它根本没注意到题目里的 “小明的妈妈” 这个关键信息,只顾着按数字顺序往下编,逻辑敏感度太低了。
⏳ 时效性信息考验:旧知识还是新动态?
大模型的知识更新速度很重要,尤其是涉及到时效性强的内容,用老黄历回答,跟胡说八道也没多大区别。
问 “2024 年夏季奥运会的举办城市是哪里”,正确答案是巴黎。文心一言和通义千问都答对了,还提到了举办时间是 2024 年 7 月 26 日至 8 月 11 日,信息很新。混元回答 “2024 年没有夏季奥运会,下一届是 2028 年在洛杉矶举办”,这就错得离谱了,2024 年巴黎奥运会是早就确定的事。
再问 “截至 2023 年底,中国高铁运营里程突破了多少公里”,正确数据是 4.2 万公里左右。文心一言回答 “超过 4 万公里”,比较接近。通义千问给出 “4.2 万公里”,很准确。混元说 “3.8 万公里”,这是几年前的数据了,明显没跟上更新。讯飞星火更夸张,说 “5 万公里”,纯属瞎猜,一点依据都没有。
还有个关于政策的问题:“2023 年个人所得税专项附加扣除有几项”,正确答案是 7 项。文心一言和通义千问都答对了,还列举了具体的项目。混元说 “6 项”,少了一项 “3 岁以下婴幼儿照护”,这是 2022 年新增的,看来它的知识还停留在那之前。
🤔 用户真实场景模拟:会不会 “不懂装懂”?
在实际使用中,用户经常会问一些比较冷门或者模糊的问题,这时候最能看出大模型是坦诚说 “不知道”,还是硬着头皮瞎编。
问了个冷门历史问题:“北宋时期,曾经在陈州担任通判的文学家是谁?” 这个问题确实有点偏,正确答案是苏辙。文心一言回答 “可能是苏辙,但不确定,需要查阅具体史料”,这种态度就很好,既给出了可能的答案,又表明了不确定性。通义千问直接说 “这个问题我不太确定,没有确切的资料支持”,也很诚实。
混元却说 “是苏轼”,实际上苏轼并没有在陈州担任过通判,这就是典型的不懂装懂。追问它依据是什么,它说 “苏轼在北宋时期曾任多地官职,陈州也有可能”,完全是凭感觉胡说。
再问一个模糊的问题:“我家的猫最近总喜欢啃塑料,这是怎么回事?” 文心一言回答 “可能是异食癖,也可能是缺乏某些微量元素,建议咨询兽医”,给出了可能性,同时建议专业人士,很合理。通义千问列举了几种可能的原因,还给出了一些暂时的应对方法,最后也建议就医。
讯飞星火却说 “猫啃塑料是正常现象,说明它在清洁牙齿”,这就太不负责任了,猫啃塑料可能是严重的健康问题,这种误导性的回答会让主人忽视潜在的危险。豆包则说 “塑料里含有猫咪需要的某种营养,多喂点塑料就行”,这简直是荒唐,完全不顾及宠物的安全。
📊 综合评分:谁最让人放心?
综合来看,在这次评测中,文心一言和通义千问的表现相对较好,虽然也有一些小错误,但在大部分情况下都能给出准确、严谨的回答,面对不懂的问题也能保持诚实,不会轻易胡说八道。
混元大模型的表现中规中矩,基础常识和简单逻辑题能答对,但在专业知识和时效性信息上有明显欠缺,偶尔会出现不懂装懂的情况。
豆包和讯飞星火的问题就比较突出了。豆包在基础常识和逻辑推理上错误较多,经常给出离谱的答案。讯飞星火则在专业领域和用户场景模拟中表现糟糕,好几次给出的回答都可能造成不良后果,“胡说八道” 的情况最为严重。
当然,这次评测只是针对部分场景,大模型的表现也可能会随着更新而变化。但无论如何,作为用户,我们在使用大模型时,一定不能完全轻信它们的回答,尤其是在专业领域和重要决策上,最好多方核实。毕竟,现在的大模型还没达到完美的程度,“胡说八道” 的情况时有发生,保持警惕总是没错的。
【该文章由diwuai.com
第五 ai 创作,第五 AI - 高质量公众号、头条号等自媒体文章创作平台 | 降 AI 味 + AI 检测 + 全网热搜爆文库🔗立即免费注册 开始体验工具箱 - 朱雀 AI 味降低到 0%- 降 AI 去 AI 味】