“太好了,我帮你完成了如下的工作。”模型总这样说,实际却可能说一套做一套。
蚂蚁AI安全实验室研究员孙博文向记者分享了一个技术人用coding(编程)大模型遇到的现象:向模型布置一个任务去写代码,模型总会很快说自己“完成”了,并列出一堆自己做的工作细则,但人去验证会发现,模型声称完成的内容很多,其实许多只实现了接口,“表面完成了,但实际未完成的部分被它静默隐藏了。”
看似对人类有求必应的大模型开始出现不诚实的行为。与传统意义上的模型幻觉不同的是,近年来,大模型的“讨好型人格”让它们在回应人类的诉求时,产生静默失败和自信幻觉等问题。步入智能体时代,当AI从对话走向执行,这一问题也在变得更为严峻。
【资料图】
AI浮现“讨好型人格”
越来越多用户发现,讨好用户似乎正在成为大模型的惯性,潜移默化地影响大模型各个场景下的输出。
记者为此做了一个实验:将同一篇新闻稿件上传给各个大模型,在不同的对话中分别以“这是我写的稿件”和“这是我讨厌的同事写的稿件”,请大模型从新闻角度为稿件打分,结果发现,deepseek、豆包、chatgpt等给“讨厌的同事”的分数均低于“我”,十分制下,deepseek给的分差达到了2.3分。
这意味着,模型对人类的讨好已不仅停留在表达上的取悦,它开始动摇模型对内容、观点的判断。随着智能体时代的到来,模型的讨好行为甚至从观点迎合扩展至结果迎合。
“在Agent场景中,模型还会进行结果迎合。”孙博文告诉记者,由于用户布置任务通常期待一个明确的结果,即便文件没有生成、外部系统调用失败,模型也会说自己尝试了,或者不按照用户要求尝试另外一种实现方式,最终给出“完成”用户任务的“正确”结果。
孙博文举例,他曾做一个涉及天气查询功能的智能体,验证过程中他发现,智能体给出了天气状况,但可能没有真正去调用查询天气的接口,自己杜撰了一个天气反馈给用户。
在他看来,coding模型上述问题可能是由于上下文不足带来的“静默失败”,而智能体杜撰天气,可能是智能体调用错了skill并认为自己是对的,产生了“自信幻觉”。
“核心根源来自模型训练与交互机制设计”,天使投资人、资深人工智能专家郭涛也对记者分析,大模型过度讨好人类、智能体静默失败等,都是AI适配人类体验产生的负面偏差。
郭涛强调,大模型过度迎合人类会从认知、决策、信息层面带来多重隐患,而进入智能体时代,风险从文字偏差转向行为偏差,智能体可能产生更多执行层面的实体问题,需更加重视。
AI为什么不诚实?
如何才能让模型变得更独立、诚实?正在成为行业需要思考的新课题。
“讨好型人格”的背后是模型训练机制的系统性问题。过去几年的发展中,大模型不断被训练得让用户体感越来越好,在RLHF(基于人类反馈的强化学习)训练框架下,人类偏好往往会成为重要优化信号,模型会被鼓励表现得礼貌、有帮助、有回应感,智能体的训练同样如此。
这总体上是用户需求带来的大模型厂商“用脚投票”。孙博文介绍,从数据清洗、训练数据的构造再到模型训练的过程,模型学到一些捷径——给出一个肯定用户、明确的成功答案会比反复表达不确定性,更容易取悦用户。
想要纠偏模型的过度讨好,从训练数据和奖励目标上都应进行调整。
孙博文分析,模型训练样本需要减少“用户喜欢什么给什么”的内容清洗逻辑,增加主动承认失败及证据不足时不下结论的样本,提高模型的“诚实度”。同时,模型也需要调整奖励目标,除了奖励用户满意度,还要提高客观性、任务真实完成情况等奖励权重。
一些新训练方法也正被探索。
2025年底,OpenAI 团队曾提出“让AI学会忏悔”,让模型在回答完问题后,再单独生成一份"忏悔报告",如实汇报自己在过程中有没有偷工减料、钻空子或违反指令。研究发现,当主回答与忏悔内容的奖励完全隔绝后,模型在“忏悔”中比原回答中诚实得多。
谷歌研究院也在 2026年提出,不再让AI死磕“全知全能”,而是让模型认知自身的知识边界,教会它在哪些事情上说“我不确定”。
在数据体系方面,孙博文提到,行业应该拿出更多智能体实际执行的数据加强人工标注。发现智能体执行有问题,就可以构建成一条训练数据,增加对它隐瞒失败的惩罚、修正失败的奖励。他强调,目前这些数据的积累和相关评测体系都很缺乏。
“考核模型的数学能力、知识能力等有很多评测标准,但如何评估模型的自省能力乃至诚实性,行业总体的关注度是不足的,这确实是仍需发展的领域。”孙博文表示。
智能体如何避免“讨好”陷阱
当前阶段,如何规避模型“讨好”带来的智能体执行风险成了更现实的问题。
“我们做Agent平台使用很多大模型的时候,为了减少静默失败,会在关键配置里强调关键决策、参数补充,要它给出佐证,这是常常提高成功率的办法。”孙博文介绍,训练模型时,团队也会关注诚实性训练,例如将系统执行日志分类为计划执行、正在执行、执行失败、可验证执行成功等各类数据,再去进行训练,训练时还会强调智能体在条件冲突或证据不足时要主动报出来,再做相应的调整。
他透露,团队从年初尝试以这种方式训练某个行业头部智能体平台,最初它执行任务时静默失败的概率是40%,经过系统训练,静默失败率降到了7.7%。
另一个思路是通过多智能体协作网络的设置,降低智能体长程任务中的错误累积。孙博文介绍,蚂蚁此前开源了 Avernet V0.1,通过群组管理、协作模式和可追踪执行等机制组织多智能体协作,并可设置主从模式,自定义编排等模式,帮助协作群管理角色进行检查和纠偏。此外,还可以在智能体群中引入专门工具来判断一些任务执行的好坏。
这意味着,解决大模型和智能体的“讨好”问题,可以从模型训练、Agent系统乃至架构方面多重推进。
此外,郭涛提到,除了模型训练对齐体系的调整、智能体技术机制的完善,行业标准与测评监管维度的优化同样重要,行业需要建立统一规范,将过度讨好、虚假反馈、静默失败等纳入模型合规测评体系。
“行业已经在变化。”孙博文告诉记者,从实际体验来看,coding等更接近执行层面的大模型已经在改善“讨好”人类优先任务事实的状况,一些更重视用户付费意愿的对话式AI可能转变慢些,但行业整体在往前走。
“不同团队解决的问题大小不一样,时间上的花费可能也不一样”,他并不确定行业解决这个问题的具体时间表,“但AI界有一个现象还挺好的,大家都认为这个东西有问题的时候,就会有人站出来,一直去尝试解决它。”
- 焦点短讯!顺着说、假装做,大模型“讨好型人格”成智能体时代新挑战
- 今日快讯:斯诺克上海大师赛:中国德比同场上演 赵心童、吴宜泽晋级八强
- 美股三大指数集体收跌 光通信、存储板块继续大跌-焦点讯息
- 焦点信息:伯恩茅斯锋线新星脚伤缺阵三至四个月 无缘欧联杯开局
- 今日快讯:一夜7大转会!切尔西免签36岁亨德森,皇马有望5000万签罗德里!
- UConn换血后有了新门面:Demary成核心,Mullins拒NBA留校,15+5+5已在路上 焦点热闻
- 农产品(000061.SZ)新增一起对外投资,被投资公司为南昌西部物流产业有限公司
- 桦欣控股(01657.HK)年度营收1.66亿港元同比增8.1% 亏损扩大至730.40万港元
- 每日热议!保定市绿健科技有限公司成立 注册资本10万人民币
- 我国成功发射天链三号01星|视焦点讯
- ST合纵(300477.SZ):法院决定对公司启动预重整并指定临时管理人 新动态
- 大行评级|花旗:上调福特汽车目标价至20美元,评级升至“买入”
- 看点:莱茵金属Q2营收增长近70% 利润大幅超预期
- 【独家】生意社大豆油7月29日均差为-37.60元/吨 由负向缩小重新扩大
- 头条焦点:汇聚科技(01729.HK)发布公告,于2026年7月29日,该公司根据股份计划发行4.5万股股份
- 荣信文化: 关于控股股东、实际控制人及一致行动人、高级管理人员减持计划期限届满未减持股份的公告
- 杰富瑞上调雅诗兰黛目标价至88美元
- 今日热文:港股“子”曰 | 消费股的“春天”真的要来了吗?
- 美邦股份:上半年归母净利润5106.74万元 同比增长41.32%
- 研究发现:糖尿病人常吃南瓜子,不多久,血糖水平或有改善!
- 官方:皇马将于8月16日与沙尔克踢一场季前热身赛
- 耐世特联合沐风环保:开展亲子公益行,致敬城市守护者
- 大行评级丨美银:上调宁德时代AH股目标价,重申“买入”评级
- 官渡区很慧修通讯设备店(个体工商户)成立 注册资本3万人民币
- 韩股崩了!SK海力士跌超17%,创最大跌幅纪录;三星电子跌超10%,市值跌破9000亿美元
- 东兴证券:给予赛伍技术增持评级
- 每日速读!东莞市泽宗再生资源利用有限公司成立 注册资本5万人民币
- 招商银行:行长王小青任职资格获批 新视野
- 焦点速读:岳阳兴长:硫膏中试成功产出合格产品并出场
- 每日速看!日照恒塑达橡塑有限公司成立 注册资本100万人民币
- 吉水县敏君木业有限公司成立 注册资本10万人民币
- 北京中轴线申遗成功两周年:千年文脉融入烟火日常-信息
- 焦点精选!英矽智能ISM6331获美国FDA快速通道资格认定
- 3500 万捡漏世界杯队长!曼联放弃亿元巨星,锁定英超黑马铁腰
- 中欧班列累计开行量突破13万列
- 最新消息:7月28日创业板新能源ETF富国基金份额增加200万份,重仓股阳光电源、宁德时代、汇川技术
- 神助攻!阿隆索出手帮穆里尼奥减负!切尔西瞄准皇马 4300 万弃将|热文
- 巴萨重大危机!昔日头号核心彻底失势!忠心拒高薪或仍被清洗
- 天空体育记者:阿森纳准备为皇马边锋维尼修斯送上首份正式报价
- 热门中概股多数收高,纳斯达克金龙中国指数收涨1.08%_每日播报
- 每日热议!兴通股份与印度尼西亚国家石油集团签署战略合作协议
- 世体:巴萨已排除引进克鲁皮,他们认为樱桃1亿欧要价不合理-精选
- 每日动态!东方新能:连续2个交易日收盘价涨幅偏离值累超20%
- 每日热议!红宝丽:7月27日董事芮敬功减持股份合计5万股
- 燕郊房价暴跌真相 从 3.7 万到 8 千,环京睡城分化超乎想象 要闻
- 生意社正丙醇7月28日均线下穿 均差为-15.00元/吨_微动态
- AV CONCEPT HOLD(00595.HK)7月28日耗资19.8万港元回购19.8万股 热门看点
- 速看:科思股份:已搭建个人护理品配方开发与应用研究平台
- 爱朋医疗: 股票交易异常波动的公告 重点聚焦
- 珠江股份(600684.SH):截至第二季度末 在管住宅项目建筑面积约2090.84万平方米-热推荐
- Meta宣布与贝莱德达成战略合作,将在埃尔帕索开发数据中心
- 聚焦:共进股份(603118)龙虎榜数据(07-28)
- 迈巴赫妈妈“土味穿搭”,让家长清醒:认知低,看不懂有钱人的高级-每日热点
- 每日报道:华擎推出AMD Radeon RX 9050 Challenger 8GB显卡:16CU
- 追光 | 乒超新赛季,有三点新意
- 生意社:7月28日开封九泓DBP企业报价暂稳-短讯
- 当前热门:大华继显:降宁德时代(03750)目标价至675港元 下调盈测
- 蓉城夺冠全靠同行衬托!第二太烫手了,泰山保三争一成笑话,三镇能阻击领头羊吗?-每日视点
- 荣耀Robot Phone提前剧透 专业影像装进手机
- 今日热文:PriceSeek提醒:7月28日滨化环氧氯丙烷报价上调
- 中国人寿落地绿色股权投资计划 赋能内蒙古新能源产业 每日快讯
- *ST集友一字涨停 拟10.06亿元收购慧聚药业50.76%股份_焦点快播
- 今日热门!神火股份2026年中报管理层讨论与分析:铝电双轮驱动利润爆发,煤铝价格共振与成本改善共振
- 宁波队中甲11轮不败被终结,李玮锋:非常遗憾,非常惭愧 要闻速递
- 德合集团公布于7月28日上午起短暂停牌_速看料
- 粤超常规赛本周收官 7场比赛决定附加赛对阵 今日看点
- 今日热闻!中信建投:A股长期致胜的八个宏观视角
- 热门看点:1—6月全国电力市场交易电量同比增长24.2%
- 当前热议!兰剑智能:融资净偿还308.68万元,融资余额8758.66万元
- 天天快报!乔丹与詹姆斯谁是GOAT?科尔:以前觉得是乔丹,现在两人并列
- 库里交易流言越传越真?现实可能让球迷失望了 观焦点
- 湖人队东契奇训练挥汗如雨后,勒布朗·詹姆斯与76人队友也训练-每日精选
- 快消息!国内首个抗失眠创新药法赞雷生在美团买药线上首发
- IDC王吉平:“个人AI”将定义下一轮终端增长
- 锦富技术(300128.SZ):放弃本次上海金锦富增资扩股的优先认缴出资权 消息
- 乒超联赛引入积分循环赛 增加强强对抗场次 观察
- 至源控股(00990.HK)发布公告,于2026年7月27日斥资157万港元回购300万股_关注
- 今日精选:电气风电:公司各项运营一切正常
- 小摩维持宁德时代“增持”评级,H股目标价725港元
- 鸿仕达(920125):出资设立昆山鸿芯微测半导体设备有限公司并取得营业执照 焦点热议
- 速讯:2026山东高考985/211/普通本科的录取分数线汇总(含位次)
- 观天下!生意社:7月27日利华益维远化学环氧丙烷价格动态
- 焦点速讯:罗马诺:曼联后卫马兹拉维决定更换所属经纪公司
- 今日热文:传播辽醋文化 讲述国货匠心
- 焦点速读:生意社:7月27日烟台万华新戊二醇价格上涨
- 人形机器人规模化量产周期来临,机器人ETF易方达(159530)标的指数涨超3%
- 今日要闻!创远信科(920961)7月27日主力资金净买入70.97万元
- 7月27日铅锌板块涨幅达3% 精选
- 前沿资讯!阿斯:巴尔德和贝尔纳尔带伤出征,拉菲尼亚周中归队
- 产业多点开花 动能持续迸发——峄城区三大特色企业引领区域高质量发展_焦点讯息
- 友谊时光(06820.HK)早盘涨超6%,截至发稿,涨6.58%,报0.405港元 今日聚焦
- 每日看点!年内股价已跌去21%,李宁二季度流水承压,库里能否帮助“拿分”?
- 和而泰:截止到2026年6月24日公告控股股东、实际控制人质押股份为49,558,119股
- 北京:暑假乐游科技馆 最新资讯
- 焦点报道:部分脑机概念股走高 脑动极光-B涨逾9%南京熊猫电子股份涨逾7%
- 7月27日生意社玉米基准价为2255.71元/吨 即时看
- 新西兰央行“鹰派超车”欧洲央行!利差扩大或助力新西兰元兑欧元升至一年高位|今日观点
- 知乎-W于7月24日斥资13.9万美元回购13.16万股
- 利马回应背身照片争议:我们向对手致意了,当时在看阿根廷球迷 每日视点
- 看点:曼联头号水货逆袭翻盘!本来铁定被清洗,一场比赛强行续命