大语言模型中的涌现现象是不是伪科学？
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(资料图片)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关文章
大语言模型中的涌现现象是不是伪科学？
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《EmergentAbilitiesofLargeL
绿水青山图_北京高考满分作文 以智者的态度直面现实_高考满分
抄写作文网小编为大家提供绿水青山图_北京高考满分作文以智者的态度直面现实_高考满分来供大家参考，欢迎阅读。绿水青山图_2018北京高考满分作
大众汽车紧急停售部分美国产ID.4:全球热讯
大众汽车紧急停售部分美国产ID 4盖世汽车讯据外媒报道，大众汽车集团已要求美国和加拿大的经销商停止销售其ID 4电动紧凑型跨界车，因为该
龙湖企业拓展：张旭忠出任公司董事长_天天实时
4月6日，龙湖企业公告称，根据《重庆龙湖企业拓展有限公司董事任免书》，公司董事会成员发生变动，苏西振不再担任重庆龙湖企业拓展有限公司董
【环球热闻】2023年4月cma考试准考证什么时候打印？
2023年4月cma考试准考证的打印时间在3月29日-4月8日期间。再过几天就到cma准考证打印截止时间了，大家一定要在这两天把准考证打印好。如果大家
五沟营镇开展人居环境观摩活动-最新资讯
为扎实推进农村人居环境整治工作，夯实村级整治主体责任，五沟营镇组织全体班子成员、各村支部书记开展人居环境观摩活动。观摩采取现场查看、
港股异动 | 中国黄金国际(02099)涨超15% 国际金价逼近历史前高 公司甲码矿成本有改善空间
中国黄金国际(02099)早盘涨超15%，截至发稿，涨14 71%，报35 1港元，成交额1 29亿港元。
北京文投原董事长周茂非、原总经理赵磊同日被双开
北京文投原董事长周茂非、原总经理赵磊同日被双开---中国经济网北京4月6日讯据北京市纪委监委5日通报，北京市市属一级企业北京文化投资发展集
卫衣搭配out了！现在流行“ 奶奶上衣 ”，越土越美！ 世界百事通
卫衣搭配out了！现在流行“奶奶上衣”，越土越美！,卫衣,碎花,衬衫,针织衫,连衣裙,奶奶上衣,日常穿搭
金骏眉与正山小种有什么区别 金骏眉和正山小种的区别在哪里
金骏眉和正山小种同样是属于红茶的一种，但是这两种又有什么区别呢？这两种茶叶从历史制作时间上就有很大的差异。金骏眉红茶可以说的在
中银证券给予太极股份买入评级 信创与数字经济的国家队领军企业
中银证券04月06日发布研报称，给予太极股份(002368 SZ，最新价：43 3元)买入评级。评级理由主要包括：1)公司为中电科旗下信创与数字经济核心力
【篮球】快船攻防两端均出现了下滑，面对崛起的湖人，球队没有了什么优势
周三上午，湖人进行了与爵士的比赛，此役背靠背面对快船，体能面对考验。快船在交易截止日得到了威少和戈登，在保罗乔治短期无法复出的情况下
当前视讯！天原股份: 宜宾天原集团股份有限公司董事、监事和高级管理人员持股情况变动报告
天原股份:宜宾天原集团股份有限公司董事、监事和高级管理人员持股情况变动报告
圣阳股份：一季度净利预增85.92%-127.76%
圣阳股份(002580)4月5日晚间发布业绩预告，预计2023年一季度归母净利4000万元-4900万元，同比增长85 92%-127 76%。报告期内，受益于
【中国网评】全球去美元化加速，美国滥用金融霸权终自尝恶果:世界球精选
【中国网评】全球去美元化加速，美国滥用金融霸权终自尝恶果,美国,货币,俄罗斯,去美元化,金融霸权,美元霸权
世界快报:网红城市这么多，淄博如何用小烧烤留住游客？
界面新闻记者|李如嘉最近，淄博烧烤意外出圈，刷爆了各大社交媒体平台。出门踏青，不如吃顿烧烤。地道淄博烧烤上桌时只被烤制到了七、八分熟，
最新年报出炉 华泰柏瑞质量领先混合A持仓曝光！加仓减仓这些股…
2022年度，截止至12月31日，华泰柏瑞质量领先混合A基金收益-40 61%，同期沪深300收益-21 63%，同类排名2630 2661。基金年度回报前十大
黑盒白盒测试方法_黑盒白盒测试区别:世界微头条
黑盒白盒测试区别如下：1 黑盒测试：已知产品的功能设计规范，可以通过测试来证明每个实现的功能是否满足要求。2 白盒测试：
SpaceX的对手“崩了”！维珍轨道申请破产
由于未能获得长期资金，维珍轨道公司（VirginOrbit）于周二（4月4日）在美国特拉华州破产法院申请了第11章破产
