当参数突破临界点:AI模型为什么会突然"开窍"
2022年,Google Research的研究者在分析GPT-3系列模型的算术能力时,发现了一个令人费解的现象:在三位数加法任务上,60亿参数的模型准确率仅为1%,130亿参数的模型提升到8%,但当模型扩展到1750亿参数时,准确率突然跳跃到80%。这不是渐进式的提升,而是近乎垂直的跃迁。 ...
2022年,Google Research的研究者在分析GPT-3系列模型的算术能力时,发现了一个令人费解的现象:在三位数加法任务上,60亿参数的模型准确率仅为1%,130亿参数的模型提升到8%,但当模型扩展到1750亿参数时,准确率突然跳跃到80%。这不是渐进式的提升,而是近乎垂直的跃迁。 ...
2020年5月,OpenAI发布了一篇题为《Language Models are Few-Shot Learners》的论文。论文的核心发现令研究社区震惊:一个拥有1750亿参数的语言模型,竟然可以在不更新任何参数的情况下,仅凭提示中的几个示例就学会全新的任务。 ...
2023年5月,纽约联邦法院审理一起看似普通的航空伤害赔偿案。原告Roberto Mata的代理律师提交了一份详尽的法律简报,引用了Zicherman v. Korean Air Lines Co.、Varghese v. China Southern Airlines Co.等多个先例。问题在于——这些案例在现实中根本不存在。 ...
演讲前几分钟,腹部开始隐隐作痛;重大考试当天,胃里翻江倒海;收到那封重要邮件后,一阵尖锐的痉挛袭来。这些体验如此普遍,以至于我们习以为常。但为什么情绪波动会精准地"打击"胃部?答案藏在一条连接大脑与胃肠的神秘通道里——科学家称之为脑肠轴(Gut-Brain Axis)。 ...
痒,可能是人类最矛盾的感觉体验。它微不足道,却能把人逼疯——慢性痒患者的生活质量评分与慢性痛患者相当。它令人抓狂,挠一下却又无比舒爽——那种"解了"的快感让人欲罢不能。更奇怪的是,看别人挠痒,你也会跟着痒起来。 ...
很多人都有掰手指的习惯,那声清脆的"咔"响,有人觉得解压,有人听了头皮发麻。但无论你属于哪一派,这个动作背后隐藏的物理学和生理学机制,远比大多数人想象的复杂。科学家们为此争论了将近八十年。 ...
1922年,爱荷华州的一位农民Charles Osborne在试图称量一头猪的重量时,突然开始打嗝。他没能想到,这个看似平常的反射会持续整整68年——直到1990年才停止。据估算,Osborne一生中打嗝约4.3亿次,创造了吉尼斯世界纪录。这个极端案例揭示了一个被科学家研究了数百年却仍未完全解开的谜题:我们为什么会打嗝? ...