得益于神经网络规模的扩大以及海量数据的训练，人工智能（AI）近年来取得突飞猛进的发展，包括“做大做强”的策略在构建大型语言模型（LLM）上取得了显著成果，ChatGPT就是一个典型例子。
然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。
训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行为，进一步收紧了访问权限，这将引发“数据共享”规模上的危机。
为此，开发人员必须寻找变通之道，其中包括收集非公开数据，选择使用自有数据训练AI模型，专注于快速增长的专业数据集，以及“制造”数据和开发更专更精的小模型等，但这些方法还有待进一步印证。
当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专门数据集、多次读取和自我反思等因素的结合，或将共同推动AI的进一步飞跃。
