AI领域再传震撼弹！知情人士称，OpenAI本月稍早内部展示一项重大技术突破，通过全新研发的优化方案，成功将模型推理成本削减超过一半，大幅提升算力使用效率。
据悉，OpenAI工程师向内部同仁展示，当将新技术应用于处理ChatGPT免费与付费帐号外的访客请求时，所需的英伟达高阶GPU数量竟骤降至仅「数百颗」水准，与先前动辄需要数万颗顶级芯片的规模相比，堪称奇迹。
目前，OpenAI如何实现此效率跃进的具体细节尚不明朗，但根据业界推测，常用的优化手段可能包括：透过「量化压缩」降低运算精度、「键值缓存(KV Cache)」减少重复计算、「批次处理」合并多笔查询，或将简单请求分流至功耗较低的轻量化模型。
这项突破对长期饱受高昂算力成本困扰的生成式AI产业而言，无疑是一剂强心针。
若能有效降低对昂贵GPU的依赖，不仅能大幅改善OpenAI的财务结构，更有望加速AI技术在更广泛场景的普及与落地。
