LLM基的编码辅助工具已存在约两年，许多开发者报告称这显著提高了他们的生产力，有的甚至提高了5倍到10倍。然而，这种提升并非普遍存在，软件行业的整体输出并未因此大幅增加。LLM工具在处理非琐碎任务时显得复杂，需要对工作流程进行大幅调整，这对大多数程序员来说并不容易。因此，5倍到10倍的生产力提升可能仅限于那些精通LLM的高级用户。
实证上，软件行业并未出现整体5到10倍的效率提升。个人感受上，使用过的软件功能和数量并未显著增加，软件的表现也没有明显提升。然而，LLM工具在生成代码方面确实提供了一些帮助，尤其是在编写小功能或帮助初学者快速入门和学习方面。但总体上，这种提升可能在10%到30%之间，且对软件质量可能产生负面影响，如生成的代码可能需要大量修复。
真正的LLM生产力提升可能体现在特定项目或创新中，但目前尚未有明确的证据。作者怀疑LLM可能更多地用于生成一次性的、未经充分验证的代码片段，而非实际提升软件行业的整体生产力。作者呼吁提供具体的、重要的实际影响证据，而不是抽象的经济指标或模糊的夸大其词。