Exploring the Robustness of Large Language Models for Solving Programming Problems
《Exploring the Robustness of Large Language Models for Solving Programming Problems》，作者是Atsushi Shirafuji、Yutaka Watanobe、Takumi Ito、Makoto Morishita、Yuki Nakamura、Yusuke Oda和Jun Suzuki，分别来自会津大学、东北大学和日本电信通信科学实验室。
摘要
论文探讨了大型语言模型（LLMs）在解决编程问题方面的鲁棒性。近期，基于Transformer的模型，如Codex和ChatGPT，显示出解决编程问题的高度能力。然而，这些模型是基于对问题描述的理解生成程序，还是仅仅基于训练数据中的相关问题检索源代码，这一点尚未明确。为了探索这个问题，作者对几种流行的LLMs进行了实验，包括CodeGen和GPT-3.5系列模型，这些模型能够处理编程入门问题中的代码生成任务。实验结果表明，CodeGen和Codex对问题描述的表面修改非常敏感，这显著影响了代码生成性能。此外，Codex依赖于变量名，随机化变量名显著降低了解决率。然而，最新技术（SOTA）模型，如InstructGPT和ChatGPT，显示出对表面修改的更高鲁棒性，并具有解决编程问题的卓越能力。
引言
介绍了自然语言处理（NLP）的最新进展，以及LLMs如何通过训练数据集包含源代码来生成类似人类的源代码。这些模型可以应用于多种与代码相关的任务，例如代码生成、代码摘要、代码翻译、代码补全、错误检测和程序修复等。
研究问题
论文提出了一个主要的研究问题：LLMs是否真正理解给定的编程问题并生成程序，还是仅仅基于表面线索从训练数据中检索最相关的源代码？
实验
作者进行了两种类型的实验：(1) 格式化问题描述，(2) 修改问题描述。实验使用了Aizu Online Judge (AOJ)上的编程问题描述，并使用隐藏测试用例来验证生成程序的功能正确性。
结果与讨论
实验结果显示，CodeGen和Codex可能在某些情况下不理解查询和源代码，因为它们的性能受到问题描述的格式化和修改的影响。而InstructGPT和ChatGPT等最新模型，即使在问题描述中进行了几种修改，也显示出几乎相同的性能，表现出对修改的鲁棒性。
相关工作
论文回顾了关于LLMs在代码生成方面的相关研究，包括使用不同类型Transformer模型的研究，以及使用LLMs解决编程问题的研究。
结论
论文得出结论，尽管LLMs能够在一定程度上解决问题，但这并不意味着模型理解问题并且能够解决同一水平上的其他问题。研究发现，对问题描述的微小修改可以显著影响代码生成性能；然而，随着模型的发展，它们正在获得鲁棒性，这种影响正在被减轻。
致谢
这项工作得到了日本学术振兴会（JSPS）KAKENHI资助的资助。
论文的详细内容还包括了问题格式化示例、实验的具体设置、使用的评估指标、执行环境的描述，以及对实验结果的深入分析。