关于Bug Finders的真相：他们基本上无用

今天的流行虫查找器仅抓住了软件代码中潜伏的漏洞的百分之一，尽管数百万美元的公司每年花费。

软件工程师通常使用BUG查找器来彻底省略可能转变为漏洞的代码中的问题。他们“LL通常会报告他们找到了多少虫子 - 你不知道的是错过了多少，留下成功利率开放的神秘面纱。

所以纽约大学的研究人员与麻省理工学院的林肯实验室和东北大学合作，决定找出他们缺少多少。

熔岩或大规模自动化漏洞添加，是由研究人员创建的技术，以测试错误查找工具的限制，以帮助开发人员改善它们。它确实这样做，通过故意向程序的源代码添加漏洞。

“评估Bug Finder的唯一方法是控制程序中的错误的数量，这正是我们对熔岩所做的，”纽约Tandon计算机科学与工程助理教授Brendan Dolan-Gavitt说。

系统插入已知数量的新颖漏洞，该漏洞是合成的，但具有许多与野外的计算机错误相同的属性。它是自动化的，因此它避免了手动，定制设计的漏洞的成本。

相反，熔岩在真实程序的源代码中使目标编辑产生了数十万个不孤立的，高度逼真的漏洞，这些漏洞跨越程序的执行寿命，嵌入在正常控制和数据流中，并且仅为一小部分输入的输入以避免关闭整个程序。

当用现有的错误查找软件测试时，表示今天常用的“模糊”和符号执行方法，只检测到熔岩创建的错误的两个百分之一。今年夏天，团队计划推出开放式竞争，允许开发人员和其他研究人员要求熔化版本的一块软件，试图找到错误，并根据其准确性获得分数。

“在这个领域的这种规模中从未成为绩效基准，现在我们有一个，”Dolan-Gavitt说。“开发人员可以争夺谁的吹牛权，谁在错误寻找中具有最高的成功率，以及将从过程中出现的程序可能更强大。”

详细介绍了该研究的纸张最近在IEEE关于安全和隐私作题讨论，并在会议诉讼程序中发表。