OWASPベンチマークで高得点を獲得

貴社でお使いのアプリケーションセキュリティのベンダーには、必ず OWASP ベンチマークテストの「正確性スコア(Accuracy Score)」を尋ねるようにしてください。正確性スコアは全体像を提供します。ベンダーは、「検出スコア(True Positive Score)」を自社スコアだと主張したがるかもしれませんが、それでは全体像が判明しません。OWASP ベンチマークの正確性スコアは、検出と誤検出を組み合わせて製品の真の正確性を測定します。

OWASP ベンチマークは、TPR (検出率) から FPR (誤検出率) を引いて製品の全体としての正確性スコアを算出します。このため正しく脆弱性報告を差引勘定できます。100% というパーフェクトな正確性スコアは、製品の TPR が 100% でFPR が 0% のときに発生します。

例えば、複数の脆弱性をもつアプリケーションがあり、次の 3 つのアプリケーション・セキュリティ・テスト製品があったと想像してみてください。(1) あるアプリケーション・セキュリティ・テスト製品は何もしません。そのため、そのアプリケーション内で脆弱性を発見せず、誤報も発報しません。この場合 TPR は 0%、FPR も 0% であるため、ベンチマークのスコアは 0% となります。 (2) 別のアプリケーション・セキュリティ・テスト製品は、すべてのコード行や web ページに脆弱性を 1 個検出します。すると、すべての脆弱性を発見するため、この製品の TPR は100% となりますが FPR も 100% であるため、ベンチマークテスト上のスコアは 0% になります。(3) 3番目のセキュリティテスト製品の TPR とFPR が同じだった場合、この製品は実質的に推量をしていることになります。この製品もスコアは 0% になります。

Contrast Securityにおいては、最新のOWASPベンチマークテスト で 、TPR が 100%、FPR は 0% でした。TPR を FPR から引いて得られた Contrast Assess のスコアが 100% です。

ベンチマークプロジェクトは、OWASP の無償でオープンの原則に忠実に従うものです。誰でもプロジェクトのリソースをダウンロードして使用し、レビューし、プロジェクトに貢献することができます。最初のベンチマークリソースは現時点で、テストケースほぼ 3000 件を 11 の脆弱性カテゴリにわたって提供するアプリケーションです。テストケースには実際の脆弱性も、誤検出チェック用の脆弱性に似せたシナリオも含まれています。ベンチマークプロジェクトには、このテスト用アプリケーションだけでなく、テスト対象のアプリケーションセキュリティ製品のアウトプットを平準化して、正確性スコアを計算するツールも含まれています。