News

自家製ソフトウエアの誤りを、誰がチェックする?

Credit: THINKSTOCK

カリフォルニア大学サンタクルーズ校(米国)の生態学者Carl Boettigerは、研究論文に使われる科学ソフトウエアは、もっと厳格に審査(査読)されるべきだと考えている。そこで6月、この意見をブログに投稿した。すると、本人の予想に反して54件ものコメントが寄せられ、議論は大きな盛り上がりをみせた。どの程度細かく審査すべきなのか、研究者たちは議論を戦わせた。ある研究者は、論文掲載前の段階で、コンピューターコードにBoettigerの厳格な基準を要求するのは、「いささか傲慢ではないか」と反発した。

現在、この議論に、非営利インターネット組織「モジラ」の関連組織が加わっている。生態学や生物学から社会科学まで、多岐にわたる学問領域で自家製ソフトウエアが利用されている。「モジラ・サイエンス・ラボ」は、審査プロセスによってこうした自家製ソフトウエアの質が向上するのかどうか、確かめたいのだ。

彼らが進めている実験では、コンピューター生物学分野の掲載済み論文から選んだコードを、ソフトウエア技術者がチェックした。責任者のKaitlin Thaneyは、「科学の世界のコードには、他にも応用できるような普遍性や、すぐに使えるような完成度の高さはありません。ですから、一緒にやろうというのではなく、問題点をつつき出してみようということです」と語る。

コンピューターへの依存度は科学のあらゆる部分で高まっているが、多くの研究者は、コーディングつまりソフトウエア作成法について、正規の訓練を受けていない。このことが重大な問題を引き起こしている。例えば、もしもデューク大学(米国ノースカロライナ州ダラム)のがん研究者Anil Pottiが、原著論文と一緒にデータとコンピューターコードを発表していたなら、2007年の臨床試験の根拠とされた不正な発表は、ずっと早く露見していたに違いない。

不正確、あるいはずさんなコードは、他の研究者による確認作業を妨げ、場合によっては誤った結論を導いてしまう。2006年、スクリプス研究所(米国カリフォルニア州ラホヤ)のGeoffrey Changは、他の研究室から提供を受けたコードに誤りを発見し、結晶構造に関する論文5編を取り下げる羽目になった。

モジラはある有望な方法を調べている。それは、市販ソフトウエアの世界で、発売前に一般的に実施されている「コードレビュー」をすることだ。Thaneyによれば、その手順は科学論文の査読(ピアレビュー)によく似ているという。「文法やスペルから論理の正しさまで、すべての内容をよく調べるのです」。今回の場合、モジラは、PLoS Computational Biologyの編集者が8月に選んだ同誌の論文9編と取り組み、それぞれ、論文に含まれる200行ほどのコード断片を調べた。プログラミング言語は、RやPythonやPerlなど、広く使用されているものだ。

モジラの技術者は、得られた知見について、論文の著者と議論した。著者には、結果の公開の可否を含めて、いろいろな選択肢が用意されている。オープン・ユニバーシティ(英国ミルトンキーンズ)のコンピューター科学者Marian Petreによれば、その知見によって掲載論文の価値が影響を受けることはないという。Petreは査読者と著者の両方に話を聞くつもりだ。Thaneyは、数週間以内にプロジェクトの速報を発表したいと思っている。

コンピューター生物学者たちは、ソフトウエア技術者が科学プログラミングの中から多くの問題点を見つけだすであろうことを予想している。同時に、技術者から学ぶところも多いはずだと考えている。「技術者は、調べているコードの科学目的を間違えないために、生物学のおさらいをしているかもしれません」とBrownは言う。

非営利出版組織PLoSの生物学担当編集責任者Theo Bloomも同じように予想しているが、モジラの査読者に生物学の専門知識がなかったとしても、このような査読は有用だろうと話す。しかし、それは別の問題を提起する。いったい、科学論文誌は、この種の査読をどんな方法で持続的に実施できるのだろうか。

それには時間と技能がかかるので、査読者への報酬が正当化されるだろう。それは、大規模な臨床試験の統計レビューへの報酬と同じだ。しかし、査読者によるソフトウエアの監視は、逆効果となる可能性もある。ジョンズホプキンス大学公衆衛生大学院(米国メリーランド州ボルティモア)の生物統計学者Roger Pengは、「心配なのは、査読が行われることによって、科学者がコードを公表することに消極的になってしまうことです」と話す。「必要なのは、コードをどんどん出させることであって、見た目をよくすることではないのです」。

翻訳:小林盛方

Nature ダイジェスト Vol. 10 No. 12

DOI: 10.1038/ndigest.2013.131227

原文

Mozilla plan seeks to debug scientific code
  • Nature (2013-09-26) | DOI: 10.1038/501472a
  • Erika Check Hayden