2015年4月6日月曜日

e-raterは何を見ているのか? 1




TOEFLのライティング問題は、

Q1 ・ Q2の両方とも、

「人間による採点」と、「e-raterというプログラムによる採点」の組み合わせにより判定されます










昔は全て人間による採点だったのですが、

数年前から、この「人間」と「e-rater」の組み合わせになっています。

テストを実施しているETSという団体は、

「心理統計学的にみて、この組み合わせの方が、人間のみor機械のみによる採点よりも優れている」

というスタンスをとっています(出典: ETSウェブサイト)。







よく、「人間が意味の面から採点して、e-raterは文法等の面から採点する」という説明がなされることがありますが、

もう少し詳しく、e-raterは、答案の何を見ているのか? が気になる人も多いでしょう。

というわけで、数回に分けて、e-raterが一体どのような観点で答案のエッセイを評価しているのか、を探ってみようと思います。









そもそもe-raterは、NLP(Natural Language Processing)、日本語で言えば「自然言語処理」と呼ばれる技術を利用しています。

最近、たとえばiPhoneにはSiriという機能がついていて、

スマホに話しかけるだけで、その内容を理解して返答を返してくれたりしますよね。

あれに使われているのも、このNLPという技術です。









この技術をもとに、e-raterは長い年月をかけて改良し続けられています。

これに伴って、e-raterが評価するポイントにも調整が加えられており、

「これがe-raterによる評価ポイント、永久保存版だ!」というものは残念ながらありません。

それでも、e-raterの研究レポートを年代順に読んだり、

ETSが発表している資料を確認してみると、

いくつか核となる観点(評価ポイント)があることが分かります。

(余談ですが、ETSのウェブサイトに行くと、大量のe-rater絡みの論文が載っていて、

 たとえば「コンマの間違いを直す」とか、「抜けてるハイフンを探す」とか、

 ちょっと笑ってしまうような、マニアックな論文も並んでいます。

 でも、こういう小さな技術の積み重ねで、

 e-raterは私たちのエッセイを採点することができているわけです。)











前置きはこのぐらいにしておいて、まず、誰もが思いつく評価ポイントからいきます。



文法 (Grammar)

これは想像通りですよね。

具体的に、どういうエラーをe-raterが検知するかというと、

例えば「Subject-Verb Agreement」に関するミス。

簡単に言うと、「主語(S)と、動詞(V)が、うまく対応していない」ということです。

(X)  Everyone like this idea.

は、本当は「likes」ですね。

(O)  Everyone likes this idea.


こういうのは、人間よりも機械の方が格段に得意なのは予想できますね。





他に、run-onsと呼ばれるミスもあります。

例を挙げると、

(X)  John likes animals, he doesn't like monkeys.

これ、2つの文をつなげているので、本当は間に「but」を入れたりする必要があります。

(O)  John likes animals, but he doesn't like monkeys.





もう1つ、fragmentsも紹介しておきます。

これは不完全な文を書いてしまうミスです。

最もよく目にするミスの1つは、

(X)  I had to work very hard yesterday. Because other members didn't come to the office.

という形。

これは、やってしまう可能性が非常に高いミスです。

正解は、

(O)  I had to work very hard yesterday, because other members didn't come to the office.

とすべきです。基本的に、Becauseだけで一文を構成することはせず、

~~, because ~~.

・・・と、一文にまとめて書きます。





他にも、代名詞のミスや、所有格のミスなどもe-raterによって即座に発見されます。











今回はもう1つ、e-raterが着目するポイントを紹介します。


用法 (Usage)

これは例がないと分かりにくいですね。

まずは冠詞関連のミス。

(X)  I have an bags. / I bought book there.  /  His idea was same with mine. 

これは簡単ですね。

(O)  I have an bags. / I bought a book there.  /  His idea was the same with mine. 









また、前置詞のミスのような分かりやすいものも、このカテゴリーに含まれています。

まあ日本人からすれば、この「用法(Usage)」も、

ほぼ「文法」みたいなものですね。

この辺りは「e-raterの仕事」だとみんなが思っているであろう分野ですが、

次回から、別の評価ポイントも紹介してみます。







・・・というわけで、長くなりそうなので、次回に続きます。





(※本記事は、ETSが公表している資料をもとにe-raterの評価項目等を推定して書いているものであり、現在のTOEFL(iBT)試験において同じアルゴリズムを用いて採点されていることを保証するものではありません。)





Related Posts Plugin for WordPress, Blogger...