2015年4月6日月曜日

e-raterは何を見ているのか? 2



前回 の続きです。



TOEFLのライティング問題は、

「人間による採点」と、「e-raterというプログラムによる採点」の組み合わせにより判定されます


前回は、e-raterが、いわゆる「文法」的な側面をチェックしていることを紹介しました。

今日はさらに、e-raterが他に答案エッセイのどこを見ているのか、掘り下げていきます。








スタイル (Style)

「スタイル? 何のこと?」という人も多いでしょう。

これも具体的に見ていきます。


まず、同じ言葉の繰り返しは、良く思われない可能性が高いという点から。

エッセイを書いていると、「何か、同じ言葉ばっかり使っちゃってるなあ・・・」ということが結構あります。

キーワードをそのまま何度も使ってしまったり、

何でもかんでも「very important」で片づけてしまったり・・・思い当たる人も多いでしょう。

しかし、これはマイナス評価されます。

英語のエッセイでは、パラフレーズ(Paraphrasing)が非常に重要です。

これについては別の機会でしっかり書きたいと思いますが、

同じ内容を、同じ形式で繰り返して書くだけでは、読み手も違和感を覚えるし、

「本当に、これを書いている人は、内容を理解しているのかな?」という印象を与えかねません。

そこで、たとえ似たような内容でも、別の表現を使って言い換えてあげる(=パラフレーズしてあげる)という技を使うことになります。

これをしないと、1つのエッセイの中に同じ言葉が頻出することになり、

結果的にそのエッセイの評価が下がってしまうのです。









加えて、短すぎる文、あるいは長すぎる文も、多すぎるとマイナス評価となる可能性が高くなります。

It is important.  Of course.  There's no doubt.  So I agree.  Definitely.

・・・というのは極端な例ですが、

とにかく、一文の長さが極端に短すぎたり長すぎるたりすると、

やはり読みにくい(そのために理解しにくい)文章になってしまいます。

だんだん英語を書くのに慣れてくると、

おそらく「短すぎる文」よりも「長すぎる文」の方を書いてしまいがちです。

「この構文も使いたい、あ、でも対比も入れてみたいし・・・」と詰め込んでいるうちに、

「ん、ちょっと長くて読みにくいかなあ?」という文ができてしまいます。




ちなみに、上に書いたように、あくまで「数が多すぎる」場合にマイナス要因となるようです。

Too many short sentences / Too many long sentences)

ので、ここぞというときに長い一文を1つ入れてみたり、

効果的に短い一文をポンと1つ入れる等は問題はないと思われます。







他におもしろいのは、接続詞から始まる文も、多すぎるとマイナス要因となるようです。(Too many sentences beginning with conjunctions

注意ですが、別にAndやButから文が始まっていても、それ自体は間違いではありません。

しかし、あまりに多すぎるという場合は、評価としては下がってしまいます。

おそらく私たちがもっとも使ってしまうのは、AndButでしょう。

And this plan is beneficial for young people too.

But no one at that time thought Apple would be as popular as it is today.

これらは、少し手直しして、次のようにも表現できます。

In addition, this plan is beneficial for young people too.

However, no one at that time thought Apple would be as popular as it is today.













・・・こうして見てくると、前回の「文法」との明らかな違いが見えてきます。

「文法」は、ミスをしていれば、単純にそれは誰の目からみても「間違い」です。

(X) They plays tennis. は、

誰が見ても (O) They play tennis. に直すべきですよね。

しかし、スタイル(Style)は、必ずしも文法のような「間違い」に関する評価ではありません

同じ言葉を繰り返し使ったとしても、それが文法的にミスというわけではないし、

一文が長すぎたり短すぎたりしても、学校の定期テストで、それを理由に減点されたという経験はほとんどないはずです。

つまり、このスタイル(Style)は、

「ルールに照らして間違っているか否か」ではなく、

「効果的な表現ができているか否か」を問う評価ポイントである

と言ってもいいでしょう。

普通なら人間の採点者が「ん、なんか読みにくいなあ」とか、

「なんとなく同じ単語が多く出てくる気がするけど・・・」と感じながら判定するところを、

e-raterは、一文の語数や、エッセイ中に登場する同じ単語をカウントして、

数値化して評価しているのです。

これは、どちらの評価が優れているかといった話ではありません。

ポイントは、

★人間の採点者とe-raterは答案に対する見方が当然違うため、お互いに補完しているといえる

★e-raterは、必ずしも文法的なミスなどのみに着目して採点しているわけではない

ということです。








・・・それと、e-raterは、

次回以降も紹介する、他の要素も含めて総合的に点数を出すので、

「短い一文を書いてしまったから、今回は点数が絶望的だ!」のように、

1つの要素を気にしすぎることはありません。

むしろ、意識しすぎるとかえって逆効果ですので、

「ふーん、こうやれば機械にも評価できるのか」という、雑学を学んだくらいの気持ちで、

心配しすぎずにライティングには取り組んでくださいね。




では、次回、

これ以外にもどのような項目をe-raterがチェックしているのか、さらに紹介してみます。




➡ 「e-raterは何を見ているのか? 3」 へ





(※本記事は、ETSが公表している資料をもとにe-raterの評価項目等を推定して書いているものであり、現在のTOEFL(iBT)試験において同じアルゴリズムを用いて採点されていることを保証するものではありません。)




Related Posts Plugin for WordPress, Blogger...