2015年4月7日火曜日

e-raterは何を見ているのか? 3



前回 からの続きです。

TOEFLのライティング問題は、

「人間による採点」と、「e-raterというプログラムによる採点」の組み合わせにより判定されます









e-raterはどこに着目して答案を評価しているのか?

次に紹介する評価ポイントは・・・





メカニクス (Mechanics)


これもさっそく例を挙げていきます。

「機械がエッセイを採点する」と聞いて、まず誰もが真っ先に思いつく評価項目です。


・・・・何でしょうか?







・・・・それは・・・・











・・・・そう・・・・・・
















スペルです。

これは、どう考えても人間はかないませんね。

たとえば、下の文章をザッと読んでみましょう。

Aoccdrnig to a rscheearch at Cmabrigde Uinervtisy, it deosn't mttaer in waht oredr the ltteers in a wrod are, ....
(出典はこちら

これ、4文字以上の単語は全てスペルミスしているんですが、案外、読めてしまいますよね。








しかし、機械はこれを見逃しません。

実際、この文章を貼り付けた瞬間に、以下のように、スペルミスしている単語には赤い下線がつきました。


これは完全にe-raterの得意分野でしょう。

ただし、重要なのは、ほんの少しのスペルミスのせいだけで減点されるということではない、という点です。

スペルミスを含んでいても、それが読み手による文章の理解を妨げない限りは、

少しのスペルミスがあっても最高評価(つまり5点)を獲得することは可能、ということは、

ETSの公式ガイドブック(Official Guide)にも書かれています。

もちろん、スペルミスはしない方がいいに決まっていますが、

だからといって、学校のテストのように、「1スペルミス、1点減」のようなことはありません。

というか、

5点満点なのに、そんなことで1点ずつ減点されていたら、ほとんどみんな0点になってしまいます。







続いては、大文字・小文字の区別です。

よく友達同士のメール等で

I think you should come!

のかわりに

i think u should come!


のように打つくことがありますが、この i は、TOEFLではアウトですね。(もちろん「u」も!)

これもスペルミスと同様、別にわざとこう打つ人はいないでしょうが・・・。

文頭の大文字だけでなく、固有名詞の大文字などもe-raterはチェックしています。

(Japanをjapanと打ってしまう等。)

他にコンマ抜け「?」マーク抜けなどももちろん見られていますが、

この辺りは当たり前ですね。

あとは複合語(Compound words)のチェックは、

例えばairportをair portと分離して書いてしまっていないか等を見ます。













こうしてみると、

「ちゃんと大文字で書きなさい」とか「コンマやアポストロフィも忘れず!」など、

英語を習いたての頃によく先生から注意される、「英語を書くときの作法」のようなもの

が、このメカニクス(Mechanics)だと言えます。








ちょっと退屈な項目かもしれませんが、

日本語でも、たとえば大学生レベルの論文で、いきなり

「私わ思うでのす。」 なんて出てきたら、やはり文章に対する信頼は少し下がりますよね。

それと同じく、地味だけど大切な作法、それがメカニクスです。







次回は、もうすこし文章の「内容」に踏み込んでくるe-raterの機能を紹介してみます。



➡ 「e-raterは何を見ているのか? 4」 へ







(※本記事は、ETSが公表している資料をもとにe-raterの評価項目等を推定して書いているものであり、現在のTOEFL(iBT)試験において同じアルゴリズムを用いて採点されていることを保証するものではありません。)






Related Posts Plugin for WordPress, Blogger...