タグ別アーカイブ: 論文レビュー

タスクにおける”sub-goal”という概念

はじめに

下記の本を月例の研究会で1章ずつ読んでいます。

Recent Perspectives on Task-Based Language Learning and Teaching

Ed. by Ahmadian, Mohammad / García Mayo, María del Pilar

この本全体については,Cognitive-Interactionist, Sociocultural Theory, Complexity Theory, Pedagogic and Educationalという4つのperspectivesからなる12章の本で,個人的には通読するよりも気になった章だけつまみ食いするという読み方がいいかなと思います。正直言ってあまりおもしろくない(質があまり高くない)チャプターも結構ありますので。

 

第7章がおすすめ

この本の第7章は,Martin Bygateが書いた”Dynamic Systems Theory and the Issue of Predictability in Task-Based Language: Some Implications for Research Practice in TBLT”という論文です。タイトルにDynamic Systemsと書いてありますが,そこまでDSTを推しているということではなく,「タスクってさ,何かやらせてみてもどんなことが起こるかわからないしリアクティブに教えるのがいいっていうけどやっぱそういうの不安だもん」みたいな言説について,predictabilityが一応ありますよっていうことを言うための理論的基盤としてDSTを持ってきているという印象です。それをベースにして,ケーススタディ的にデータを見てみるというようなのがこの論文の流れです。

この章を読むまでは,「この本は失敗だったかもしれない」と思うほどがっかりさせられるようなものが多かったのですが,この第7章は面白いなと久しぶりにワクワクしました。もちろん,ちょっとそれはどうなのと思うところもあるにはありました。ただ,それを差し引いても面白かったです。

 

何がそんなに面白かったか

一言で言えば,この記事のタイトルにもしている”sub-goal”という概念を導入している点が個人的にはこの論文で一番inspringだと思ったところです。示しているデータはおそらく過去の研究のものでしたし,特に分析をしっかりしているということではないのですが,それでもこの”sub-goal”というものはTBLTの研究でいろんなことができそうだなと思えた,そう思わせてくれるような内容でした。もちろん,実践においても示唆があることだと思いました。

sub-goalとはなにか

TBLTをご存知の方には馴染みのあることだと思いますが,タスクにはゴールがあります。spot-the-difference taskなら2つの絵の間にある違いをすべて見つけ出すことがゴールですし,picture description taskなら絵(または写真)を見ずに口頭で描写し,もとの絵(や写真)にできるだけ近いものを完成させるというのがゴールになります。この章で例として用いられているタスクは,6コマ漫画を6人で分割して1人が1コマずつ持ち,見せ合わずに正しい順番に並び替えるというものです。この場合,「正しい順番に並び替える」というのがゴールになります(注1)。

Bygateが言っているのは,このゴールに向かう前の段階にいくつかのphaseがあるということです。どんなphaseかというのを説明する際にBygateは,pragmaticとかdiscourseとかいう言葉を説明の際に使っています。少し長いですが,このphaseについて説明している箇所を本文から引用します。

A phase was defined in terms of the pragmatic coherence of a stretch of discourse which while not in itself achieving the overall task goal, likely contributed to achieving a useful enabling sub-goal. For instance, descriptions of the individual pictures in random order would contribute to the sub-goal of sharing information about the pictures, but would not themselves achieve the overall goal of sorting out the sequence and telling the story (even if by chance the students did actually provide the descriptions in the exact sequence of the narrative). Similarly, discourse during which students exchanged information about what they thought was going on in their respective pictures could not be interpreted as ‘telling the story’ either. Where students spent time suggesting potential sequencing of the pictures (still without seeing them), possibly accompanied by brief justifications, this kind of talk too contributes to a potentially useful subgoal, but still does not constitute the ‘telling of the story’. Hence the macro-purposes of the different discourse phases were inferred in relation to the pragmatic criterion: what are the speakers jointly trying to do at this point? Identification of phases enabled an assessment of the trajectories that the groups followed (p.155).

上の引用中では,”(sorting out the sequence and) telling a story”というのがタスクの最終的なゴールで,そこに到達するために有効なやりとりや言語行為をphaseとしています。複数コマ漫画の並び替えならば,まずは個々人の持っている写真を描写することからスタートすると予測されるので,それが一つのphaseになるというわけです。そして,自分の写真とグループメンバーの写真についての情報を全員が持った状態で,それぞれの写真に描かれている情報の違いを見つけることになります。そして,「いったいどんなストーリーなのだろうか」という話をしながら前後関係を特定していくことになると予想されます。これらの段階もすべてphaseであると。そして学習者はこういった複数のphaseを経て,最終的なゴールに辿り着くというわけです。

Bygateは,複数コマ漫画並び替えタスクでは次の5つのphaseがあるとしています。

  1. Description
  2. Comparison
  3. Interpreting gist
  4. Sequencing
  5. Narrative

ちょっとなんでだろうなと思ったことは,タスクの特性などから予測してこのphaseを導出したのではなく,実際の発話の書き起こしを分類してそれぞれのラベルを貼ったという点です。その後に,結果の解釈として,「複数のグループでタスクをやらせたけど,ほとんどのグループのタスク遂行中の発話に5つのphaseが見られた」みたいな議論に持っていっているのです。そして,このことから学習者たちのやりとりは予測可能なtrajectoryを通ってゴールに向かうという話につなげています。もともと発話データから導出した概念なのだから,導出に用いたものと同じ発話データにphaseが見られるのは,複数グループで見てみたとはいえある程度当たり前なのでは…という話です。さらに,もし仮にそこに違いがあり,違うグループでphaseの種類や用いられた数が異なっていたとすれば,最初に設定した5つのphase自体がそもそも分析に役に立たない枠組みだということになりますよね。この点については謎です。

また,個人的に気になったのは,最終的にタスクを達成できたかどうかと,用いられたphaseの数自体には関連が見られなかったという点です。例えば,分析している5つのグループのうちで3のgetting gistが見られなかったグループが1つ,5のnarratingが見られなかったグループが1つ,2のcomparisonと4のsequencingが見られなかったグループが1つという記述がありますが,この3つのグループはいずれも最終的なゴールである並び替えには成功しているというのです。この部分については,例えばcomparisonがなかったグループはもしかするとズルして絵を見せあっていたのかもしれないというような考察がなされています(このグループは終わるのも早かったらしいです)。しかし,もし仮にタスクの最終的な達成と何も関連がないのであるとすれば,このsub-goalという考え方自体がそんなに大事なものなのか?という疑問も湧いてきます。

さらに,言語使用面についてはphaseによって特徴的な部分が見られなかったと考察しています。つまり,同じphaseなら同じような言語表現が用いられるというようなことはなく,同じcomparisonというphaseでもグループごとに様々な表現を用いて行っていたと書かれています。ただし,”linguistic domains“については予測が可能かもしれないとしています。このdomainの例として,下記のようなものがあがっています。

the language for expressing impressions, inferences and approximations; the language of description and for identifying similarities and differences; the language for expressing motivations and consequences; the language for sequencing; and the language used for checking understandings (p. 160).

素人考えでちょっと微妙だなと思うのは,このdomainというのはほとんどphaseのラベルと同じようなものなのではということです。会話分析みたいなことに明るいわけではないのですが,ここまで抽象度があがってしまうと,それが予測できたことで何に活かされるだろうかということは疑問です。

 

sub-goalという考えのなにがそんなに大事?

さて,なんか,sub-goalってなんか別にそんな大事じゃないじゃんと思っておられる方もいるでしょう。私もここまでは批判的に書いてきています。ここからは,「そうはいっても結構色々なところに通じる概念じゃないかな」ということを書きたいと思います。

先ほど,「タスクの達成とは関係ない」という議論がされていると書きましたが,もし仮にそれがそうだったとしても,教室場面での教育介入を考えた際にはsub-goalという概念は大事だと思います。まずは,授業の準備段階でsub-goalは役に立ちます。

 

タスクの作成・計画段階で有益

これはタスクに限ったことではないのですが,どのような言語活動を仕組むにせよ,教師は活動を考え,その手順を構想し,最終的にどこに辿り着くことを目指すのかを思案しますよね。その際に,活動に取り組ませたときにどのようなことが想定されるかを全く考えない教師はいないと思うのです。「きっとこんなことが起こるだろうな」とか,「こういうことになったらどうしようか」などと考えながら,事前に準備しておいたほうがよいことについては仕込んでおき,指示の与え方や順序を工夫したほうがよさそうならそのように対策を打っておくはずです。このとき,例えば事前にタスクのsub-goalがわかっていれば,学習者が起こす行動の予測がつきやすくなるといえます。冒頭にも書きましたが,タスクは(特にやりなれていないものをやる場合は)出たとこ勝負の部分もあり,何が起こるかわからないから事前にあれこれ教えてこちらの想定内でやってほしいという教師の思いも理解はできます。しかし,今後sub-goalという枠組みで様々なタスク遂行中に発生するsub-goalsが明らかになってくれば,「このタスクをやる際にはおおよそA, B, C, Dのような4つのphaseを通過すると考えられます」みたいな提案ができますよね。これが事前にわかっていれば,自分の教えている学習者との兼ね合いで準備が必要な部分や,そのタスクに取り組む前にやらせたほうが良いことを前時にやっておくというようなことができるのではないでしょうか。もっと言えば,sub-goalが目標になるような”sub tasks” を用意して,それらのタスクに取り組ませた後のもっと大きなチャレンジとしてsub-tasksが複合的に必要となるような別のタスクを用意するというようなことも考えられます。このように,タスクを構想したり,授業の計画を立てたりする際に,sub goalsが明確になっているということは大事だと思っています。

 

タスク遂行中の介入指導で有益

次は,実際に教室場面での指導において,sub-goalがわかっているということが役に立つ場面を考えたいと思います。あるタスクを与えて,学習者がそれに取り組んでいるとき,なかなかうまく言っていないことに教師が気づいたとします。例えば,複数コマ漫画の並び替えタスクで沈黙してしまっているグループがあったとしましょう。このとき,どのように促せばタスクのゴールに向かえるでしょうか。このときも,sub-goalはヒントになり得ると思います。例えば,5つあるphaseの序盤でつまづいているようならば,「まずは全員の持っている絵について描写して,自分の持っているものと他のメンバーの持っている絵の違いがどこにあるかを特定してみよう」という指示ができると思います。つまり,descriptionとcomparisonというsub goalを明示するということです。その先の,みんなの持っている絵の違いはわかったけど,そこから先に進めないというグループがいたら,「全員の絵の情報を統合して,ストーリーを考えてみよう」という指示も可能でしょう。もちろん,phaseは順番にこなさなければいけないということではありませんが,指針としてその場で与える分には問題ないでしょう。

そんなめんどくさいことしなくても,「じゃあ最初から,『まずは描写,そして比較,あらすじの解釈,並び替え,ストーリーの完成』というphaseをすべて提示してそのとおりにやらせればいいではないか」という意見もあるかと思います。学習者のレベルによってはそうした道筋を示すことも必要になってくるかと思いますが,Bygateは,phaseに完全な順序があることや,まったくoverlappingがないということを否定しています。

it is important to note that the phases do not imply total predictability. For one thing, the phases sometimes occur more than once in a single transcript, with students going backwards and forwards between, say, finding the gist and trying out a sequence (p.160).

また,「たとえsub goalsが明示されなくとも学習者たちは多かれ少なかれphaseを経てゴールに到達する(=予測可能性がある)」ということを言っています。つまり,phaseは与えられなくてもある意味でタスク達成に向かう試行錯誤の中で創発するということですね。それを手助けしてやることはあったとしても,最初からこの通りにやりなさいというのはtoo much interventionかなと個人的には思います。「正しい手順」や「理想的な手順」のようなものがあると学習者が思ってしまい,それに囚われすぎてしまう可能性があるからです。例えば,2. comparisonからいきなり4. sequencingに入ることも十分にありえることです。「まって,私の絵ではりんごは食べかけで,Aくんの絵ではりんごは丸々1つあるから,きっと私の絵はAくんの絵よりあとにくると思う」のような発話が起こることは歓迎されるべきで,「まって順番考えるより先にストーリーをつかもうよ」となってしまっては学習者の自由な発想が抑制されてしまうかもしれません。よって,sub goalを与えてそれに沿ってタスクを行わせることは有効な手立てとは言えません。

つまり,事前に教えてそのとおりにやらせることができるから役に立つというわけではありません。そうではなく,リアクティブな指導がやりやすくなるということです。教師自身がsub goalsを把握した上でタスクを用いれば,そのグループの状況に沿って,またはぶつかっている困難点に合わせてリアクティブに介入を行うことができると個人的には思っています。

事後のフィードバックで有益

sub goalという考えは,事後のフィードバックにとっても有効かもしれません。もしも,時間内にうまく課題を達成できなかったグループがあったとして,そのタスクにおいてsub goalsをいくつ達成できたかという点で見てみると彼らの課題が見つかるかもしれないからです。Bygateの示したデータでは,すべてのグループがタスクを達成したため,「phaseとタスク達成の関係」は完全には明らかになっていません。タスクを達成できなかったグループがいたとして,そのグループがもし仮にすべてのphaseを通過したのにできなかったとすれば,phaseはirrelevantということになります。しかしもしかすると,どこかでつまずいたことが原因でタスクを達成できなかったという学習者がいるかもしれません。絵の微細な点について,描写しなかった(またはできなかった)けれども実はその点が他の絵との違いで,その情報を全員で共有していればタスクが達成できたかもしれないということはありえます。別のケースで,sequencingでつまづいて終了してしまったとします。このときに,follow, precede, come before, come after, first, next, then, before, afterのような前後関係を表す表現がうまく使えなかったので並び替えができなったということがわかれば,その学習者たちに必要なのはこうした前後関係を表現する言語リソースが足りていないということになり,そこがteaching pointになるでしょう。言語面については,varietyが大きすぎて一貫性は見られなかったというのがBygateの結論でしたが,具体的な場面での話に限定すれば指導のヒントにはなるでしょう。

研究への示唆

研究という視点では,このBygateの論文からもう少し発展させた研究が必要だと思います。例えば,他のタスク(意思決定タスクなど)でも同じようにphaseの共通性は高いのかどうかや,同一タスクでタスクの諸条件(複数コマ漫画並び替えタスクにおけるコマの数やグループの人数の組み合わせ)が変わってもphaseに変化はないのか,などが気になっています。

また,Bygateは会話の書き起こしからphaseを導出していますが,そうではなく,教える側があるタスク中に発生すると考えられるphaseを予測し,それがどの程度実際の会話で起こるのかといったこともpracticalな意味で関心があります。

あとは,少し非現実的かもしれませんが,実験的な操作を加えて群間比較するというデザインも思いつきます。たとえば,複数のphaseの中で特定の1つを禁止するような指示を与えてみて,そのグループがどれだけタスク達成に困難を抱えるかを比較することで,タスク達成に寄与しやすい(または必須かもしれない)phaseを特定するというようなこともできるかもしれません。

おわりに

以上,Bygateが提案した,taskのsub-goalという点について,批判的に検討し,その後に,意義があると思われる点についていくつか述べました。やはり,タスクの中身,つまりタスク遂行中に何が起こっているのか,そうしたことを,sub-goalという概念で整理することを試みたことにこの論文の意義があると思います。DSTの枠組みにうまくfitしているかという点についてもやや疑問があったのですが,あまり詳しく批判できるほどの知識を持ち合わせていなかったのでそのあたりはまた別の機会にということにしようと思います。ということで,今回は久しぶりにTBLTに関するお話でした。

なにをゆう たむらゆう。

おしまい。

注1. もちろん,仮にオリジナルのストーリーとは違う順番であったとしても,こちらの想定を超えたイマジネーションで別の順序でも筋の通った物語になるということがあれば,そしてそれを説明できれば,「正しい」順番ではなかったとしてもタスクのゴールを達成したと評価することもできると思います。

 

広告

理論に暗示的知識が内包されたときのジレンマ

以前,教育効果を測定する目的で明示的知識と暗示的知識を測定し分けることの是非についてのエントリーを書きました。

https://tam07pb915.wordpress.com/2016/08/25/implicit-explicit-instruction/

そのときの結論は,「教育効果を測定するのに明示・暗示の話は持ち込まなくていいだろう」というものでした。ただ,理論のスコープが暗示的知識を含むととき,そうも簡単にいかない問題がそこにはあるなと最近(といっても書こうと思ってずっと書けてなかったので少し前)思ったので,その話を書きます。きっかけは以下の論文。

Zhang, X., & Lantolf, J. P. (2015). Natural or Artificial: Is the Route of L2 Development Teachable? Language Learning, 65, 152–180. doi:10.1111/lang.12094

ここで取り上げる理論とはいわゆる処理可能性理論(Processability Theory)です。これが理論足りうるかどうかはとりあえず置いてきます。処理可能性理論とは何かということは上記の論文を読んでいただくか,あるいは同じ号に提唱者のPienemannが書いた論文が載っていますのでそちらをお読み下さい。ざっくりいうと,学習者の言語発達は心理的・認知的な処理能力によって規定されていて,ある段階を飛び越えて次の段階に進んだりはしないという理論です。この理論と同じく紹介されるのが教授可能性仮説(Teachability Hypothesis)というものです(注1)。これは,教育的指導介入によって発達段階をスキップすることができず,学習者が今いる段階よりも上のレベル(正確には2レベル以上高いレベル)の言語規則を教授してもそれは習得されることはというものです。Zhang and Lantolf (2015)の論文は,この教授可能性仮説にそぐわないデータが得られたことを報告するというような趣旨の論文です。

こうした言語の発達段階や発達順序に関する研究が主たる関心としているものは,学習者の暗示的知識の発達であると考えられています。つまり,意識的な知識として知っているかどうか,明示的知識を持っているかどうか,ということではなく,暗示的な知識の発達に段階を規定するものです。例えばRod Ellisなんかは,暗示的知識の発達には発達段階による制約があるため,明示的な文法指導介入はそうした発達段階の制約を受けないと考えられる明示的知識の獲得を主たる目的とすべきであるという立場です。明示的知識は間接的に暗示的知識の習得を促す(weak-interface)というのが彼の立場なわけですから,この主張もうなずけます。

問題は,この「発達段階を教育的介入によってスキップできるかどうか」を問題にする場合,暗示的知識の測定が不可欠になってくるわけです。なぜなら,発達段階があるのは暗示的知識であって,明示的知識ではないと考えられているからです。実際,Zhang and Lantolf (2015)でも,guest editorのRod Ellisから「この研究の結果は明示的知識の発達を示しているだけで暗示的知識の発達であるとはいえないんじゃないか?」みたいなツッコミがあったそうです(p.174)。筆者たちの反論は,Pienemannたちが使っているような測定具と発達段階の決定規準(emergence criteria)を使っているのだから,もしこの研究がその点で批判されるのだとしたらそれは処理可能性理論や教授可能性仮説についても当てはまるじゃないかというような反論をしています。

で,一応Pienemann自身は同特集号の論文の中で,まず教授可能性仮説は処理可能性理論に含まれる必須の要素というわけではなく,理論というよりは実践の話で,いくつか研究でサポートされたからまぁプラクティカルにそうなんじゃねーのかみたいにしているだけで処理可能性理論はもっと緻密に作られた理論であるというようなことを言っています。つまり,教授可能性仮説は捨てても処理可能性理論は守られるっていう話なんですね。なんか強がりっぽいこと言ってますけど。でも多分なんですけど,SLA研究者のほとんどは処理可能性理論と教授可能性仮説に関連性あると思っているしむしろ理論の一部か派生かくらいには思ってるんじゃないですかね(実際僕もそう思ってました)?「みんな俺の理論を誤解している」ってそういうことなんでしょうか?百歩譲ってそうだったとしても,測定具の話は処理可能性理論にも及ぶわけなので,そこはちゃんと反論しなくてはいけませんよね。

測定具の話に関してPienemannは,elicited imitationとspontaneous productionを同一視してはいけない。elicited imitationはダメだがspontaneous proudctionは違うんだみたいなことを言っています。これって反論したようで実は全然反論できていなくて,前回も書きましたが,行動データで暗示的知識測定しようとしたらもう「産出データじゃ無理なんじゃね?」っていうのがここ最近の流れです。spontaneous productionってのが「elicited imitationとは違うものを測っている」というのならば,それが測っているものが暗示的知識かどうかも検証されないといけないですよね。でも,実際何が暗示的知識を測っているのかっていう問題の闇は深くて,そんな簡単なことではありません。

処理可能性理論のことを血眼になって研究している人ってこの問題どう考えているんですかね?もちろん,この問題は処理可能性理論についてだけではなくて,「言語発達の制約を受けるのは暗示的知識」という主張をするすべての研究者に当てはまります。この問題ってどうやったら論理的に,あるいは実証的に回避できるのか,有効なアイデアは考えてもパッと思いつきません。熟達度がそれほど高くなく,spontaneous productionで暗示的知識と弁別できないような明示的知識を使えないような学習者ならspontaneous productionでは暗示的知識を測定できるとかでしょうか?実際問題として処理可能性理論が対象にするような学習者は超高熟達度の学習者ではないわけですし。でもあまり有効な反論とはいえないですね。結局はパフォーマンス上に明示的知識の介入がないことを示さないといけないわけですから。うーむ。みなさんどう思います?

なにをゆう たむらゆう。

おしまい。

注1. Pienemannは同じ特集号の論文で,” …theTeachability Hypothesis is not a corollary of PT.” (p. 138)と言っていて,教授可能性仮説はPTの一部ではないようなことを言っています。

PPPいいよっていう論文

ELT Journalから,PPPいいよっていう論文が出たようです。

Anderson, J. (2016). A potted history of PPP with the help of ELT Journal. ELT Journal. Advance Online Publication. doi: 10.1093/elt/ccw055

 今年の全国英語教育学会のシンポジウムでもPPP vs TBLTが取り上げられますよね。タイミング良いというかなんというか。読んだらまたここに追記しようと思います。

なにをゆう たむらゆう

おしまい。

LMM?

Language Teaching ResearchでTaskの特集号が出ていました(裏話によると後づけで採択された論文を集めた特集号らしい)。そこで,とある論文を見たら,”linear mixed model analysis (LMM)”が使われたと書いてありました。

Focus on form through task repetition in TBLT

いわゆるLMEのことかな?と思いつつ読んでいると,固定効果とランダム効果をいれたモデルでうんぬんと書いてあるのでやっぱりそうかと。general linear modelというのは一般線形モデルなので普通の回帰分析や分散分析と同じだけれど,ランダム効果をいれたものは(general) linear mixed-effects modelと呼ばれる(ただし普通GLMMはgeneralized linear mixed-effects model)。つまりmixed effectsとつくものは変量効果をいれたもの。ちなみにgeneralized modelというのは確率分布が正規分布以外のもの。

結果のところを読んでいると,なんかF値とか報告されています。3つの2次交互作用と1つの3次交互作用がモデルに入っていると書いてあるのに交互作用項がどうなったのかとかの報告が一切ありません。そしてランダム効果の推定値も報告されていません。分析に用いたソフトウェア(RなりSPSSなりSASなり)の報告もありません。

??????????????????????????????????????

え?ていうかこれただ分散分析やっただけじゃないのか?

ちなみに,「GLM (general linear model)で分析しました」みたいなことが書いてある論文も以前みたことがあります。それって結局ただの分散分析ですよねみたいな。普通GLMはgeneralized linear modelの略です(APA第6版のp.119にもそう書いてある)。別に分散分析やったなら分散分析やったでいいからそう報告してほしいですね。なんか変にかっこつけてるのかなんなのか知らないですけど素人騙しでmixed-model使ったとかそういうの本当にやめてほしいです。ていうか査読でチェックされなかったんかいなこれっていう…

あまりLTRをdisると同じ号に載ってる先輩の論文にまで飛び火するのでこの辺にしておきましょう(※彼の論文は何も悪くありません)。

 

なにをゆう たむらゆう。

おしまい。

 

Schulz (2001)の感想

6/6に,名古屋大学にて第14回日英・英語教育学会(JABAET)研究会が開かれることになりました(詳しい内容はこちらから)。

そこで,論文批評というのがあり,私が文法指導のビリーフに関する次の論文の概要報告を担当することとなりました。

Schulz, R. A. (2001) Cultural differences in student and teacher perceptions concerning the role of grammar instruction and corrective feedback: US – Colombia. Modern Language Journal, 85, 244 – 258. doi: 10.1111/0026-7902.00107

私の概要報告のあと,JABAETの会長である安間一雄先生(獨協大学)より論文の批評があります。私に与えられたのは15分のみで,私のコメントは本番で話すことはなさそうなので,ここに論文を読んだ私の感想を書いておきます。

  • 質問紙調査というものを用いた調査としては極めて質が低いと言わざるを得ない。結果的に質問紙の1項目ずつのパーセンテージを恣意的に定めた10%という基準の差がみられたか否かの報告に終始していて,結局なにを測りたかったのが不明のまま。
  •  本来,質問紙によってある構成概念を測定することを試みる場合,それが適切に測定できているかの検証を行う必要がある。Schulz(1996)においてもそのような手順を経て質問紙の開発を行ったという記述が一切ない。また,文化的に異なる2群と,学習者・教師という2群が設定されているが,それぞれの質問紙が同じ構成概念を測定しているのかどうかも定かではない。したがってそのような質問紙を用いて得られた結果を比較することに本当に意味があるのかどうかも疑わしい。
  • 質問紙項目のワーディングにかんしても,”formal study of grammar”と”study of grammar”が指すものは同じなのか違うのか,あるいは”communicative ability”と聞いたときに回答者が思い浮かべるものは同じであるのかが疑問。
  • さらに,タイトルに有るのは”role of grammar instruction”であるのにもかかわらず,質問紙ではinstructionという言葉は使用されていない。教員側の質問では,なぜか”学習者がどう思っているかを教師がどう思うか”というような質問項目があり,これがなぜ”the role of instruction”に関する教師のビリーフを測定しているといえるのかも不明。学習者側からのlearningと,教師側からのteachingが完全に一致することはないとはいえ,教師側の設問文をみると教師の指導観に関する質問であったり学習者の教師観に関する質問であったり,一見してこれらが教師のビリーフを測定しているのかが疑問である。ただし,理論的な背景に基づいて教師の指導観という構成概念の下位尺度として,教員の指導観と学習者が教師や教師の行う指導に対してどのように感じていると思うか,という2つの構成概念を仮定するならば話は別であるが。
  •  誤りの訂正に関しても同様で,recastsのような暗示的訂正から,規則の説明までも含むようなかなり明示的訂正までかなり幅がある上に,スピーキングとライティングというモードの違いでも訂正の出し方,またその訂正のあと学習者になにを要求するかもかなり変わってくる。2001年時点でもCFでこのような区分がされていなかったということはないはず。
  •  「明示的指導」にも様々なバリエーションがあるのと同様に「誤り訂正」にもバリエーションは豊かである(むしろ前者のバリエーションはかなり無視されている感があるが)。これらの指導効果のメタ分析をするにあたっても,調整変数分析で細かく検討されるわけで,「明示的指導」や「誤り訂正」に対するビリーフといった構成概念を測定する場合にも,これらが捨象されてはかなりぼやけたものしかみることができないはずだ。
    こうした「粗さ」がすべてと言っても過言ではない。何度もいうが,結果的になにが明らかになったのかがわからない。この項目ではこっちの差があってこの項目では差がなかったとか言われても質問紙(とも呼べない代物だが)の1項目の1反応(の5段階をさらに3段階に圧縮している)の差(10%だったら差ありで9%だったらなしという恣意的基準に基づく)なんてもので何かを言おうとするな。私自身が「測ること」に対して厳しいところにいるからとかそういう問題ではなく,この質問紙に何も思わないって人がいたら結構ヤバイだろうと思う。
  • この研究の成果を結局どこに還元したいのかが不明瞭。実際に教室で言語を教える実践者に対して,学習者と教師自身のビリーフが異なっているようなことはないか,そこに気をつけるべきであるということなのかと思って読み進めると,最後には教員養成のおいての,というような話も出てくる。教師のビリーフがSLAの文献に基づいているかそれとも自身の学習経験に基づいているか,というアメリカとコロンビアの比較も,そもそも文化的差異というよりかは教員養成プログラムにおいてSLAや応用言語学,外国語教育研究の文献を読んだ経験があるかどうかが大きいはずである。研究の成果はほとんど英語で書かれているわけであるから,教えている言語は違えど,アメリカの教師(英語母語話者)がそのような文献にアクセスして読むことと,英語を外国語または第二言語として学習した教師が英語の文献を読むことを比べれば,明らかに前者の方がハードルが低いはずである。日本に限って言えば和書でSLAや外国語教育研究の概説書もそれなりに出版されているわけだが,英語教員の中で,教員養成の段階で(実際に教壇に立ってからでもいいが)どれほどの人が「研究の成果を参照しながら自分の指導を考える」というような経験をしてきたのだろうか。修士課程を出て教員になったり,または大学院に戻って勉強したという教員ならば,学術書や専門書を手にとることもあるだろうが。
  • 自身の経験に基づいて教えることがなぜダメで(ダメとははっきり言っていないがこういう対比されるとそう読めてしまうのは深読みし過ぎかもしれない),どうしてSLAを参照している方がよいのかという観点も述べられておらず,外国語環境で教える語学教師は自身のビリーフに依っていてアメリカではSLAちゃんと参照しているとか言われても(しかもそれが少人数のインタビューと自分の身の回りにおいての話だけに基づく主張),だからなんなのかとなるしそれが明らかになったところで分野がどうなるのかと思う。常に知識をアップデートし続けるべきなのだというのならばそれはうなずけるわけだが,SLAといっても玉石混交で細かい部分では「ジャスティス大会」がずっと続いており,「どの文献を参照すべきか」は研究者でも難しい問題なのではないだろうか(いわんや教師をば)。

とにかく表が多くて項目ごとにパーセンテージをひたすら比較するだけで読みづらく,何がわかったかもあやふやで,それがどう説明されるということもなく,悶々させられました。10年以上も前だからしょうがないよねって感じでもないしModern Language Journalは昔は今ほどレベル高くなかったというのはこういうことなんだなぁと思ったのでした(遠い目

おしまい。

なにをゆう たむらゆう

 

読解や聴解と語彙サイズ

Language Teachingにまたこれ系の論文出ましたね。

Schmitt, N., Cobb, T., Horst, M., & Schmitt, D. (2015). How much vocabulary is needed to use English? Replication of van Zeeland & Schmitt (2012), Nation (2006) and Cobb (2007). Language Teaching. Advanced online publication. doi: 10.1017/S0261444815000075

僕自身語彙とかの研究やっているわけではないのですが,「現場受け」しそうだよなぁという印象はありますこういうの。Language Teachingは明示的にreplicationとうたっている研究が最近多い感じしますね。それはいいことだと思います。

ちなみに,今年度後期の授業でvan Zeeland & Schmitt (2012)のレビューをしました。資料はこちら

読解にしろ聴解にしろ,「読めた」「聞けた」「理解できた」とするためには正答率何%が適切なのか?またそれはどのような基準で決めるのか。というのがすごく難しい問題だよなという印象です。

なにをゆう たむらゆう

おしまい。

Prince (2013) まとめ

こんばんは。誰得ブログ記事の更新です。こちらの論文のまとめ。

Prince, P. (2013). Listening, remembering, writing: Exploring the dictogloss task. Language Teaching Research.

http://ltr.sagepub.com/content/early/2013/07/05/1362168813494123.abstract

フランスの大学のリスニングコースにおいて文法項目の指導ではなくリスニング力の向上を目的としたディクトグロスの活用法を探索的に調査した論文
  • Introduction
フランスの大学での2年間のリスニングコースの担当としてどうやってそのコース設計をしていこうかというところが出発点。最初にとられた2つの策は

(1)multiple choiceやlistening grid(リスニングして表を埋める形式の課題)を採用しないようにしたこと
(2)トップダウン・ボトムアップの両方の処理を含む多様なリスニング課題を用いるようにしたこと
前者の理由としては試験中にカンニング行為てきなものが発生しやすく大人数クラスではそれを監視しづらいということと、選択肢を読んだりそれぞれを比較したりするという行為によって学習者のリスニングのプロセスに影響が出てしまうため。代わりに理解したことを書き取らせるような方法を採用。2点目に関しては、それぞれの処理方法はクリアカットではないもののインプットの処理中は両方を用いて意味理解をするために、トップダウンとボトムアップの処理をさせる課題をさせる必要があると考えたため。
本研究ではとくにディクトグロスという活動が学生のリスニング力に与える影響について扱っている。理論的背景としてはディクトグロスが学習者の口語のL2インプットの知覚的処理を促進するという提案に基づいている(Wilson, 2003)。実践のレベルではリスニング指導は過剰にトップダウン処理をさせるような活動に偏っていたが近年はそうではなく学習者のボトムアップの処理に注目が集まっている(Field, 2008)。ディクトグロスはこの学習者の処理過程の観察に適した活動なのではないか。リスニング指導は、しばしばリスニング力を評価しているだけであってリスニングを指導していないことが多い(筆者注:例えばリスニングさせてcomprehension questionをさせるような場合はリスニングできたかどうかを評価しているにすぎず、学習者のリスニングの処理はみれていないという指摘だと思う)。というわけで、どれだけ聞き取れたかを測定するのではなくもっとリスニングにおいて学習者の理解度をあげるためにはどのような支援が必要なのかということが問題。ディクトグロスをリスニング指導に取り入れる場合にもう一点注意しなくてはいけないのは、リスニングとライティングを同時に行うということによる認知負荷の問題である。
  • ディクトグロスとはなにか
(省略)
  • リスニング理解における記憶
(省略)←ここもwwwwwwww
  • 方法
質的・量的の両データともに2ヶ月間に渡って収集されたが期間は別。対象はフランスの大学で応用外国語?(applied foreign languages)を専攻する2回生。リスニングのクラスの他にも文法や翻訳、音声学、文化なども学んだりする課程らしい。
参加者は量的データ52名、質的データ55名。期間が長かったため欠席や授業をdrop outした学生もおり、12回の授業のうち2回以上欠席していない学生のみ量的データの分析対象となった(n=30;M=11F=19で平均年齢20.2)。英語学習歴は平均で9年間。一応1年次の試験はパスしているがそれでも学生のレベルに差は多少あってCEFRでいうとB1からC1+くらい。
用いられたタスクは3種類でセンテンスレベルに特化したもの。初回の授業でこれはディクテーションではないので必要なときは自分の言葉を使ってよいという説明をいれていてボトムアップとトップダウンという2種類の処理プロセスに関しても”the need for constant interaction between perceived phonological input and the top-down demands of plausibility or meaningfulness”を強調しつつ説明し、コースを通してこのことはリスニングのキーとして指導された。
タスクのタイプ
(1)ひとつの意味ユニットに対して1つのキーワードをメモさせる
意味ユニットごとにポーズを置くように工夫。文は2回読まれるが、書いていいのは1語のみで、2回目に新しく書き加えるのはだめ(ただし書いた1語を書き換えるのはあり)。キーワードを書かせたあとにペアで比較してそれらをもとに全文の再構成をさせる。2、7、11週目に学生の書いた文を回収。オンラインの意味処理中に書かせたということではないので産出された文は比較的長めで平均24.7語(意味ユニットでは4つ)。スコアリングは”intelligible”なユニットの数で行われた。完璧にintelligibleなものは1で部分的にintelligibleなものは0.5、スペリングミスや統語のエラーはカウントされず。
(2)リスニングの回数が一度だけ(書き取りありorなしで)
リスニングの機会が複数回あると、学習者はまず一回目で最初から一語ずつ書いていって二回目で書き取れなかった部分を書き足すというようなストラテジーをとったりするので、学習者がその文の意味自体ではなく語にフォーカスするのを防ぐためにリスニング回数を一度に制限。3,7,11週目に学生の書いた文を回収。平均語数は16.6語。スコアリングは正しく書かれた語と音節の数。元の文と意味的に一致していれば正しい語としてカウントされた。(1)同様スペリングと形態統語エラーはカウントされず
(3)未知語を聞いた時の対応をどうするか(意味を推測して自分の知ってる言葉で置き換えさせるトレーニング)
未知語に遭遇したときの方略としては、(a)スルーする、(b)聞こえたとおりに文字に書き起こしてみる(a phonological strategy)、(c)文の意味から未知語の意味を推測し自分の知っている言葉で置き換える(a semantic strategy)というような方法が考えられるが後者のほうがベターで、学習者にトップダウン処理で意味を補わせるトレーニングをさせることで文の再構成が可能になる。というわけで、この活動では未知語をなるべく知ってる語で置き換えるように指導。3,6,10週目に産出された文を回収。2文の中で、出現頻度の低い語を片方の文では後ろの方に、もう一方の文では前方に配置するように工夫。学生にはこの低出現頻度語の位置は前もって知らせた。文の平均語数は15.2語。スコアリングは低頻出語を置き換えた語のcontextual plausibilityで判断(上記2つのタスクと同様に1、0.5、0のスケールで)。
以上の3つのすべてのタスクで課題文は録音されたものではなくその場で読み上げられた。よってそのスピードは多少差はあるが学期末の試験のスピードに限りなく近い95wpsであった。このスピードは通常のスピーチに比べればかなりゆっくりであり、またかなり明瞭に発話するように注意した。
  • 結果
主に産出された文とタスク後の学生とのディスカッションから。
タスク(1)でのintelligible unitは2週目から11週目で2.7から3.8に上昇。
例えば、
When the engineer tried to borrow some money / to start up his own business / he had to ask some old friends from school / because the banks refused.(スラッシュは意味ユニットの区切りを表す)
という文では1ユニットに1語しか書けないので、わずか4語から全体の文の再構成するということになる。この場合書き取った1語がワーキングメモリーに保存された2番目、3番目の語あるいは学習者自身が保持していた語を思い出すキューになる。上記の文の最初のユニットではengineerと書いた学生が34%、borrowと書いた学生が54%で残りの学生はmoneyと書いていた。スペリングがわからないあるいはその語自体を認識していなかったという理由でengineerを書くことを避けた学生もいた。engineerと書いた学生の方がより文の再構成に成功しており、うち74%の学生は続く動詞のborrowを覚えていて、残りの学生はtried to borrowをneededやwantedに書き換えていた。ここで問題になるのは主語と動詞のどちらを書くほうがいいのかということだが学生の感想では一概にどちらとはいえず、両者の意味と関係性による。またコロケーションも重要な要素であり、例えばborrowと書いてmoneyを思い出すほうがmoneyを書いてborrowを思い出すより簡単だという声も。
結論として、学生は意味ユニットの記憶を強めるための意識的な方略としてチャンキングを認識した。
タスク(2)では書かれた語数は平均で10%、音節数は14%上昇。このタスクは、初めはどのような方略がよいのかという指示は一切なしでやった。文を最後まで聞いてから書き始めた学生のほうがそうでない学生より全体の文の再構成がよくできていた。またそのような学習者は不必要な語を削除していた(たとえばHe said he hopedにおけるsaid heなど)。文の読み上げられるとすぐに書き始めた学生は途中で抜け落ちていた。しかしながらすべての学生が「最後まで聞いてから書く」という方略に肯定的というわけではなく、そうすることによって文の始めの方を覚えることができないという意見もあった。どのくらいのアイテムを保持できるのか、そのアイテムを構成するものはなにかというはなしで、関連性のない2語よりは関連性のある2語の方がセットで記憶しやすい。またitems数が同じの場合は語数が少ないほうが覚えやすい。
タスク(3)では平均のplausibility scoreは文の始めの語で0.56から0.74に、文の終わりの語では0.68から0.84に。ほとんど全ての学生が未知語に遭遇したあとにその後の部分に集中するのが難しいとコメント。というわけで、そういうときでもインプットにしっかりと注意を向けさせるためにこの活動はいい。未知語でも、それが意味的なものだけでなくもっと統語的処理に関わってくることもあった。例えば分詞構文における文頭の過去分詞など。それを主語だと解釈したために文の理解が困難になってしまったケースが多かった。しかし、2文目を聞くことにより文脈が補完されて1文目の理解が促進されたということもあり、単文に集中するのではなくテキスト全体(この場合は2文全体)をしっかり捉えるということの必要性が示唆された。
質的データ。リスニングのコースに関する学生の反応と、リスニングスキル一般に対する学生の態度について自由記述の質問紙調査。ディクトグロスに焦点をあてた質問は
  1. Has the framework adopted in the course (i.e. stressing the interaction between bottom-up and top-down processes) been useful to you; why or why not?
  2. Has the emphasis on chunking been useful to you; why or why not?
一つ目の質問に関しては、このようなボトムアップとかトップダウンとかを意識したことがなかったという学生が多数で、この質問に答えた34名のうち21名が”useful”と答えており、うち15名は特に文脈や全体の意味に注意を払うことが自分が理解できた語から文を解釈することに役立ったという点に言及していた。
他方、この実験で用いられたリスニング方略が役に立たなかったと回答した13名のうち、その主な理由としては学習者自身のリスニングの仕方を変えるにはいたらなかったというものである。また、教わったことは今まで自分がやってきたやり方と同じでそのことには気づいていなかった(そしてそれは有効ではないと思っている)。という意見もあった。このような回答からは、リスニングのフレームワークに関しては意識的な気づきは必要でないのかもしれないともいえる(教えてなくても自然にやっている例もあったということ)。未知語に遭遇した時にトップダウンの知識を用いるという方法をどのような場合にあるいはどのくらいの頻度でやるのかという問題は結構難しくて学習者の確信度に関係があるはず。また聞いた音をもとに語を書くというのは自然な作業ではあるものの、それを修正したくないという気持ち(自分の言葉で置き換えるのではなく音に依存してしまう傾向)が困難度をあげているということもある。”deep sea fishing”を”dipsy fishing”としてしまったという場合には母音の知覚という問題が絡んでいる。
二つ目の質問にたいしての33の回答のうち25名がチャンキングが有効であると回答。数名の学生がチャンキングは有効ではあるが実際に適用するのが難しいと考えていた。チャンキングをうまく使いこなすために重要なのはキーワードの見極め。キーワードがうまく拾えなかったらそこから再構成するのが難しくなってしまう。チャンキングが有効と認識しているにもかかわらず、文が長すぎた場合にはチャンキングでうまく対応できないという学生もいた。この問題はワーキングメモリーのキャパシティと関連しているだろうがより直接的には熟達度と関係している。つまりは熟達度によって「長すぎる」と感じる長さが違ってくる。高熟達度の学習者は無意識的に文を処理可能な長さのチャンクごとに処理しているが低熟達度の学習者はこれができず結果的に音声のみでは理解できず文字を読まないと理解ができないというような具合に。
  • ディスカッション
ワーキングメモリーの容量という問題以外にリスニングにおいて学習者が抱える困難点。
  1. インプットの区切りを間違える(illustratesがin the streetsになってしまうなど)
  2. インプットに対応する語彙を探す際に、L2学習者は出現頻度の高いものを思いつきやすい傾向にある(それがインプットとはかけ離れている可能性)
上記のようなsegmentationとlexical mismatchという2つの問題は、ワーキングメモリーにインプットを記憶する困難さによって悪化する。
実験の結果は語や意味のユニットを書き取ることや未知語の処理に関して学習者の能力が向上したことから好意的に解釈できる。またリスニングのプロセスを処理可能な構成要素ごとに分けることにも学生は前向きで学生の自信も学期がすすむごとに上昇していった。よってディクテーションを用いたリスニング力向上の試みは効果があったと考えられる。
  • Limitations
グループがひとつしかなかったので実験で用いられた教材がカウンターバランスされていなかったという可能性。こういう場合にはスコアリングに最低でも2人は必要だった
学生のワーキングメモリー容量のアセスメントがなかったために、実験の結果みられた変化がワーキングメモリー容量があがったことによるものなのかが不明。でもパフォーマンスの向上を見ているのであってなにが原因であるかということが実験の主旨ではないのでそんなに問題でもない。
一番の問題は与えられたインプットのスピードと内容がauthenticではなかったということ。ディクトグロスによるリスニング力の向上がauthenticなinputの処理の際にも有効であるかどうかということや、この実験で用いられたリスニング方略がどの程度他の状況にも転移するかということをみるのもおもしろいだろう。この実験で行われた用にゆっくりはっきり発話されるということはかなりレアなので学習者のよりauthenticな口語の英語の理解度が必ずしもあがったとは言えない。が、それでもとりあえずこの研究で用いられたディクトグロスを利用したリスニング活動は少なくとも学習者にリスニングの処理を意識的に行わせ、その処理がどのような要素で構成されているかというのを理解させる機会は与えている。
  • 結論
リスニングのコース全体としては、本実験で紹介したディクトグロス以外にもauthenticな教材を用いたリスニング活動も行われた。その前段階として、ディクトグロスを取り入れたリスニングは学習者のよりよりリスニング理解への足がかりとなった(以下略

 

というわけで(以下感想)ディクトグロスというのは文法指導の1つのテクニックとして使われる(フォーカス・オン・フォームという言葉が伴うことも)わけですが、それをリスニング力向上のために取り入れてみましたという実践報告っぽい感じですかね。冒頭の方でディクトグロスはボトムアップうんぬんみたいなことが書いてあったんですが結局やらせていることってトップダウンでキーワード類推とか未知語類推みたいなことだったんじゃないかなという気がしないでもないんですが。オンライン処理中に未知語に遭遇した時に既知の語にどうやってアクセスしてんだろうとかリスニング中に文脈から未知語類推するのがどれだけ簡単or困難なんだろうとかそういうことが気になったんですが。語彙のサイズによるんじゃなないかと思うんですけどね。リスニングっていうのはあまり専門じゃないのであれなんですがまあ先生もトップダウンとボトムダウンてのがあってだなごにょごにょとか言うよりは(それもそれで効果あるとは思うけれどそんなこと言われてもへー。で終わるケースの方が多い気がする)、こうやって実際にいくつかのディクトグロスベースのリスニング活動させて自分がどうやってインプット処理しているのかっていうのを意識的に体験させるのはいいかもしれませんね。これは特に統計検定かけてるわけでもないので結果の一般化はできないわけですが研究の可能性としてこういうのどうかなっていうアイデアとしてはいいんじゃないでしょうか。

 

そんなところですかね。

 

なにをゆう たむらゆう

 

おしまい。