タグ別アーカイブ: テスト

slackでテキストチャット型テストをやってみた感想

はじめに

以前,下記のようなブログ記事を書きました。

ペアやグループでの「会話テスト」もテキストチャット (Slack) なら効率的に回せるかもという話

この記事の中で,通常のスピーキングテストなら複数人と同時にやりとりはできないけれど,テキストチャットならそれが可能かもしれないという話を書いています。実際にいくつかの形式でテキストチャットで同時に学習者とやりとりする形のテストをやったのでどんなふうにやったのかと,その感想をこの記事では書きます。

やり方

クラスによって,いくつかのパターンでやってみました。

教師は複数のグループのやりとりを同時に観察するだけ

このパターンは,普段私が授業で使っているslackの使い方とほとんど同じです。この形式だけが,教師相手に会話するのではなく,学習者同士(3〜4人)で会話する形式でした。時間は60分間に設定し,全グループが同時にスタートする形としました。

お題はテスト開始と同時にリスニングで与えて,いわゆる悩み相談的なタスクにしました。悩みに対する解決策を示すというのがタスクのゴールです。

この形式だと,教師は学習者のやりとりだけに集中できます。よって,事前にルーブリックをグループごとに用意しておけば,ある程度はテスト中に評価をしていくこともできます。スピーキングテスト中に机間巡視するのとは違い,学生たちのやりとりはすべて教師に見えますので,どのようなプロセスを経て現在地にいるのかを逃すことがない点は便利です。

ただし,やはり複数のグループの評価を目的にやりとりを見ていると,なかなか教師がやりとりに介入していくのは難しいように思いました。積極的な介入を重視して評価はテスト後にするか,介入は極力控えて評価を優先するかのどちらかだと思います。もしもこの2つを同時にしようと思ったら,一度に観察するグループは3~5くらいが限界でしょう。

グループ対教師のやりとり

この形式は,3~4人の学習者グループが教師とやりとりする形式です。お題は教師に何かを提案する形式としました。例えば,「オンライン授業において導入してほしいツールの提案」や「この授業において,学生・教師・学生と教師が守るべきルールの提案」などです。これらのお題とグルーピングは事前に学習者には伝えていて,どのように提案するのか,もし提案を断られた場合や懸念を示された場合にどう対応するのかというところまで考えておくように指示しました。

当日は,授業時間を35分×2セッションに分けて,6グループずつとやりとりするようにしました。教師はあえて極端に提案を突っぱねる(もちろんロジカルに)ようにして,そこでの学習者の出方を見るようにしていました。この程度を調整することで,学習者のレベルをある程度判定できたように思います。例えば,こちらの反論に対してすぐに再反論や問題の解決策の提示ができるようだとさらに反論をしてみたり,あるいはこちらの反論に「ぐぬぬ」となってしまい有効な反論が出てこなければ,その点は深追いせずに別の論点を提示するなどしていました。

教師対学習者の1対1のやりとり

この形式は,いわゆるインタビューテストで,教師と学習者が1対1で会話する形式です。内容は,教科書のユニットごとに決まったテーマについてのフリートークで,学習者側にホスト役になってもらうようにしました。ただし,こういう役回りにすると事前に用意した質問をただただ投げるだけになってしまうので,echo, reaction, follow-up questionを使ってやりとりができているかどうかを評価の観点の1つとして取り入れました。

時間は17分で,90分を4つのセッションに分け,セッション間に5分間のインターバルを入れました。学生には事前にスケジュールを提示しておき,時間になったら教員にDMを送って会話をスタートするという形です。

42.5インチモニタを6分割表示設定にして,ブラウザを複製してslackを6箇所で開いてやりとりしました

5分間のインターバルがあるといってもほとんど休憩なしで,17分間ひたすら学生からのポストに返事をし続ける感じでした。少しの遅れでも学生の不利益になるので,とにかく返事は1分以内にすべて返すということを徹底しました。よって,めちゃくちゃ疲れました。

流暢さがある学生だと,だいたい15〜18ターンくらいはやりとりができました。もし仮に90分を24人で割ると1人3分くらいしか会話の時間は取れないことになります(それでもたぶん交代にかかる時間とか考えるとカツカツ)。3分で15ターンだと1分で5ターンなので,だいたい単純計算で12秒で1ターンくらいのスピードでやりとりする必要があります。レベルから言って口頭でそのくらいのスピード感で進むかと言われると厳しいかなというのが私の見立てなので,テキストチャットの利点をうまく生かして学習者とのインタビューテストができたなと思っています。

ざっくり感想

一度に6グループ(6人)なら全然いける

まず,6グループ,あるいは6人なら同時のやりとりも可能だなと思いました。もちろん最初は戸惑うことはたくさんありましたが,やはり学生の入力スピードとこちらの入力スピードだとこちらに圧倒的に分があるので,そのアドバンテージを生かしてやれました。ただ,1人とやりとりするよりはグループとのやりとりのほうが難しかったです。なぜなら,グループだとこちらの1の返事に向こうから2, 3の返事が返ってくるからです。論点がまとまっていればまだしも,たまに複数の論点に対してこちらが返答しなければならない場合があり,結構しんどかったです。1対1だとそういうことはあまり起こらないので,比較的ラクでした。

コピペを多用できる

複数の学習者を相手に同時にやりとりするのを可能にしたのは,コピペ戦法です。私はランダムにお題を与えていたので,お題がある程度被っているときと,ほとんど被っていないときとありました。お題が被っている場合,同じような質問だったりコメントだったりが学生から出てくることも多いので,その場合別のグループですでに答えたことを,同じお題でやってる別のグループにコピペして投稿するようなことも頻繁にやっていました。学生側からすると「ずるい!」となるかもしれませんが,こちらとしては同じ内容なら何度も同じこと書くよりコピペしたほうが早いから許してくださいという感じです。もしもセッションごとにお題を固定して,6人・6グループがすべて同じお題で取り組むのであれば,コピペの頻度はもっと高くなることが見込まれるので,より一層教員側の負担は減るかなと思います。

後から評価するにしても楽

学生と教師がやりとりするパターンの場合,やりとりしながら評価は無理でした。これやるのであれば,おそらく3人・3グループが限界でしょう。それ以上だと,いくらルーブリックを事前に練っていてもその場で評価だと絶対に返事のタイミングが遅くなってしまうと思います。

ただ,もしも評価をテスト後に行うとしても,音声を録音させたものを後から提出させ,それを聞いて評価するよりはよほど楽でした。なぜなら,すべてやりとりした記憶があるからです。

とくに,学習者同士のやりとりを録音させるようなケースだと,ほとんど内容はわからない状態で音声を聞いて評価をしますので,頭から最後まで聞かないと評価できないケースがほとんどです。

一方で,自分がやりとりの相手だった場合,「あーそうだこのグループはちょっとこの話題で詰まってたところあったよなー」とか「○○がほとんど話題に入ってこれてなかったなー」とかいうエピソード記憶的なものがやりとりの断片を見るだけですぐに思い出せます。また,音声を聞くより文字を眺めるほうが圧倒的に早く全体を処理できますから,評価にかかる負担感は間違いなくテキストチャットのほうが低いと思いました。

オンラインだからこそ待ち時間を有効に使えた

ちょっと話はそれますが,もし教室内で,グループ,個人ごとに教師のところに来させてテストしようと思うと,待ってる間をどうするかが問題になります。

同じ教室内でリスニングテスト受けてもらおうにも,会話がワイワイ盛り上がったらリスニングテスト受けている人たちに迷惑ですし,かといってコソコソ話すのもなんか違う。2教室用意して別室でLMSでリスニングテストさせているなんていう話も同僚の先生から聞いたことがありますが,ちょっとハードルが高いですよね。その点,LMS上での課題に慣れていて,なおかつ全員が同じ場所にいる必要がない今のような状況だからこそ,待っている時間はLMSで別のテストやっててねというのが何の違和感もなくできたなと思いました。

秋学期に対面授業になったら大教室で少人数で授業みたいな環境になる大学もあるかもしれません。そうすると,ある程度離れた場所で普通のボリュームで会話していたらリスニングテストの邪魔にはならないのかもしれませんが。

おわりに

この記事では,slackを使って,学習者同士,学習者グループ対教師, 学習者個人対教師の3つのパターンでテキストチャットテストをやってみたという報告のようなものを書きました。秋学期にどのような形態の授業になるのかうちの大学はまだわかりませんが,テキストチャットでインタラクティブな側面を評価するテストをやるというのはオプションの一つとして使えるなと思いました。今後,対面のスピーキングテストは難しいなぁという場合に活用していこうと思います。

なにをゆう たむらゆう。

おしまい。

だからやり方を縛るなよ

たくさんの先生が教えるような環境で,教員間でのクオリティを一定程度に維持しようと考えたとき,なんで抽象的な目標の部分をぼやっとしたままにして,やり方だけを強制しようとするんでしょうね,というお話。

学習指導要領で「英語は英語で」とかアクティブ・ラーニングとか,そういうやり方縛りってほんと悪手だと思うんですよね。そもそも目標というか目指すべきところから具体的な行動がいまいちピンとこないような抽象的なレベルものを掲げておいて,それに全員が到達できるようにすること自体が間違っているわけです。だって,到達できたかを確認する方法は自分たちで考えろ。でも日々の授業のやり方はこっちで決める。ってことでしょう?やり方を縛ったらその目標が達成されるように考えるの(いやそうは思ってないのかもしれないですけど),あれ大人の事情以外になんかあるんでしょうか?

普通に考えて,逆なんですよ。つまり,まずやるべきことは,全員が到達できたことを確認できて,そのことにある程度合意が取れるだろうというレベルで具体的な目標を設定し,それを測定できるようなテストなりタスクなりを作ることでしょう。それで,評価はそれに基づいてやればいいんですよ。そうしたら,それが達成されるように授業をやらなければいけないわけですから。もちろん,そんなことやるには尋常じゃないリソースが必要ですよ。ちょちょっと文言をいじって会議をいくつか通すだけじゃだめなんですから(いやそれだってそんな簡単じゃないわけですけど)。「ほら,ここにこう書いてあるんだからちゃんと守りなさい!」なんてもうまるっきり文科省のやってることじゃないですか。このやり方に見習うべきところなんかゼロでしょう。

具体的な目標を設定するなんてそう簡単なことじゃないですし,ある程度幅をもたせたりいくつかのタスクを用意しようと思ったら異なるタスクで同じものが測定できているのかを確認しないといけません。本気でやろうと思ったら,そのことだけに集中して取り組める専門家集団とソルジャー人員と予算が必要なわけです。それか,もういっそのこと逆方向に振り切って「全員TOEIC800点」にするとか。でもこれやるにしたって全員に同じテスト受けさせるのってそう簡単なことじゃないしお金だってかかりますしね。それは無理だと思うのであれば,やっぱり地道にやっていくしかないと思うんですよね。

なにをゆう たむらゆう。

おしまい。

※この話はフィクションであり,実在の人物や団体とは一切関係ありません。

ライティングの採点の不備と一緒に学習者の心ぶった斬ってませんか

民間試験導入の問題がわーっとなったとき(あるいはその少し前),ちょくちょくTwitterで,

こんなのでこの点数!!

みたいな投稿についた画像で学習者のライティングプロダクトとその点数の写真を見かけることがありました。私のタイムラインは英語教育関係者が多いですし,民間試験導入の問題についても声を上げている人がたくさんいらっしゃって,関連したツイートが比較的頻繁に流れてくるので目についただけかもしれません。おそらく,一般的なレベルでいえば認知度が高まったのはほんの最近のことで,下記のことを考えたのはおそらく私くらいだと思います。「なーに言ってんだばかか」と思われてもいいです。

私は上記のようなツイートを見るたびに,「試験の採点がおかしい」とか,「こんな試験を入試に導入なんてありえない」とか,そういうことの問題提起は理解していても,やっぱり学習者の実際のライティングをもってそういう主張をすることには賛同できないという気持ちになりました。本人が(「こんなんでいいの?」というようなノリで)画像をあげていることもあるかもしれないので難しいですが,試験の不備と一緒に学習者の心までぶった斬ってはいないでしょうか。その本人だけではなく,似たような質のライティングをした学習者がそうやってオトナが叩きまくっているのを見て(叩いているのは試験そのものだとしても)どう感じるだろうというのは私の考えすぎでしょうか。

水をさすつもりはまったくありません。標準化された試験としてやっていて採点基準どうなってるのという批判はそのとおりだと思います。ただ,元のツイートにぶら下がっていたコメントなんかがとくにですが,「正確さ」に対して過剰に反応しすぎではないですかね,誤りに対しての不寛容さみたいなのも一緒にそこに投影されていませんかね,と思わずにはいられないのです。

たしかに,たしかに,お世辞にもうまく書けているとは言えないようなものだったりもします。文法的なエラーやつづりのエラーも含まれています。なんとかかんとか文意を汲み取ろうとこちらが最大限の努力をして,意味解釈はできるかな,というレベルのものです(私が見たものは)。それでも,問いが与えられて,その問いに答えるために自分の持っているリソースを最大限に活用して,英語を書いたということと,その学習者が現時点でそのレベルの発達段階であるということは何も悪くないと思うのです。

あまり具体的なことを言うとどの画像見たかとかになってしまうので詳しく言及することは避けますが,評価できるポイントだって見つけようと思えば見つけられるように私には思いました(一つの観点でいえば流暢さとしての語数)。課題が何を求めているのかや,何を測定しようとしているのかにもよりますが,同様のライティングプロダクトに対して私はこれまでにゼロをつけたことはないなと思いましたし,意味のわからない単語の羅列ではなく英語の文を表出しようとしたことを評価したいなと思いました。何度も言いますが,そういう性格のテストではないとか,誰も書かれたものそのものへの批判はしていないとか,そういうのはすべて,「そうだろう」と思っています。そのうえであえてこういうことを書いているのです。

杞憂であってほしいと思っていますし,実際に杞憂なのだと思います。それでも,それでもやっぱり,「ああやっぱりこれじゃ全然だめなんだ」と思う学習者がいたら,それは英語教育にとって良いこととは言えないと思います。「あれでいい」と言っているのではありません。もっと良い英文が書ければそれに越したことはありません。私はただ,英語を使ったときに少しでも誤りだったり誰かから見て不自然と感じられるようであったらすごい勢いで寄ってたかってあーだこーだ言う,そういうのが本当に嫌いなのです。そして,ライティングの採点基準についての批判を真摯にする人の周りに,意図せず人の誤りを笑うそういう人たちが集まっているのではないかと思ってしまったのです。

なにをゆう。

たむらゆう。