Looking down on Scotney Castle
© Copyright Marathon and licensed for reuse under this Creative Commons Licence.
前回は、Google Trendsを使って、GoogleのGemini、OpenAIのSora、AnthropicのClaude 3発表時の評判の高さを比較したのち、実際にClaude 3を使ってみた結果をご覧いただきました。
Claude 3は、自分で「数学が得意」と言った割には、小学校の算数レベルでもミスがあり、少々がっかりしたのですが、同じ問題をGemini 1.5 Proにも出してみました。
|
私 |
次の問題に答えてください。
【問題】 Aさんは、自宅近くのバス停でバスを待っていました。 最初に来たバスは、行き先がちがうので、乗りませんでした。 次に、最寄りの駅まで行くバスが来たので、バスに乗ると、乗客は10人いました。 バスは出発し、次のバス停で5人乗り、1人降りました。 バスは出発し、次のバス停で10人乗り、4人降りました。 バスは出発し、次のバス停で15人乗り、10人降りました。 バスは出発し、最寄りの駅に着いたので、Aさんとあと10人がバスを降りました。
【質問】 １．バスには、まだ何人乗客が残っているでしょうか？ ２．Ａさんが待っていたバス停と駅との間にいくつバス停があったでしょうか？ |
|
Gemini |
解答 １．バスには、まだ10人乗客が残っています。 最初の乗客は10人でした。 次のバス停で5人乗り、1人降りました。 5人 + 10人 – 1人 = 14人 次のバス停で10人乗り、4人降りました。 14人 + 10人 – 4人 = 20人 次のバス停で15人乗り、10人降りました。 20人 + 15人 – 10人 = 25人 Aさんとあと10人がバスを降りました。 25人 – 10人 – 1人 = 14人
２．Aさんが待っていたバス停と駅との間に4つのバス停がありました。 最初のバス停はAさんが待っていたバス停です。 次のバス停で5人乗り、1人降りました。 次のバス停で10人乗り、4人降りました。 次のバス停で15人乗り、10人降りました。 最後に最寄りの駅に着きました。 合計で5つのバス停があります。最初のバス停と最寄りの駅を除くと、4つのバス停があります。 |
|
私 |
「最寄りの駅まで行くバスが来たので、バスに乗ると、乗客は10人いました。」というのは、Aさんがバスに乗り込もうとした時、すでに10人乗っていたという意味だったのですが、紛らわしかったですか？ |
|
Gemini |
はい、少し紛らわしい表現でした。 「乗客は10人いました。」という文は、Aさんが乗車する前にすでに10人の乗客がいたと解釈できます。しかし、問題文全体を読むと、Aさんが乗車した後に10人の乗客になったと解釈することもできます。 より明確にするために、以下のように修正することを提案します。 修正後 最寄りの駅まで行くバスが来たので、Aさんはバスに乗りました。その時点では、乗客は10人でした。 この修正により、Aさんが乗車する前と後の乗客数を区別しやすくなります。
また、以下のような表現も考えられます。 修正後 最寄りの駅まで行くバスが来たので、Aさんはバスに乗りました。バスにはすでに10人の乗客がいました。 この修正により、Aさんが乗車する前にすでに10人の乗客がいたことが明確になります。 いずれの修正も、問題文をより明確にするのに役立ちます。 |
そこで、Geminiの画面で「＋チャットを新規作成」をクリックして、以下のように修正した問題をGeminiに出してみました。
|
私 |
次の問題に答えてください。
【問題】 Aさんは、自宅近くのバス停でバスを待っていました。 最初に来たバスは、行き先がちがうので、乗りませんでした。 次に、最寄りの駅まで行くバスが来たので、Aさんはバスに乗りました。バスにはすでに10人の乗客がいました。 バスは出発し、次のバス停で5人乗り、1人降りました。 バスは出発し、次のバス停で10人乗り、4人降りました。 バスは出発し、次のバス停で15人乗り、10人降りました。 バスは出発し、最寄りの駅に着いたので、Aさんとあと10人がバスを降りました。
【質問】 １．バスには、まだ何人乗客が残っているでしょうか？ ２．Ａさんが待っていたバス停と駅との間にいくつバス停があったでしょうか？ |
|
Gemini |
問題 1. バスには、まだ何人乗客が残っているでしょうか？ バスに乗っていた乗客は、最初10人でした。 次のバス停で、5人が乗り、1人が降りたので、10 + 5 – 1 = 14人になりました。 次のバス停で、10人が乗り、4人が降りたので、14 + 10 – 4 = 20人になりました。 次のバス停で、15人が乗り、10人が降りたので、20 + 15 – 10 = 25人になりました。 最寄りの駅で、Aさんと10人が降りたので、25 – 1 – 10 = 4人 がバスに残っています。 2. Aさんが待っていたバス停と駅との間にいくつバス停があったでしょうか？ バスは、最初のバス停を出発してから、次のバス停、さらに次のバス停と、駅に到着するまで合計4つのバス停に停車しました。 最初のバス停は、Aさんが待っていたバス停なので、駅までの間に3つのバス停があったことになります。 解答 １．バスには、まだ4人乗客が残っています。 ２．Aさんが待っていたバス停と駅との間に3つのバス停がありました。 |
ということで、Geminiの修正提案2の通りに問題文を修正したのですが、Geminiは、質問1について正解にたどり着けませんでした。
ダイレクトに回答だけを示すのではなくて、思考／計算順序も示されているので、確認すると、「バスに乗っていた乗客は、最初10人でした。」というのは良いのですが、そこにAさんが乗ったのをカウントし忘れています。また、最寄り駅のバス停の乗車客数の変化の計算が、「25 – 1 – 10 」と、Aさんが下りたこともカウントしているのですが、なぜかその計算結果が14ではなく「4」と計算間違いをしていました。
同じ問題をChatGPTに出してみましょう。
|
私 |
次の問題に答えてください。
【問題】 Aさんは、自宅近くのバス停でバスを待っていました。 最初に来たバスは、行き先がちがうので、乗りませんでした。 次に、最寄りの駅まで行くバスが来たので、Aさんはバスに乗りました。バスにはすでに10人の乗客がいました。 バスは出発し、次のバス停で5人乗り、1人降りました。 バスは出発し、次のバス停で10人乗り、4人降りました。 バスは出発し、次のバス停で15人乗り、10人降りました。 バスは出発し、最寄りの駅に着いたので、Aさんとあと10人がバスを降りました。
【質問】 １．バスには、まだ何人乗客が残っているでしょうか？ ２．Ａさんが待っていたバス停と駅との間にいくつバス停があったでしょうか？ |
|
ChatGPT 3.5 |
１．最終的にバスから降りたのはAさんと10人なので、最後の駅で残っている乗客は10人です。 ２．Ａさんが待っていたバス停と駅との間には、3つのバス停があります。 |
|
私 |
質問１の回答で乗客が10人となった計算過程を教えてください |
|
ChatGPT 3.5 |
申し訳ありませんが、質問１の回答に誤りがあります。再度計算して正しい回答を提供します。
最初にバスには10人の乗客がいました。 次のバス停で5人乗り、1人降りたので、乗客は10 + 5 – 1 = 14人です。 次のバス停で10人乗り、4人降りたので、乗客は14 + 10 – 4 = 20人です。 次のバス停で15人乗り、10人降りたので、乗客は20 + 15 – 10 = 25人です。 最終的に最寄りの駅でAさんと10人が降りたので、残っている乗客は25 – 10 = 15人です。 したがって、正しい答えは、バスには最終的に15人の乗客が残っています。 |
|
私 |
次の問題に答えてください。
【問題】 Aさんは、自宅近くのバス停でバスを待っていました。 最初に来たバスは、行き先がちがうので、乗りませんでした。 次に、最寄りの駅まで行くバスが来たので、Aさんはバスに乗りました。バスにはすでに10人の乗客がいました。 バスは出発し、次のバス停で5人乗り、1人降りました。 バスは出発し、次のバス停で10人乗り、4人降りました。 バスは出発し、次のバス停で15人乗り、10人降りました。 バスは出発し、最寄りの駅に着いたので、Aさんとあと10人がバスを降りました。
【質問】 １．バスには、まだ何人乗客が残っているでしょうか？ ２．Ａさんが待っていたバス停と駅との間にいくつバス停があったでしょうか？ |
|
ChatGPT-4 |
まず、バスに残っている乗客の人数を計算します。
最初にバスには10人の乗客がいました。次のバス停で5人が乗り、1人が降りたので、バスには(10 + 5 – 1) = 14人が残りました。 次のバス停で10人が乗り、4人が降りたので、バスには(14 + 10 – 4) = 20人が残りました。 次のバス停で15人が乗り、10人が降りたので、バスには(20 + 15 – 10) = 25人が残りました。 最後に、Aさんとあと10人がバスから降りたので、バスには(25 – 11) = 14人が残りました。 したがって、バスにはまだ14人の乗客が残っています。
次に、Aさんが待っていたバス停と駅との間にあったバス停の数を数えます。 Aさんが最初のバス停で乗り、その後3回の停留所で停車したことが記録されています。つまり、Aさんが待っていたバス停と駅の間には3つのバス停がありました。
したがって、 １．バスにはまだ14人の乗客が残っています。 ２．Aさんが待っていたバス停と駅との間には3つのバス停がありました。 |
|
私 |
問題文「次に、最寄りの駅まで行くバスが来たので、Aさんはバスに乗りました。バスにはすでに10人の乗客がいました。」に注目してほしいのですが、この時点でAさんもバスに乗ったということは、バスが出発した時点で乗客数は11人なのですが、わかりにくかったですか？ |
|
ChatGPT-4 |
問題文の「バスにはすでに10人の乗客がいました」という表現自体は確かに明確で、多くの場合、読者が正しく理解できると思います。私の誤解は、Aさんが乗車した際に乗客の合計数を計算する過程で、Aさんを含めた数を考慮することを失念したために生じました。これは問題文の不明確さよりも、私の解釈の間違いによるものです。
そのため、問題文はそのままで十分に明確です。読者がバスに最初に10人がいて、その後Aさんが乗ったことを考慮すれば、自然と乗客数を11人と理解することが期待されます。私の初回の誤解は、正しい読み取りを行わなかった結果であり、問題文自体に欠陥があるわけではありません。 |
ということで、Geminiの修正提案2の通りに問題文を修正したのですが、ChatGPT3.5／ChatGPT-4ともに、質問1について初回は正解できませんでした。
ところがClaude 3にも、修正した内容で問題をだしたところ：
|
私 |
次の問題に答えてください。
【問題】 Aさんは、自宅近くのバス停でバスを待っていました。 最初に来たバスは、行き先がちがうので、乗りませんでした。 次に、最寄りの駅まで行くバスが来たので、Aさんはバスに乗りました。バスにはすでに10人の乗客がいました。 バスは出発し、次のバス停で5人乗り、1人降りました。 バスは出発し、次のバス停で10人乗り、4人降りました。 バスは出発し、次のバス停で15人乗り、10人降りました。 バスは出発し、最寄りの駅に着いたので、Aさんとあと10人がバスを降りました。
【質問】 １．バスには、まだ何人乗客が残っているでしょうか？ ２．Ａさんが待っていたバス停と駅との間にいくつバス停があったでしょうか？ |
|
Claude 3 |
１．バスには、まだ15人の乗客が残っていると考えられます。
２．Aさんがいたバス停と駅の間には3つのバス停があったと考えられます。
よって、全部で4カ所(Aさんがいたバス停を含めて)のバス停があったことになります。 |
|
私 |
Aさんとあと10人がバスを降りたのは最寄り駅のバス停ですが？ |
|
Claude 3 |
申し訳ありません。駅もバス停と数えるべきだったので、正しい答えは以下のようになります。 1. バスには、まだ15人の乗客が残っているでしょうか? (これは正しい答えです) 2. Aさんが待っていたバス停と駅との間にいくつバス停があったでしょうか? Aさんが待っていたバス停と最寄り駅の間に3つのバス停があり、さらに最寄り駅自体もバス停と数えると、合計4カ所のバス停がありました。 正しくは:
であり、Aさんのいたバス停から最寄り駅までの間に4カ所のバス停がありました。 前の回答を修正いたしました。ご指摘ありがとうございます。 |
ChatGPTもGemini1.5も不正解だった質問１に、Claude 3は正解しました。
質問２も、「Aさんがいたバス停と駅の間には3つのバス停があったと考えられます。」と正解しているのですが、最後の「よって、全部で4カ所(Aさんがいたバス停を含めて)のバス停があったことになります。」というのは、正に「蛇足」ではないかと思ったのですが、Claude 3は「Ａさんが待っていたバス停と駅（駅のバス停とは言っていない）との間にいくつバス停があったでしょうか？」ということで、回答を「Aさんのいたバス停から最寄り駅までの間に4カ所のバス停がありました。」と修正してきました。
これは、質問２の内容があいまいだったので、ChatGPTおよびGeminiは、最寄り駅＝バス停と考えたのに対して、Claude 3は、最寄り駅≠バス停と考え、Aさんと他の10人の客は、「前のバス停」降りたので、Aさんがバスを待っていたバス停と、駅の間には、「駅前のバス停」を含めて4つのバス停があると回答内容を修正しています。
今回利用したのがClaude 3 Opusという無料版であることを考えると、Claude 3は、評判通り大したものですね。
終わり
- 投稿タグ
- Claude 3
Pingback: Mistral AIについて – インターテックリサーチ株式会社