弁理士試験、「いくつあるか問題」問題
「いくつあるか問題」・・・・・・悪魔的発想・・・・・・！！！！
昨日は日本弁理士会の賀詞交歓会（＠ホテルオークラ東京）に出席してきました。リアル知り合いの方々に確認したところ皆さん参加しないとのことで、ボッチで参加してご飯を食べて帰ってきました。来年参加するときはもう少しまともなムーブができればと思っています。ご飯は美味しかったです。
今日のブログのネタは、弁理士試験の『いくつあるか問題』です。「『いくつあるか問題』って何？」という方のために説明すると、問題ひとつにつき４～５個の〇×の小問（以下、枝といいます）があり、その〇（又は×）の個数を選択肢の中から答える問題です。例えば次のような問題です。
特許法に規定する手続に関し、次の(ｲ)～(ﾎ)のうち、正しいものは、いくつあるか。
(ｲ) 特許庁長官は、遠隔又は交通不便の地にある者のため、請求により又は職権で、特許出願について出願審査の請求をすることができる期間を延長することができる。(ﾛ) 日本国内に住所又は居所を有する者であって手続をするものの委任による代理人は、特別の授権を得なければ、特許法第 41 条第１項に規定する優先権の主張を伴う特許出願をすることはできない。
(ﾊ) 特許庁長官又は審判長は、手続をする者の代理人がその手続をするのに適当でないと認めるときは、その改任を命ずることができる。また、改任の命令をした後に当該適当でないと認める代理人が特許庁に対してした手続は、特許庁長官又は審判長によって却下される場合がある。
(ﾆ) 特許庁長官又は審判官は、中断した審査、特許異議の申立てについての審理及び決定、審判又は再審の手続を受け継ぐべき者が受継を怠ったときは、申立てにより又は職権で、相当の期間を指定して、受継を命じなければならず、指定した期間内に受継がないときは、受継を命じた日に受継があったものとみなすことができる。
(ﾎ) 拒絶理由の通知に対する意見書を特許出願人が郵便により提出し、日本郵便株式会社の営業所に差し出した日時を郵便物の受領証により証明できない場合、その郵便物の通信日付印により表示された日時のうち日のみが明瞭であって時刻が明瞭でないときは、当該意見書は、表示された日の午後 12 時に特許庁に到達したものとみなされる。
１ １つ
２ ２つ
３ ３つ
４ ４つ
５ ５つ
（令和元年度弁理士試験短答式筆記試験問題 【特許・実用新案】８ より）
ちなみにこれの答えは（ロ）（ハ）（ホ）の三つの枝が〇なので答えは「３」です。
ここで少し考えてほしいのですが、例えば（ロ）（ハ）（ホ）については正しく〇と判断できたとして、（ニ）は本来×なのに間違って〇としてしまった場合、途中までは正しい判断ができていたとしても、全体としては問答無用で不正解になってしまいます。このように、「いくつあるか問題」は、すべての枝の問うている内容の「固い知識」を身につけないと正解することは覚束ない、難しい問題です。
一方で、逆に、（ロ）（ハ）は正しく〇と判断できたが、誤って（ホ）は×だと判断してしまい、更に（ニ）は本来×なところ誤って〇と判断してしまった場合、どうなるでしょうか。このように二重に間違ってしまった場合、〇の数は三つになり、考え方は間違っているのに、問には正解してしまうのです。このように、実力が不足しているのにラッキーで正解できてしまうこともあり、結果だけに着目すると本当の自分の実力が分からなくなってしまう怖さもあります。
弁理士試験の短答式試験には、「いくつあるか問題」のほかに、いわゆる「五肢択一問題」もあります。「五肢択一問題」は、5つの選択肢の中から最も確からしいものを選択せよ、という問題で、それぞれの枝を相互に比較しながら検討できるため、知識がソコソコでもその場の思考力で知識の穴を補間しながら解けるといった特徴があります。
ところで、「いくつあるか問題」は本当に正解するのが難しい問題なんでしょうか。「五肢択一問題」より難しそうだという感覚はありますが、実際のところどうなんでしょうか。
枝それぞれの正解率（以下、枝正解率）をpとすると、5枝あるので問題の正答率（以下、問正答率）はp^5になりそうです。ただしこれには二重に間違えて得点してしまう場合や、選択肢にない全部×という解答も含まれています。これらを考慮すると問正答率はp^5より少し確率は高くなりそうです。
そんな疑問を感じたため、シミュレーションプログラムを簡単に作ってみました。
「いくつあるか問題」シミュレーション
まずは「いくつあるか問題」のシミュレーションです。以下のような流れでシミュレータが問題を作り・解答します。
- ５枝の問題を想定し、答えが〇の枝数をランダムで１～５の範囲で決定し、残りは×の枝として問題を作る。
- シミュレータが各枝を所定の枝正解率で解く（仮にシミュレータがすべての枝について×を出した場合、〇がゼロ個という選択肢は今回は解答の選択肢の中にないので、〇一つの選択肢を強制的に選択するようにしました。実際人間が解くときもそうするよね？この方法で間違えたことないっす。）
- １で決定された〇の枝数とシミュレータの〇の枝数とを突き合わせて正誤を判定する
- １から３を繰り返す
さて、枝正解率をどうするか、です。ここで、おもむろにBenrishi Power（以下BP）というパラメータを導入してみましょう。BPは弁理士としての知識の固さを表すパラメータとし、０～１の範囲を持たせましょう。仮にBPが０の場合は、何の知識も持ち合わせていないので、枝正解率は５０パーセントとします。サイコロを転がしたのと同じです。一方BPが１であれば、どんな問題でも間違えないので、各枝正解率は１００パーセントです。BPと枝正解率の関係を次のようにモデル化しました。
枝正解率p＝BP/2+0.5
学習の進み具合と枝正解率がリニアな関係として良いのかどうか、という問いかけはこの際無視します。適当です。
この条件でBPを変えつつ夫々のBPごとにシミュレータに10000問ほど解いてもらいました。BPと問正答率との関係は以下のグラフの通りです。参考までに（枝正解率p）^5のグラフも入れています。
まず、BPが0の場合はでたらめに〇×を付けるので、結果的に問題の選択肢を適当に選んだのと同じく、問正答率は0.2になります。全部×という選択肢がないケースの処理の仕方で0.2より少し大きい可能性がありますが、無視できる範囲のようです。
そしてBPが0から0.5、つまり枝正解率が0.5から0.75あたりまでは問正答率は0.4を切っています。それでもp^5の場合よりも問正答率はずいぶん高いです。これは二重に間違えて偶然正解することが多いのが原因と思われます。このあたりのBPと問正答率との関係は勉強をしてもなかなか伸び悩む時期ととらえることができます。
BPが0.6を超えたあたりから急に問正答率が上昇するのが分かります。勉強を続けていると、あるときを境に急に点が伸びだす現象はこの正答率の上昇である程度説明がつくように思います。
弁理士試験の短答式試験は、60点満点中39点以上で合格になります。7割取れればOKということです。仮にすべての問題が「いくつあるか問題」だった場合は、問正答率で7割取るにはBPが0.8（枝正解率0.9）ではダメで、BPが0.84程度（枝正解率0.92程度！）必要ということになります。これはかなりキツイのではないでしょうか。
更に言うと、BP0.8位上の合否を分ける枝正解率のところでは、ほんの少しBPが変わっただけで問正答率が大きく変化します。その日の体調や問題との相性で枝正解率は微妙に変化し得るはずですが、その変化が問正答率に増幅して影響するわけです。全く気の抜けない問題です。
もっとも、弁理士試験には「いくつあるか問題」の他に「五肢択一問題」もあります。そちらもシミュレートしてみましょう。
「五肢択一問題」シミュレーション
以下のような流れでシミュレータが問題を作り・解答します。
- ５枝の問題を想定する。答えは〇が一つ、残りは全部×という問題を作る。
- シミュレータが各枝を所定の枝正解率で解く
- シミュレータが出した答えが〇一つの場合、ファイナルアンサーということで４に進む
3a. シミュレータが出した答えが〇ゼロ個の場合、2に戻って全部の枝解きなおす
3b. シミュレータが出した答えが〇二個以上の場合、その〇の枝だけ所定の枝正解率で再検討し、3に戻る - １で決定された〇の枝とシミュレータの〇の枝とを突き合わせて正誤を判定する
- １から４を繰り返す
実際の五肢択一では、確信の持てる枝は◎、自信のない枝は△など、もっと全然複雑な操作をしている人も多いと思いますが、複雑なので割愛します。
このアルゴリズムで同様にシミュレートした結果が次の図です。
「いくつあるか問題」とは異なる傾向が見えます。BPが0から0.5の間も問正答率が順調に伸びていて、0.5以降は伸びが緩やかになります。「いくつあるか問題」と逆の傾向といえるでしょう。問正答率7割を超えるにはおおむねBPが0.45程度、つまり枝正解率0.725程度でOKと読めます。「いくつあるか問題」の問正答率7割に必要なBPとはずいぶん違います。
これまでは、「いくつあるか問題」も、「五肢択一問題」も、いずれの問題の枝も同じBPであれば同じ枝正解率としていました。実際には「いくつあるか問題」の枝のほうが「五肢択一問題」の枝よりも簡単に作られている肌感覚があります。現実の問題はどのような難易度調整がされているでしょうか。
現実の問題の正答率とシミュレーションとの比較
ある年度の問正答率データを引っ張ってきました。
特実20問のうち10問が「いくつあるか問題」で問正答率は平均0.496、残りの10問が「五肢択一問題」で問正答率は平均0.656でした。
シミュレーションで見ると、「五肢択一問題」で0.656程度の問正答率を得たい場合、BPは0.4程度でOKです。一方、「いくつあるか問題」で0.496程度の問正答率を得たい場合、BPは0.6を超えて0.7程度必要になります。つまり、同じBPでも、「いくつあるか問題」の方の枝正解率を「五肢択一問題」の枝正解率よりも上げないと、データとシミュレーションの整合性が取れないことになります。すなわち、現実の問題では、「いくつあるか問題」の枝のほうが、「五肢択一問題」の枝よりも簡単に作られている、という予測が立ちます。一年分のみ、更に特実のみの結果ですが、おそらくこの傾向は共通していると思われます。
（ちょっと長くなってしまったので、続きます。たぶん。。。。。。）
2020/1/18 細かい修正
