中小企業診断士 過去問
平成27年度(2015年)
問133 (運営管理 問42)
問題文
ある小売店舗のPOSデータからクーポンに対する反応予測モデルを作成して、「反応」と予測される顧客グループにクーポンを配布したとすれば、検証データに対して以下のような反応結果が得られるものとする。このとき、結果の解釈として最も適切なものを下記から選べ。ただし、全顧客数は100人であるとする。
このページは閲覧用ページです。
履歴を残すには、 「新しく出題する(ここをクリック)」 をご利用ください。
問題
反映中…
中小企業診断士試験 平成27年度(2015年) 問133(運営管理 問42) (訂正依頼・報告はこちら) (新しいタブで開く)
ある小売店舗のPOSデータからクーポンに対する反応予測モデルを作成して、「反応」と予測される顧客グループにクーポンを配布したとすれば、検証データに対して以下のような反応結果が得られるものとする。このとき、結果の解釈として最も適切なものを下記から選べ。ただし、全顧客数は100人であるとする。
横にスクロールして続きを読む(本文にフォーカスして左右キー)。
- この予測結果の正答率(accuracy)は1/2である。
- この予測結果の「反応」に対する再現率(recall)は2/3である。
- この予測結果の「反応」に対する精度(precision)は4/7である。
- この予測モデルで「反応」と予測された顧客にのみクーポンを配布したほうが、全顧客に配布するより反応効率がよい。
正解!素晴らしいです
残念...
画像拡大
この過去問の解説 (3件)
01
(反応との予測が当たった数+未反応との予測が当たった数)÷全顧客数=(40+10)÷100=1/2
反応に対する再現率
反応の予測と検証データ一致した数÷検証データで反応した数の合計=40÷70=4/7
反応に対する精度
反応の予測と検証データが一致した数÷反応と予測した数の合計=40÷60=2/3
上記の計算より項番1が正解となります。
参考になった数20
この解説の修正を提案する (新しいタブで開く)
02
機械学習の評価指標に関する問題です。
評価指標には、以下の混合行列が用いられます。
TP(True Positive、真陽性):予測値を正として、その予測が正しい場合
→与件文の図表では「反応ー反応」(左上の40)が該当します。
TN(True Negative、真陰性):予測値を負として、その予測が正しい場合
→与件文の図表では「未反応ー未反応」(右下の10)が該当します。
FP(False Positive、偽陽性):予測値を正として、その予測が誤りの場合
→与件文の図表では「未反応ー反応」(左下の20)が該当します。
FN(False Negative、偽陰性):予測値を負として、その予測が誤りの場合
→与件文の図表では「反応ー未反応」(右上の30)が該当します。
正答率(accuracy)=TP+TN/TP+TN+FP+FNで求められます。計算の結果、1/2となります。
再現率(recall)=TP/TP+FNで求められます。計算の結果、4/7となります。
精度(precision)=TP/TP+FPで求められます。計算の結果、2/3となります。
正解の選択肢となります。
この予測結果の「反応」に対する精度(precision)は2/3です。
この予測結果の「反応」に対する再現率(recall)は4/7です。
「反応」と予測された顧客にのみクーポンを配布する場合:40/60=2/3
全顧客にクーポンを配布する場合:70/100=7/10
以上から、全顧客にクーポンを配布したほうが、「反応」と予測された顧客にのみに配布するより反応効率がよいことが分かります。
参考になった数13
この解説の修正を提案する (新しいタブで開く)
03
正しい選択肢は「この予測結果の正答率(accuracy)は1/2である。」です。
今回の問題では、予測モデルの正答率(accuracy)、再現率(recall)、適合率(precision)の違いを理解することが重要です。
予測モデルとは、過去の購買データなどを使って、顧客がクーポンに反応するかどうかを予測する仕組みです。
問題の図では、100人の顧客について、次の結果が得られています。
「反応」と予測し、実際に反応した顧客:40人
「反応」と予測したが、実際には反応しなかった顧客:20人
「未反応」と予測したが、実際には反応した顧客:30人
「未反応」と予測し、実際にも反応しなかった顧客:10人
正しく予測できたのは40人+10人=50人です。
したがって、正答率=50÷100=1/2(50%)となります。
この記述が正しいです。
正答率(accuracy)とは、すべての予測のうち、実際の結果と一致した割合です。
今回の問題では、正しく予測できた顧客は次の50人です。
反応すると予測し、実際に反応した40人
反応しないと予測し、実際にも反応しなかった10人
全顧客数は100人なので、
正答率=(40+10)÷100
=1/2(50%)
となります。
この記述は誤りです。
再現率(recall)とは、実際に反応した顧客のうち、モデルが「反応」と正しく予測できた割合です。
今回、実際に反応した顧客は、次の70人です。
「反応」と正しく予測できた40人
「未反応」と誤って予測した30人
したがって、
再現率=40÷(40+30)
=4/7(約57.1%)
となります。
再現率は2/3ではなく、4/7です。
この記述は誤りです。
ここでいう精度(precision)は、一般に「適合率」と呼ばれる指標です。
適合率とは、「反応」と予測した顧客のうち、実際に反応した顧客の割合です。
今回、「反応」と予測された顧客は、次の60人です。
実際に反応した40人
実際には反応しなかった20人
したがって、
適合率=40÷(40+20)
=2/3(約66.7%)
となります。
適合率は4/7ではなく、2/3です。
つまり、この選択肢は再現率と適合率を取り違えています。
この記述は誤りです。
反応効率とは、クーポンを配布した顧客のうち、実際に反応した顧客の割合です。
まず、「反応」と予測された顧客にだけクーポンを配布する場合を考えます。
配布人数:60人
反応人数:40人
反応効率=40÷60
=約66.7%
次に、全顧客にクーポンを配布する場合です。
配布人数:100人
反応人数:70人
反応効率=70÷100
=70%
この結果を比較すると、全顧客に配布した場合のほうが反応効率は高くなります。
したがって、「反応」と予測された顧客だけに配布したほうが反応効率がよいという説明は誤りです。
今回の問題では、正答率・再現率・適合率の違いと、反応効率の比較方法を理解することが重要です。
<正答率(accuracy)>
すべての予測のうち、正しく予測できた割合です。
正答率=正しく予測した人数÷全顧客数
今回の正答率=1/2(50%)
<再現率(recall)>
実際に反応した顧客のうち、正しく「反応」と予測できた割合です。
再現率=正しく反応と予測した人数÷実際に反応した人数
今回の再現率=4/7(約57.1%)
<適合率(precision)>
「反応」と予測した顧客のうち、実際に反応した割合です。
適合率=正しく反応と予測した人数÷反応すると予測した人数
今回の適合率=2/3(約66.7%)
<反応効率の比較>
反応すると予測した顧客だけに配布:約66.7%
全顧客に配布:70%
<今回の重要ポイント>
特に混同しやすいのは、再現率と適合率です。
再現率は「実際に反応した人」を基準にします。
適合率は「反応すると予測した人」を基準にします。
この違いを理解しておくと、予測モデルの評価に関する問題を正しく判断できます。
参考になった数0
この解説の修正を提案する (新しいタブで開く)
前の問題(問132)へ
平成27年度(2015年) 問題一覧
次の問題(問134)へ