# CASE-02 正答率90%で、社内に公開してよいか

あなたはコモレビの業務改善担当です。社内文書検索AIの試行を2週間後に始めたいと相談されました。総合点の高い案を選ぶだけで、利用範囲まで決められるでしょうか。資料を照合し、先に確かめる3項目を選んでください。

## 資料

### D1 試行の依頼

社員30人が使う社内文書検索AIを、2週間後に試行したいです。候補文書は300件。一般FAQ50件と、部門限定文書250件があります。
初回から300件すべてを対象にするか、範囲を絞って始めるかも含めて提案してください。開始日は希望で、条件が整わなければ変更を相談できます。

### D2 同じ100問での試験結果

分類　　　　 問題数　A正答　B正答
通常の質問　　 70　　 68　　 62
改訂内容　　　 20　　 18　　 17
閲覧権限　　　 10　　  4　　  9
合計　　　　　100　　 90　　 88

正答は「内容が妥当で、利用者の閲覧権限も守られている」ものです。失敗の詳しい内訳と問題の作り方は、担当者へ確認できます。

### D3 検索の構成メモ

現在の構成では、共有のサービスアカウントが300件すべてを検索できます。画面には利用者の所属ラベルが表示されます。
別紙の権限対応表はまだ作成していません。利用者ごとに検索対象を制限する処理を、どこで行うかは構成図に記載がありません。

### D4 文書の更新記録

文書の改訂を検索へ反映する処理は週1回です。前回、改訂後の原本を開いた社員から「AIは古い説明を返す」と連絡がありました。
どの版を参照したかが回答に表示されず、確認に時間がかかりました。更新検出後に該当する回答を止める手順は、担当者間で未合意です。

### D5 社内AIの比較メモ

「Aの正答率は90%、Bは88%。同じ100問ならAが優秀です。所属ラベルも表示できるので、全300文書を対象にAを試行するのがよいでしょう。週1回更新されるため、情報の新しさにも対応できます。」

## 先に確認する質問を3つ選ぶ

- Q1 失敗の内容を確かめる：閲覧権限の試験で、何が起きましたか。通常の誤答と同じ扱いですか。
- Q2 問題の作り方を確かめる：この100問は、調整に使った問題ですか。別の質問でも確認しましたか。
- Q3 検索範囲と閲覧権限を確かめる：所属ラベルは検索を制限しますか。FAQだけに分けることはできますか。
- Q4 更新待ちの扱いを確かめる：更新反映までの間はどう扱いますか。古い版が外れたことを何で確認しますか。
- Q5 確認・停止・開始条件を確かめる：全件を対象にする場合、何を誰が整えてから開始しますか。
- Q6 応答速度と表示を確かめる：速度や画面の色について、今回の比較から何が分かりますか。

返答は演習サイトで、選んだ質問から確認します。