AI（人工知能）の業務システムへの適用が増えるにつれ、当初の期待とは程遠い「ポンコツAIシステム」を多く目にするようになっている。ポンコツAIシステムに陥るのを避けるには、AIシステムを意識した開発プロセスを採用する必要がある。
期待外れなポンコツAIシステムの典型が、現場で使われないAIシステムだ。実際に導入されて使われないケースもあれば、導入前に「これでは使い物にならない」とユーザーが判断する場合もある。典型例は次の通り。架空の事例ではあるが、筆者が経験したエッセンスも交えた、AIシステムの開発現場で起こっているパターンだ。
あるエンジニアは、日用品仲卸業向けにAIを活用した流通在庫の適正化を提案した。AIが出荷需要を予測して、余剰在庫と欠品のリスクを減らすシステムだ。既に複数の企業で成功例があり、自信を持って提案した。ユーザー企業の経営層はAIへの投資に前向きで、早速有効性を確認するためのPoC（概念実証）を実施することになった。
PoCのプロジェクトを立ち上げ、ユーザー企業の情報システム部門と継続的にディスカッションを実施した。分析スコープ（どの程度の数の商品を確認するか）、前提条件（何日前時点から予測するか）に合意して、PoCのKPI（重要業績評価指標）は「予測精度」と「その精度で削減できる人件費と流通コスト」とすることになった。
仮説を基に作成したトライアル用のシステムでは、3カ月平均で90％の精度で出荷需要を予測できた。これならば、人件費と流通コストを大きく削減できる。エンジニアは成功を確信して最終報告に向かったが、意外な展開が待っていた。
物流部門のマネジャーが「この報告では、日ごとではなく平均で予測精度を評価している。大きく外れる日もあるということだろう。どういう場合に外れるのか。外れたときはどうすればよいのか。それが分からないのでは、現場では使えない」と反発したのだ。物流部門はシステム開発の予算化をしないと決め、プロジェクトは中止になってしまった。
