AIやソフトに潜むリスク、Uber自動運転車事故や400億円株誤発注で露呈

　ものづくり、建設、ITの各業界において世間を大きく騒がせた大事故やトラブルを受け、企業の取り組みや制度・ルールはいかに変わったのか。過去の事故・トラブルは今、どのような形で生かされているのか。世間を騒がせた重大な事故・トラブルの教訓とは――。専門記者が徹底的に掘り下げるとともに未来を展望する。
　今回（第8回）は、東京証券取引所（現日本取引所グループ）の株式売買システムのトラブルや、自動運転車の人身事故を題材に、社会は重大事故・トラブルとどう向き合うべきかについて議論した。

――ITシステムで発生するトラブルの多くが想定外とのことでした。昔、東証でも大きなトラブルがありましたが、こちらも当てはまりますか。

井上2005年12月、東京証券取引所（現日本取引所グループ）が運営する株式売買システムのバグが原因で、誤発注した注文を取り消せずに400億円超の損失が発生したトラブルですね。

　この日、東証マザーズに新規上場したジェイコム（現ライク）株について、みずほ証券の担当者が「1株を61万円で売り」と注文するところを誤って「1円で61万株を売り」と発注して誤りに気づいたものの、取り消しをシステムが受け付けませんでした。

　これは5つの条件が重ならないとバグは発生しないという珍しい事故であり、想定外によるトラブル案件に該当すると思います。このトラブルの後、東証とみずほ証券はバグが重過失に当たるかどうかで10年にわたって裁判を繰り広げました。

　最終的に最高裁判所は2015年9月3日、双方の上告を退ける決定を下し、東証に約107億円の支払いを命じた東京高等裁判所の判決が確定しました。東京高裁は判決のなかで、売買システムのバグを重過失と認定しませんでした。複数の条件が組み合わさってバグが発現するものだったことと、テストを通じてバグを発見できたかどうかについて専門家の意見が分かれたためです。

AIで増える想定外の事故

中山ソフトウエアは、レアケースによるバグが障害につながるケースが多いものです。条件次第でいくらでも変わってくるので、人間がどこまで考慮してテストをし尽くせるかについては限界があるし、完璧にできないという話になってきます。ハードのほうがまだ分かりやすい。

――ソフトウエアについてはレアケースの考慮漏れによる事故が発生した場合にどのようにして正常な状態に戻すか。もしくは最悪の事故に備えて、損害賠償金をどうするかを想定しておくべきということのようです。いずれにせよ、レアケースのトラブルが発生した場合、運用でどうカバーするかが大切になると思います。

中山これから自動運転やAIがどんどん実用化されてくると、ソフトによる処理結果を人間が考慮しきれないケースが急増します。

井上先日、編集部員の1人が突然、あるクレジットカードを解約させらたと言っていました。支払い遅延にも心当たりがなかったのでコールセンターに問い合わせると「AIが解約と判断している」と。

　オペレーターは解約理由は分からないと答えたそうです。当事者も相手方も解約理由が分からないのに、AIが「No」といえばそうなっていくという怖さを感じました。