音声入力とOCR技術の提供で忙しい救急の現場を支援したい
総務省の調査によると、2021年の救急出動件数は619万3663件、搬送人員は549万1469人と報告されている。全国で1日に約1.7万件の救急出動があるという計算になる。その内訳は急病が405万5879件と約63.5％を占めており、残りは一般負傷、交通事故だが、5年ごとの推移で見ると急病の割合は増加している。
その背景には、超高齢化社会も関係している。高齢者の救急搬送が増加しているからだ。日頃、健康であると実感できないが、救急医療に携わる医療従事者は非常に忙しいのが現状だ。
これまでの連載で、TXP Medical株式会社（以下、TXP Medical）は救急医療の現場をDXすべく、「NEXT Stage ER」をはじめ、「NEXT Stage ICU」「NSER mobile」を開発、提供している。
自身も救急医として活躍する園生氏は、「救急搬送をデジタル化する価値は、情報の検索性と共有性が高まることです。救急医療はチーム医療です。搬送の連絡を受けた際、複数の関係者に連絡する必要があります。関係者全員でリアルタイムに情報共有できれば、処置をスムーズに行えます。デジタル化する価値はそこにあります」と語る。
搬送先となる医師、看護師、医療事務に加え、救急隊、他の病院の医師とも情報共有が必要になる。情報共有できなければ患者の処置が遅れ、命に関わることになるかもしれないからだ。
救急隊と病院側の連絡手段として、現在も多くの現場で使われているのが、紙とペンと電話である。紙とペンと電話では、チームでの情報共有は容易ではない。そこでTXP Medicalが今、注力して開発しているのが「入力支援のためのAI」である。なぜなら、救急の現場では心臓マッサージをしながら患者の情報を記入するような場面が日常茶飯事だからだ。
入力を支援するためのAIとは、救急隊向けのソリューション、NSER mobileに搭載されている音声コマンド入力技術とOCRである。
NSER mobileでは、救急隊が紙に記入する代わりに、iPhoneに向かって音声で患者の状態を話したり、免許証やお薬手帳、バイタルモニターを撮影すると、テキスト化されiPhoneアプリ FileMaker Go の指定したフィールドに入力される仕組みになっている。
FileMaker バージョン16から「URLから挿入」というコマンドが追加されたことで実現した。「Webシステム開発経験者に馴染みのあるcurlコマンドを使って、Google Cloud Speech-to-Text APIや自社製のOCR APIを呼び出し、FileMaker側がその値を取得するという仕組みになっています」（水島氏）
音声入力もOCRも、FileMaker側からみると、URL挿入のところで、curlコマンドを叩いているだけ。結果はJSONデータとして返ってくる。この仕組みの中にTXP Medical独自の技術が詰め込まれている。
音声入力の場合、例えばGoogle Cloud Speech-to-Textだけだと、救急隊の「41歳男性 えー、心房細動によりリクシアナ内服中 救急隊到着時、JCS200、血圧は156の82、体温はえーっと36.5℃」という言葉が「41歳男性 えー 辛抱細動により、陸士アナ内服中 救急隊到着時 JCS200、血圧は156の82 対4 Aと 36.5℃」といった単語に変換されて返ってくる。
「Googleの音声変換エンジンは、汎用的なエンジンなので一般的な言葉に変換されてしまいます。そこで当社が独自に開発した、入力シーンごとに学習させたテキスト置換モジュールを使って、辛抱細動を心房細動、陸士アナをリクシアナ、対4を体温というように正しく変換する仕組みにしています」（水島氏）
実際に学習させたテキスト置換モジュールを使うと、「41歳男性 心房細動によりリクシアナ内服中 気球対到着時 JCS200、血圧は156の82 体温Aと36.5℃」と変換される。このテキスト情報を辞書パターンマッチング＋修飾語重み付けエンジンを通すことで、目的に応じた正しい変換が行われ、入力内容が構造化される。
一方のOCRは、汎用のOCRエンジンは使っておらず、同社が独自で開発。その理由は完全に活用するシーンを特定することで認識精度を高めることができるからだ。
同社が開発したモニターOCRは、バイタルモニターの画面を撮影すれば、血圧や体温など必要なバイタル情報を抜き出し、それをテキスト化するという技術である。抜き出す情報が決まっているので一般的なOCRに比べて簡単と思いがちだが、そうではない。「救急の現場では、患者さんの状況やシーンによって、正面からモニターを撮影できない場合があります。斜めから撮影すると、実際に撮りたい画面が台形やひし形になったり、光の反射や走査線によって読み取りにくい画像になることが多いため、専用のOCRロジックを開発しました」（水島氏）
同社が独自開発したOCRでは、一般的なOCRでは読み取れないような画像からモニター画面を検出して、見やすい形に補正するという前処理を実施し、その画像に対して、テキスト検出を行うプロセスを採用している。
そのテキスト検出に使用しているのがCRAFT（Character Region Awareness for Text Detection）という深層学習モデル。画像内の1文字単位での位置情報予測に加え、文字間をつなぐ領域を推定することで単語ベースの文字認識に優れているからだ。
もう一つ、モニターOCRでやっかいなのは、「バイタルモニターと一口に言っても、いくつかの種類があること」と水島氏。有名なものだけでも3～4種類あるそうだ。その上、メーカーによって画面で使っているフォントの種類や色、画面サイズも異なる。「このメーカーのこの位置の数値はSpO2、このメーカーだとこの位置で緑色は脈拍、といった形で、パターン化して認識し、最終的にJSONデータとしてFileMakerに結果を返す仕組みを作っています」と水島氏は話す。
だが、同じメーカーでも機種によっては表示形式が異なるため、何度も学習させることで精度を高めていくことになる。その学習が大変なのだが、そこに同社の強みがあると水島氏は明かす。「当社には医師と兼業のメンバーがたくさんいるので、現場で使っているモニターの情報が入手しやすいのです」（水島氏）
また園生氏も、「モニターの写真を撮ってきてほしいと言うと、いろんなメーカーの写真を撮ってきてくれる体制ができています。しかも救急隊に使われることでより教師データも集まる。結果として精度も高まっていく。そういう体制づくりは、当社だからこそできること」と続ける。
音声入力の精度を高め、現場で使ってもらえるシステムに
精度を高めることに注力しているとは言え、課題もある。音声入力もOCRもどれだけやっても100％にならないからだ。「自治体や消防隊員、救急隊員はシステムに対するゼロリスクの信仰があり、100％稼働することを期待するんです。だから音声入力で誤認識があると『バグではないか』、OCRで血圧の数値が入力されないことがあると『こういうエラーが出るシステムでは困る』と言われます」（園生氏）
しかし、何度も自社でテストを実施することはもちろん、現場でも使ってもらい、意見を積極的にもらったという。実際、同社システムを活用している神奈川県鎌倉市の消防署に所属する救急隊員へのアンケートを実施したところ、音声入力の有効性は55％だったが、画像OCRの有効性は94％という回答があった。
OCRに関しては高い満足度が得られている一方で、「音声入力に関しては若い人たちから、フリック入力したほうが早いという意見をもらうことも多いですね」と園生氏は話す。
TXP Medicalが日頃から大事にしているのが、ユーザーとのコミュニケーションである。「AIを使った仕組みと言うと、魔法の杖のように思われがちですが、実際にはいろいろな技術を組み合わせて作っています。精度を上げられることには精一杯、これからも取り組んでいきますが、100％にはならないことを理解してもらえるよう、より積極的にユーザーとコミュニケーションを取っていこうと思います。これは私たちのチャレンジです。せっかく開発しても使ってもらえないと、意味がなくなるので」（水島氏）
今後、TXP MedicalではFileMakerとの技術的な組み合わせで、どんなことを解決していくのか。園生氏は「もっとハンズフリーにしていきたい」と力強く語る。
園生氏が今最も注目しているのがSiriとの組み合わせだ。OCRは月間4000件ぐらいの救急隊の出動があり、OCRのトランザクション数は月間約1万回以上。それぐらい活用されている中で、満足度の高さを得ているOCR同様に、音声入力の満足度を高めたいという思いがあるからだ。
Siriをはじめとする、グローバルな汎用AI技術は年々、精度が上がっていく。救急医療の現場で活用するために、その汎用のAI技術と組み合わせるのが、救急医療というニッチ領域で活用するためのTXP MedicalのAI技術である。同社ではそこにフォーカスして開発を強化していくのだ。
「例えば『Hey Siri、今から既往歴を言うよ』と手軽に音声入力ができるようになると、ドクターカーやドクターヘリなど、救急搬送の場面でもっと使えるようになるという意見をよくもらいます。音声入力に対する市場の期待は大きいので、その期待に応えていきたいですね」（園生氏）
ローコード開発プラットフォーム Claris FileMaker や、ワークフロー自動化ツール Claris Connect のお客様導入事例を含む 40 以上の多彩なセッションを無料配信。
- 日程：2022年10月26日（水）〜10月28日（金）
- 「Claris Engage Japan」ご登録はこちら
