警告 ChatGPTの無料版では不正確な情報が提供される可能性があります

上記の研究は、2022年1月から2023年4月にかけて、ロングアイランド大学（米国）の薬剤師グループによって、OpenAI社のChatGPTの無料版を使用して実施されました。そこで、薬学准教授サラ・グロスマン氏とその研究チームは、ロングアイランド大学薬学部の医薬品情報サービスに関連する 45 の実用的な質問を提示しました。チームの薬剤師数名が調査を行い、45の質問に回答しました。他の薬剤師数名が各質問と回答を確認します。これらの応答は、ChatGPT 応答と比較するための基準として使用されます。その後、チームは裏付けとなる文書が不足していたため 6 つの質問を削除し、ChatGPT が回答する質問は 39 個になりました。

結果は、薬剤師が設定した基準に基づいて、39 件の ChatGPT 回答のうち 10 件のみが満足と評価されたことを示しました。残りの質問については、ChatGPT は 11 の質問に直接回答せず、10 の質問に誤って回答し、12 の質問に誤って回答または不完全に回答しました。

これらの結果を踏まえ、主任研究者のサラ・グロスマン氏は、医療従事者と患者はChatGPTを使用して薬物関連の情報を探す際には注意する必要があり、ChatGPTを使用して薬物情報を調べる人は誰でも他の信頼できる情報源でそれを検証する必要がある、と述べた。

研究者は質問ごとに、情報を検証できるように ChatGPT に参考資料を提供するよう依頼しました。参照がある回答は 8 つだけであり、これらはすべて利用できなくなりました。注目すべきことに、研究者らはChatGPTに対し、ファイザーのCOVID-19治療薬パクスロビドと高血圧薬ベラパミルの間に相互作用があるかどうかを尋ねたところ、ChatGPTは、2つの薬を同時に服用した際に相互作用は見られなかったと回答した。しかし、グロスマン准教授は、実際にはこれら2つの薬は相互作用を起こす可能性があり、パクスロビドとベラパミルの併用により患者の血圧が著しく低下する可能性があると述べた。彼女は、この相互作用について知らなければ、患者は実際には予防可能な望ましくない副作用を経験する可能性があると強調した。

研究の中で、グロスマン氏は、米国の医薬品規制当局が、ChatGPTの無料版がデータセットの使用を制限されてから数か月後の2021年12月に初めてパクスロビッドを承認したと指摘した。そのため、多くの Paxlovid ユーザーは、アクセスしているデータが古く、ChatGPT が提供する情報が不正確であることに気付いていない可能性があります。グロスマン氏は、ChatGPT の有料版のほうが良い結果が得られるかもしれないと考えています。

グロスマン氏によると、この調査は今年初めのチャットボットのパフォーマンスのスナップショットを提供しているだけであり、ChatGPTの無料バージョンが現在改良され、より良い結果が得られている可能性があるという。