ChatGPTは校閲や校正に使えるか

現在、あらゆる点でIT業界の注目を集めているChatGPTですが、果たして情報の正確性や文章の正確性まで確認できる機能——つまり、校閲や校正まで行えるものなのでしょうか。どこまでChatGPTで対応できるのでしょうか。私なりの意見をまとめていますので、ご紹介したいと思います。結論から申し上げますと「個人的に使うなら良いけど、それを使って取引先やビジネス活用するにはまだ稚拙」という印象です。(※ ちなみに、今回はWebコンテンツとして直接的にChatGPTを使うケースにおいての個人見解であり、それ以外の活用に関しては私は専門外なので分かりません。)

そもそもChatGPTに何を求めるか

何かと話題なChatGPTですが、私が在籍するこのWeb業界において、ChatGPTを仕事に使う場合もしくは会社に貢献させる場合、そのChatGPTに何を求めるでしょうか。ChatGPTで生成されるコンテンツをビジネスとして活用すると考えるなら、私は結局2パターンに分かれるのではないかと思いました。
　

正確性を試してみた

ただ、いずれにしても正確性があればコストダウンにも繋がるので、一般的なもの以外でChatGPTを使うことで、正確性を試してみたいと思います。ここでいう一般的なものというのは、普通の会話で出るような話「日本で2番目に高い山は？」みたいな、事実が明確で簡単に答えに辿り着けるようなものです。仕事で使うようなケースにおいては、このような一般的なものではあまり意味がなく、もう少し専門的であったり、流動的であったり、業界的であったりしますので、少し捻って正確性を確かめてみます。ChatGPTは2021年までの情報までしかデータ処理できていませんので、例えば“2021年最も売れた自動車保険は何ですか？”と質問しました。すると以下のような回答を得られました。
　

一般社団法人自動車保険協会によれば、販売ランキング1位は、三井ダイレクト損害保険株式会社とのことです。ここまでは「へぇ凄い」と思いますよね。では、改めて(連続で質問すると既出の質問を考慮されてしまいますので、ログインし直して)一方で、“「日本で一番売れている自動車保険はソニー損保であり、2番目は三井ダイレクトです。」これは正しい内容？”という訊き方をしました。2021年という言葉を省き、逆に虚偽の内容で作成して、その正確性を問う質問形式に変えました。その結果が以下です。
　

　
どうですか？
2021年時点でソニー損保が一番売れていた自動車保険であると肯定されてしまいましたよ…。
つまり、情報の正確性という点において、質問形式を変えてしまったり言い方を変えてしまうと、都度回答も変わってしまうというのがChatGPTというものですね。通常の会話や質問であればこんなことは起きないと思うのですが、まだ大雑把な精度であることは否めないようです。

ちなみに“日本で一番売れている自動車保険は？”という言い方にして質問した結果がこちらです。
　

　
はい、今度は損害保険ジャパン日本興亜と答えられました…。訳が分からないので引用元を確認しました。
　

　
一般社団法人自動車保険協会は使わなかったようです。同じ質問でも角度を変える度に答えが変わるなら意味ないですよね。
こういったことからも、ChatGPTは、情報の事実チェックや正確性を検証する校閲業務には向いていないことが分かります。
　

校正はできるのか？

ちなみに、長文を入れて文章の校正をお願いしてみました。私の過去のブログの文章を任意に入れて「これを校正して」と伝えました。
　

　
それに対する回答がこちらです。しっかりと文章を正確に校正してくれました。
　

　
ChatGPTが疲れちゃったのか(笑)、途中で途切れてしまったので、続きを催促したら後半も校正してくれました(笑)。私の方でも見直しましたが、今回においては正確に校正をしてくれている印象です。ちなみに全く同じ感じで「これを校閲して」という質問形式に変えたのですが、その結果、校正した内容が返ってきました。グローバル展開しているChatGPTだからなのか分かりませんが、校閲と校正の違いを分かっていない印象を受けました。

暫定結論：何かでChatGPTを使うにしてもそれを確認する人は必要かも

今回の検証で、ChatGPTに校閲業務はできないにしても校正業務はできそうだと思いました。とはいえ、まだまだサンプル数が少ないですし、私も使いこなしていないのでまだ断定はできません。プライベートでChatGPTを使うなら面白いですが、ビジネスで使用する場合は取引先に迷惑がかかるかもしれないので一旦考え直したほうが良いでしょう。また一次校正業務としては使えそうですが、ChatGPTならではの癖もありそうですので、二次校正者として人間の工数も確保しておいたほうが良いと思います。

結局、ChatGPTを使う側の人間側にもChatGPTの癖を知る必要がありそうですね。あとChatGPTを直接的にビジネスに使うのではなく、社内で何かしらの検証を行う手伝いや仮説の一環として活用するにとどめておき、ChatGPTそのものをウリにするようなサービスは控えるべきだと思いました。

とはいえ、今後もっと精度が上がったり、GoogleのAIが進化して一般公開されるようになったりしたら、この先どうなるか分かりませんので、引き続きアンテナを張っておきたいと思います。