GPT-3と自然言語処理の未来(ビジネス面の可能性から)
新たな自然言語処理の仕組み(言語生成モデル)であるGPT-3が話題になっています。性能の向上だけでなく、ビジネスにおける自然言語処理活用の可能性を一気に広めるかもしれないものな気がするので、GPT-3が見せてくれた未来について書いていきます。詳しい説明とデモはRyobot氏の以下のブログでどうぞ。
論文は以下。何か間違ってたら教えてください。
さて、GPT-3が開いた可能性とは、「素人が好き勝手自然言語処理(=AIの活用)をできる未来」です。といっても現状がわからないとわからないと思うのでそこから説明していきます。
これまでの仕組み
これまでの仕組みでは、自然言語処理で何かしらのタスクを行う際には以下の手順が必要でした。
①汎用言語モデルを作る
②タスクごとにfine-tuning
言語モデルって何という具体的な話は(難しいので)置いておきますが、ざっくり意味を言うとタスク(翻訳、文章分類、要約、応答、……)に依らない共通の下準備をしておきますということです。その下準備をしたうえで、それぞれのやりたいことに合わせてfine-tuning(目標タスクに特化するためのチューニング)をする必要がありました。
そのためには、その目標を達成するための言語データが数千から数万の単位で必要でした。例えば、
・翻訳したい→英語と日本語のセット
・新聞記事に自動カテゴリ付けをしたい→本文とカテゴリのセット
といったものを数千から数万の単位で用意する必要がありました。さらにこのチューニングに専門技術が必要でした*1。
GPT-3における文章生成の手順
さて、これに対してGPT-3が提示する仕組みは以下の通りです。
①汎用の言語モデルを作る
②文章でタスクを書く
例：「英語を日本語に翻訳して」*2
③いくつか例を入力する(10-100例)
これをしたうえで、実際にタスクを行って欲しいものを入力することで文章生成ができるようになります。
この元では、これまでの方法で行われていた専門知識による調整がなくなっています。②と③の手順はいかにも専門知識がなくともできそうな感じがします。
つまり、非専門家が「AI使ってやってみたいな～」と思ったことに対して、(上手い形で①のモデルが使えるようになっていれば)すぐに試すことができるようになるわけです。いや～とてつもない世の中ですね。
GPT-3の現状としてはタスクごとの調整をした方がまだまだ精度が良いとのことですが、このまま自然言語処理の技術が向上していけば実用に耐えるくらいのものが文章による指示と例を与えるだけでできるようになるのではないでしょうか。
AIエンジニアが必要なくなる未来は来るんでしょうか？コードを書くようなデモもあり、まだまだ人の仕事を脅かすほどのものではないようですが、Webエンジニアの未来も安泰ではないかもしれません。
これがシンギュラリティなのかはわかりませんが、かなり大きなパラダイムの変化が来ているのでは？という感じです。
