書籍「大規模言語モデルは新たな知能か」は、AI研究の歴史をひもときながら、ChatGPTなどの大規模言語モデルがなぜ言語を扱う能力を獲得できているのか、そしてこの新しい知能とどのように付き合うのかを、数式を使わずに専門家が解説している本です。
すでにChatGPTの入門書を読んだことがある人やChatGPTを使ったことがある人で、大規模言語モデルの歴史や仕組みについてもっと知りたいと興味を持った人に一読をおすすめします。
本の概要、注目点、感想・口コミ・書評記事、参考文献、を紹介します。
本の概要
書籍情報
ポチップ
| タイトル | 大規模言語モデルは新たな知能か――ChatGPTが変えた世界 |
| 著者 | 岡野原 大輔 |
| 出版社 | 岩波書店 |
| 発売日 | 2023/6/20 |
| 単行本ページ数 | 136 |
著者紹介
岡野原 大輔（おかのはら だいすけ）
2006年にPreferred Infrastructureを共同で創業、2014年にPreferred Networks（PFN）を共同で設立。
現在は、Preferred Networks（PFN）代表取締役最高研究責任者、およびPreferred Computational Chemistry代表取締役社長を務める。
（著者略歴より一部引用）
Twitter： @hillbig
Web Site： https://hillbig.github.io/
著者が伝えたいこと
著者はこの本を通じて伝えたいことを以下のように述べています。（序章より一部引用）
本書ではなぜ、これまで計算機で言語を扱うことが難しかったのか、大規模言語モデルがなぜ言語を扱う能力を獲得できているのか、もしくはできていないのかについて紹介していく。
本書では、専門知識を必要とせずに読み進めていただけるよう、技術詳細は略し数式を使わないように注意した。
人はこの新しい知能との付き合い方をまだよくわかっていない。私たちは、こうしたシステムが人とは違う種類の知能を持っていることを理解し、うまい使い方、飼いならし方を身につけていく必要がある。本書は大規模言語モデルによる新しい知能との付き合い方を考えていく。
本の目次
本の目次を引用して紹介します。
- 序章 チャットGPTがもたらした衝撃
- １ 大規模言語モデルはどんなことを可能にするだろうか
- ２ 巨大なリスクと課題
- ３ 機械はなぜ人のように話せないのか
- ４ シャノンの情報理論から大規模言語モデル登場前夜まで
- ５ 大規模言語モデルの登場
- ６ 大規模言語モデルはどのように動いているのか
- 終章 人は人以外の知能とどのように付き合うのか
- あとがき
もっとくわしく見たい場合は記事の最後に、本の目次（詳細版）があります。
注目点
この本はどのようなことが書かれているのか？読んでみて注目した点を3つ紹介します。
人は言語をどのように獲得し、運用しているのか
１つ目に注目した点は「３ 機械はなぜ人のように話せないのか」に書かれている「人は言語をどのように獲得し、運用しているのか」です。
「人を人たらしめているのは言語（言葉）である。人々は言葉を使うことで、考えをまとめ、コミュニケーションをし、社会生活を送ることができる。」と著者は述べて以下のようにつづけています。
しかしながら、言語が頭の中でどのように処理されているのかについては未だ解明されていない。
多くの研究者が長年その解明にとりくんでいるにもかかわらずだ。
その大きな理由として、言語処理の大部分が無意識下で行なわれていることがあげられる。
岡野原 大輔. 大規模言語モデルは新たな知能か ChatGPTが変えた世界 (岩波科学ライブラリー) (p.50). Kindle 版.
大規模化はどこまで進むのか
２つ目に注目した点は、「５ 大規模言語モデルの登場」に書かれている「大規模化はどこまで進むのか」です。
著者は、「大規模化していくと、学習も推論もコストが大きくなってしまい、経済合理性がなくなる。」と述べています。
この課題に対して、「蒸留」を説明しています。
- 蒸留とよばれるテクニックにより、大きなモデルを使わないと解けなかった問題を解く能力を小さなモデルに移せることがわかっている。
- 蒸留はお酒を蒸留させるがごとく、知識のエッセンスを凝縮させることができるという手法である。
蒸留によって、例えば大きなモデルで学習したとしても、利用するときはもっと小さなモデルで動かすことができ、経済性やリアルタイム性を考慮したモデルを作ることができる。
特定用途向け、もしくは能力をおとせば、クラウドの大規模計算資源を使わず、モバイルなど個別端末で大規模言語モデルを動かすこともできるだろう。
岡野原 大輔. 大規模言語モデルは新たな知能か ChatGPTが変えた世界 (岩波科学ライブラリー) (pp.93-94). Kindle 版.
指示を受け、その場で適応していく本文中学習
３つ目に注目した点は「６ 大規模言語モデルはどのように動いているのか」に書かれている「指示を受け、その場で適応していく本文中学習」です。
著者は「プロンプトによって挙動が変わり、モデルが論理的推論を必要とする場合には、段階的に推論させたり、一つずつ順番に考えさせたり、（Chain-of-Thought, Step-by-Step）、例題を解かせることでその後の問題可決能力が改善する現象がみられる。」と述べ、「本文中（In-Context）学習」を以下のように説明しています。
こうしたことでは、あたかも、大規模言語モデルが指示を受けたり、自分で考えている間に挙動を変えその場で学習しているようにみえる。
このようにあらかじめ訓練データで学習したのとは別に、今処理している中で学習していくことを本文中学習とよぶ。
岡野原 大輔. 大規模言語モデルは新たな知能か ChatGPTが変えた世界 (岩波科学ライブラリー) (pp.133-134). Kindle 版.
感想・口コミ・書評記事
感想
これまでChatGPT関連書籍を読んでいて疑問に感じていたことについて、この本では自然言語処理の歴史をひもときながら、一つひとつていねいに説明がなされており、ChatGPTや大規模言語モデルの仕組みについてさらに理解を深めることができた。
細かいことで疑問に思っていたことも解消できた。たとえば、「Zero-Shot/Few-Shotプロンプト」で使われている「Shot（ショット）」について、「ショットは写真の枚数が語源であり、画像認識において訓練画像なしで学習することをゼロショット学習とよんだことからこの名がついている。」と説明されていた。
4章以降の数箇所にある「コラム」に書かれている内容に興味を引くことが多く書かれていたのも印象的でした。たとえば、「コラム）普遍文法と現在の大規模言語モデル」では「言語獲得に普遍文法は必要なのかという論争がされており、決着はしていない。」や、「コラム）アレックスネット開発の裏側」では「GPUがニューラルネットワークの学習に使われたのは、学生が自分の部屋のベット下においたPCのGPUで実験したのが始めだった」といった話など、AI研究での論争や現場の話が書かれていて面白かった。
終章で著者は「大規模言語モデルを、誤りを犯すこともあるし、考え方も異なる、ちょっと変わった『人』として付き合うのはどうだろうか。」と述べて、付き合い方を説明しているところがわかりやすく、他の書籍にはない表現だったので参考になりました。
専門知識を必要とせずに読めるように技術詳細は略して数式を使わないように記述されていますが、4章から6章は一度読んだだけでは十分に理解することができなかったので、今後何回か読み直していこうと思っています。
すでにChatGPTの入門書を読んだことがある人やChatGPTを使ったことがある人で、大規模言語モデルの歴史や仕組みについてもっと知りたいと興味を持った人には、コストパフォーマンスも良くておすすめする書籍です。
ポチップ
口コミ
書評記事
【書評】岡野原大輔『大規模言語モデルは新たな知能か――ChatGPTが変えた世界』 | Ledge.ai
[書評] 大規模言語モデルは新たな知能か ー 専門家じゃない人がChatGPTの技術的なことを知りたいと思ったら最適な一冊 - まったり勉強ノート
参考文献
この本の参考文献に記載されている本や関連する本を紹介します。
著者・岡野原 大輔氏による本書のサポートページ
https://www.iwanami.co.jp/book/b625941.html
ディープラーニングを支える技術1/2, 技術評論社, 2022（著）
ポチップ
ポチップ
AI技術の最前線, 日経BP, 2022（著）
ポチップ
ChatGPTがわかる本おすすめ
生成AIがわかる本おすすめ
まとめ
本の概要、注目点、感想・口コミ・書評記事、参考文献、を紹介しました。
書籍「大規模言語モデルは新たな知能か」は、AI研究の歴史をひもときながら、ChatGPTなどの大規模言語モデルがなぜ言語を扱う能力を獲得できているのか、そしてこの新しい知能とどのように付き合うのかを、数式を使わずに専門家が解説している本です。
すでにChatGPTの入門書を読んだことがある人やChatGPTを使ったことがある人で、大規模言語モデルの歴史や仕組みについてもっと知りたいと興味を持った人に一読をおすすめします。
ポチップ
はじめてのプロンプトエンジニアリングコース
- ChatGPTなどのAIを使いこなし業務の生産性をあげよう
- 1人では続かない方のためのメンターサポートがつく学習プログラム
- デザイナー、マーケティング担当者、人事担当者、カスタマーサービス担当者、エンジニア・プログラマー、データサイエンティストにおすすめ
- コース詳細は公式サイトまで
本の目次（詳細版）
この本の目次（詳細版）を引用して紹介します。
- 序章 チャットGPTがもたらした衝撃
- 登場から二ヶ月で月間一億人が利用するサービスに
- 大規模言語モデルはこれまでにない汎用サービスを実現する
- 生活や社会を変えうる
- 社会への脅威となりうる
- 言語獲得の謎は解けるのか
- 新しい知能との付き合い方
- １ 大規模言語モデルはどんなことを可能にするだろうか
- 文章の校正・要約・翻訳
- プログラミングのサポート
- ウェブ検索エンジンの上位互換
- 言語を使った作品を作る
- カウンセリング、コーチング
- 学習のサポート
- 高度な専門性が必要な仕事のサポート
- 人にやさしいインターフェース
- 科学研究の加速
- 演繹的なアプローチと帰納的なアプローチの融合
- ２ 巨大なリスクと課題
- 情報の信憑性ーー幻覚
- 幻覚の解決は簡単ではない
- 誤った情報の拡散
- プライベートな領域に入り込む
- 価値観や偏見の扱い方
- 本人であることの証明が難しくなる
- 変わる仕事、残る仕事
- AIの補助で仕事の構造が変わっていく
- 大規模言語モデルの開発が一部に独占される
- ３ 機械はなぜ人のように話せないのか
- 人は言語をどのように獲得し、運用しているのか
- 私たちは言語をいつのまにか獲得している
- 自然言語処理と機械学習
- これまでの機械学習では言語獲得・運用は難しかった
- ４ シャノンの情報理論から大規模言語モデル登場前夜まで
- 意味をなくし確率を使って情報を表すーー革命的だったシャノンの情報理論
- どの文がもっともらしいかーー言語モデル
- 言語モデルは言語を生成することができる
- 消された単語を予測することで言語理解の能力を獲得する
- 多様な訓練データをタダでいくらでも入手できる自己教師あり学習
- 問題の背後にある法則やルールを理解できるかーー汎化
- 実験結果は言語モデルが意味や構造を理解していることを示唆する
- 言語モデルは文の意味を理解し、かつ文も生成できる
- コラム）圧縮器としての言語モデル
- データを生成できるモデルの発展
- コラム）人も言語モデルから学習しているのか
- ５ 大規模言語モデルの登場
- 限界への挑戦
- 言語モデルの「べき乗則」の発見
- データと計算力があれば知能を獲得できる
- モデルを大きくすると問題が急に解けるようになる
- コラム）普遍文法と現在の大規模言語モデル
- 大規模化はどこまで進むのか
- コラム）人の脳とAI
- プロンプトで変わるAIの使い方
- AIを使った開発は誰でもできるようになる
- 人によるフィードバックを与える
- ６ 大規模言語モデルはどのように動いているのか
- ニューラルネットワークの進化
- ニューラルネットワークの学習ーー誤差逆伝播法
- 汎化ーー未知のデータの予測へ
- ディープラーニングの登場
- コラム）アレックスネット開発の裏側
- なぜディープラーニングはここまで成功したのか
- コラム）モデルサイズと汎化の謎
- データの流れ方を学習し、短期記憶を実現する注意機構
- 大規模言語モデルを実現したトランスフォーマー
- 指示を受け、その場で適応していく本文中学習
- 人間に寄り添う生成のための目標駆動学習
- チャットGPTでの矯正法
- 終章 人は人以外の知能とどのように付き合うのか
- 道具としての大規模言語モデル
- 間違いもするし、自分と考え方も違う人のように付き合う
- 人はこうしたツールを飼いならせるのか
- コンピュータ将棋、囲碁のケース
- 人間自身の理解へ
- あとがき