つくりながら学ぶ!PyTorchによる発展ディープラーニング

参加者

  1. 奈須 日向太
  2. 藤兼 由生
  3. 嶋田 恭助
  4. 赤尾 貴仁
  5. 葛西 日向
  6. 清水 一生
  7. 鈴木 葵登
  8. 宇川 徹
  9. 中北 雄大
  10. 山本 悠統

目次

第1章 画像分類と転移学習(VGG)…1 [中北] 56ページ
1.1 学習済みのVGGモデルを使用する方法…2
1.2 PyTorchによるディープラーニング実装の流れ…14
1.3 転移学習の実装…17
1.4 Amazon AWSのクラウドGPUマシンを使用する方法…32
1.5 ファインチューニングの実装…47

第2章 物体検出(SSD)…57 [山本] 52ページ
2.1 物体検出とは…58
2.2 Datasetの実装…64
2.3 DataLoaderの実装…77
2.4 ネットワークモデルの実装…80
2.5 順伝搬関数の実装…93
2.6 損失関数の実装…104
2.7 学習と検証の実施…114
2.8 推論の実施…122

第3章 セマンティックセグメンテーション(PSPNet)…129 [清水] 54ページ
3.1 セマンティックセグメンテーションとは…130
3.2 DatasetとDataLoaderの実装…134
3.3 PSPNetのネットワーク構成と実装…143
3.4 Featureモジュールの解説と実装…148
3.5 Pyramid Poolingモジュールの解説と実装…158
3.6 Decoder、AuxLossモジュールの解説と実装…162
3.7 ファインチューニングによる学習と検証の実施…166
3.8 セマンティックセグメンテーションの推論…176

第4章 姿勢推定(OpenPose)…183 [宇川] 58ページ
4.1 姿勢推定とOpenPoseの概要…184
4.2 DatasetとDataLoaderの実装…192
4.3 OpenPoseのネットワーク構成と実装…207
4.4 Feature、Stageモジュールの解説と実装…212
4.5 TensorBoardXを使用したネットワークの可視化手法…218
4.6 OpenPoseの学習…223
4.7 OpenPoseの推論…231

第5章 GANによる画像生成(DCGAN、Self-Attention GAN)…241 [葛西] 48ページ
5.1 GANによる画像生成のメカニズムとDCGANの実装…242
5.2 DCGANの損失関数、学習、生成の実装…252
5.3 Self-Attention GANの概要…265
5.4 Self-Attention GANの学習、生成の実装…274

第6章 GANによる異常検知(AnoGAN、Efficient GAN)…289 [赤尾] 38ページ
6.1 GANによる異常画像検知のメカニズム…290
6.2 AnoGANの実装と異常検知の実施…294
6.3 Efficient GANの概要…303
6.4 Efficient GANの実装と異常検知の実施…311

第7章 自然言語処理による感情分析(Transformer)…327 [藤兼] 68ページ
7.1 形態素解析の実装(Janome、MeCab+NEologd)…328
7.2 torchtextを用いたDataset、DataLoaderの実装…335
7.3 単語のベクトル表現の仕組み(word2vec、fastText)…343
7.4 word2vec、fastTextで日本語学習済みモデルを使用する方法…352
7.5 IMDb(Internet Movie Database)のDataLoaderを実装…359
7.6 Transformerの実装(分類タスク用)…367
7.7 Transformerの学習・推論、判定根拠の可視化を実装…382

第8章 自然言語処理による感情分析(BERT)…395 [鈴木] 54ページ
8.1 BERTのメカニズム…396
8.2 BERTの実装…402
8.3 BERTを用いたベクトル表現の比較(bank:銀行とbank:土手)…421
8.4 BERTの学習・推論、判定根拠の可視化を実装…431

第9章 動画分類(3DCNN、ECO)…449 [嶋田] 50ページ
9.1 動画データに対するディープラーニングとECOの概要…450
9.2 2D Netモジュール(Inception-v2)の実装…454
9.3 3D Netモジュール(3DCNN)の実装…466
9.4 Kinetics動画データセットをDataLoaderに実装…476
9.5 ECOモデルの実装と動画分類の推論実施…489

あとがき…499
索引…500


参考資料


風間 一洋