Shingo Horiuchi, profile picture
Uploaded byShingo Horiuchi
PPTX, PDF9,142 views

Image net classification　with Deep Convolutional Neural Networks

黒船がやってきた！！

Embed presentation

Downloaded 100 times
IMAGENet Classification 輪＿ with Deep Convolutional Neural Networks 講： NIPS ‘12 2012 / 12 / 20 本位田研究室 M1 堀内 新吾
発表論文 『IMAGENet Classification with Deep Convolutional Neural Networks』 会議：NIPS 2012 著者：Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton トロント大学のHinton先生と愉快な仲間たち
Object Recognition 応用例： • カメラの顔認識 • 自動レジ • ロボットの目 • etc… 近年の傾向： • クラス数 • 訓練画像数 • 特徴量の複雑化 Cat? Leopard?
ILSVRC2012 IM GENET Large Scale Visual Recognition Challenge • 世界最大規模の画像認識コンテスト カテゴリ数 訓練画像 検査画像 テスト画像 1000 120万枚 50000枚 150000枚 ※ ↑をダウンロードするだけで一週間かかる Difficulty: – データサイズの問題 – 訓練画像の数の多さの問題 – 識別の複雑さの問題
Typical OR Approach 訓練画像 特徴抽出 特徴量 学習 クラスラベル クラス 分類機 ﾃｽﾄ画像 特徴量 識別 クラスラベル 特徴抽出 “どんな特徴量を使う か”が最重要、だった
Proposal Approach 訓練画像 Deep クラスラベル Conventional Neural クラスラベル ﾃｽﾄ画像 Networks • 内部で自動で特徴抽出 • 各層の間に荷重付き枝を持つようなNeural Network
Result of ILSVRC 2012 Error Rate 0.4 34% 0.3 29% 27% 27% 26% 0.2 16% 0.1 0 わけが わからない よ
Agenda • Overview • ImageNet • Architecture – Deep Learning – Convolutional NNs – Acceleration – Reducing Overfitting • Learning • Result and Evaluation
Intro.
Overview why? 実世界におけるクラス分類に耐える識別機を作 る 史上最大規模のNeural Network how? それを動かせるGPU what? Reasonableな時間で圧倒的な性能を出した Reasonableな時間で圧倒的な性能を出した contrib. GPU用のコードを公開した
IM GENET WordNetの階層に従う画像データベース url: http://www.image-net.org/ • カテゴリ22000 • 画像：1500万枚 １画像１カテゴリでbounding-boxや各種特徴量も配布 ex.)Chain-mailカテゴリの画像
Architecture
Deep Learning Output 識別機 教師あり学習 教師なし学習 Input
Deep Learning Output Traditional Approach Greedy Layer-wise Training[1] • まとめて学習 識別機 • 一層ずつ学習 • 多層autoencoder • 一層のautoencoder × 時間  時間 × 効率  効率 × Vanishing Gradient × Overfitting Problem Input
Convolutional NNs[2] • ＮＮsの問題 各ユニットが全て繋がっている ↓ • 提案１ • 入力の欠損 • 入力のズレ • ノイズ • 提案２ の影響をＮＮｓ全体が学習してしまう • 提案３
Convolutional NNs[2] • ＮＮsの問題 各ユニットへの入力を制限 • 前の層の一部のユニットの出力だけを受け取る フィルタのようなもの • 提案１ → 入力の誤差を全体に伝搬させない • 入力範囲はオーバーラップするように選ぶ • 提案２ データの欠損に対応するため • 提案３
Convolutional NNs[2] • ＮＮsの問題 重みを共有 • 入力範囲の同じ入力座標は同じ重みをもつ • 提案１ • 同じフィルタを使って圧縮するイメージ → フィルタに対する入力の傾向を学習 → 入力のズレ，ノイズに対応 • 提案２ 問題: １つのフィルタについてしか学習できない • 提案３
Convolutional NNs[2] • ＮＮsの問題 フィルタの数を増加 • 多数のフィルタを用意して出力を多次元化 異なる重みをもつ複数のフィルタを学習 • 提案１ • 様々な特徴を学習可能 • 提案２ • 提案３
Architecture of CNNs 5層のCNNｓ + 3層のNNｓ • 入力：150,528次元 • ニューロン：約66万個，GPU2台に配置 253,440 – 186,624 – 64,896 – 64,896 – 43,264 – 4096 – 4096 • 出力：1000次元
Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化
Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化 ニューロンのモデ ル 入力 x : 前の層の出力を各枝ごとに重み付けしたも の 出力 f(x): 入力に非線形な変形を加えたもの ex.) f(x) = tanh(x), (1 + e-x)-1 f(x) 問題点 : 莫大な回数行うとなると遅すぎる -> もっと単純な変形で出力を決定したい ＲｅＬＵ 非線形変換 f(x) = max(0, x) 予備実験において6倍速くネットワークを収束
Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化 GPU間のデータのやり取りを制限 - 2,3層間，5,6層間，6,7層間だけ
Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化 • ReLU非線形変換の入力は全部負だとダメ → 近傍のフィルタの同じ座標の重みで正規 化 予備実験では約2％の性能向上 厚み：N この範囲で正規化す
Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化 • 近傍の出力をまとめる 出力: 平均，最大値，etc… • 一般的には範囲を分ける 図:Poolingのイメージ →Overlapさせることでズレを 吸収 図:3×3, Overlap 1の例 0.3~0.4％の性能向上
Reducing Overfitting  試験前に必死で勉強  とりあえず丸暗記  問題集は完璧！！  応用問題しか出ない  暗記だけだからヤバい  勉強しない方が良かった
Reducing Overfitting データの拡張 バリエーションを増やす Dropout ラベルを保存するような変換 1. トリミング+鏡像 訓練時：ランダムに切り取る テスト時：中央＋4隅 2. 輝度の変更 主成分分析を利用 ガウス分布から固有値を抽出 固有値と乱数で輝度を変更 約1％の性能向上
Reducing Overfitting Dropoutなし データの拡張 バリエーションを増やす Dropout[3] ラベルを保存するような変換 • 出力の半分を0にする 1. トリミング+鏡像 CNNsなので重みは共有 訓練時：ランダムに切り取る → 他の部分で学習は可能 テスト時：中央＋4隅 Dropoutあり 2. 輝度の変更 • 他ニューロン任せをやめる 主成分分析を利用 ガウス分布から固有値を抽出 NNｓは影響度の高いニューロン に 固有値と乱数で輝度を変更 学習をまかせてしまうことがあ 約1％の性能向上 る 図：手書き数字画像から得た特徴
Learning
Learning • 学習アルゴリズム：確率的勾配降下法 • 重みの初期化： 平均0のガウス分布からサンプリング • 学習回数：90回 2台のGPUで5，6日かかった
Result & Evaluation
Result error rate 図：ILSVRCの結果 圧倒的なエラー率の低さ
Sub-Result • CNNsの構造の変化に対する性能評価 ＊付きは2011年のデータも使って事前学習したものを利用
Qualitative Evaluation 1層目のレイヤーの出力．上: GPU1，下: GPU2 • 1層目が獲得した特徴 – GPU1：傾き – GPU2：色 • 脳の視覚野にも異なる性質に反応する部位が存 在 ↑GPU間の通信を制限したことによるのではない か？
Application
Summary
Sammary 実世界にも応用可能な識別問題を解くために CNNsとDeep Learningを用いた巨大なネットワーク を GPU2台の上に実装し ImageNetのコンテストに応用したら 常識破りな結果が出ちゃった＾＾
Refference [1]Deep Learning: A fast learning algorithm for deep belief nets, GE Hinton, S Osindero, YW Teh - Neural computation, 2006. [2]CNNs: Face recognition: A convolutional neural-network approach, S Lawrence, CL Giles,et al. Neural Networks, IEEE Transactions on 1997 参考http://ceromondo.blogspot.jp/2012/09/convolutional-neural-network.html [3]Dropout: Improving neural networks by preventing co-adaptation of feature detectors, GE Hinton, N Srivastava, A Krizhevsky, et al. 2012

More Related Content

PDF
深層学習入門
byDanushka Bollegala
 
PDF
20150930
bynlab_utokyo
 
PPTX
畳み込みニューラルネットワークの高精度化と高速化
byYusuke Uchida
 
PDF
Introduction to Deep Compression
byWEBFARMER. ltd.
 
PPTX
畳み込みニューラルネットワークの研究動向
byYusuke Uchida
 
PPTX
MIRU2014 tutorial deeplearning
byTakayoshi Yamashita
 
PPTX
深層学習 第4章 大規模深層学習の実現技術
by孝昌 田中
 
PDF
Pythonで体験する深層学習 5章
by孝好 飯塚
 
深層学習入門
byDanushka Bollegala
 
20150930
bynlab_utokyo
 
畳み込みニューラルネットワークの高精度化と高速化
byYusuke Uchida
 
Introduction to Deep Compression
byWEBFARMER. ltd.
 
畳み込みニューラルネットワークの研究動向
byYusuke Uchida
 
MIRU2014 tutorial deeplearning
byTakayoshi Yamashita
 
深層学習 第4章 大規模深層学習の実現技術
by孝昌 田中
 
Pythonで体験する深層学習 5章
by孝好 飯塚
 

What's hot

PPTX
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
byDeep Learning JP
 
PPTX
ResNetの仕組み
byKota Nagasato
 
PDF
Convolutional Neural Network @ CV勉強会関東
byHokuto Kagaya
 
PDF
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
bymarsee101
 
PPTX
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
byDeep Learning JP
 
PDF
大規模画像認識とその周辺
byn_hidekey
 
PPTX
Res netと派生研究の紹介
bymasataka nishimori
 
PDF
Tutorial-DeepLearning-PCSJ-IMPS2016
byTakayoshi Yamashita
 
PPTX
[DL輪読会]VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Envir...
byDeep Learning JP
 
PPTX
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
byKCS Keio Computer Society
 
PPT
Deep Learningの技術と未来
bySeiya Tokui
 
PDF
MIRU2018 tutorial
byTakayoshi Yamashita
 
PDF
semantic segmentation サーベイ
byyohei okawa
 
PDF
再帰型ニューラルネット in 機械学習プロフェッショナルシリーズ輪読会
byShotaro Sano
 
PDF
DeepLearningTutorial
byTakayoshi Yamashita
 
PDF
モデルアーキテクチャ観点からのDeep Neural Network高速化
byYusuke Uchida
 
PPTX
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
PDF
画像認識のための深層学習
bySaya Katafuchi
 
PDF
LSTM (Long short-term memory) 概要
byKenji Urai
 
PDF
IEEE ITSS Nagoya Chapter
byTakayoshi Yamashita
 
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
byDeep Learning JP
 
ResNetの仕組み
byKota Nagasato
 
Convolutional Neural Network @ CV勉強会関東
byHokuto Kagaya
 
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
bymarsee101
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
byDeep Learning JP
 
大規模画像認識とその周辺
byn_hidekey
 
Res netと派生研究の紹介
bymasataka nishimori
 
Tutorial-DeepLearning-PCSJ-IMPS2016
byTakayoshi Yamashita
 
[DL輪読会]VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Envir...
byDeep Learning JP
 
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
byKCS Keio Computer Society
 
Deep Learningの技術と未来
bySeiya Tokui
 
MIRU2018 tutorial
byTakayoshi Yamashita
 
semantic segmentation サーベイ
byyohei okawa
 
再帰型ニューラルネット in 機械学習プロフェッショナルシリーズ輪読会
byShotaro Sano
 
DeepLearningTutorial
byTakayoshi Yamashita
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
byYusuke Uchida
 
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
画像認識のための深層学習
bySaya Katafuchi
 
LSTM (Long short-term memory) 概要
byKenji Urai
 
IEEE ITSS Nagoya Chapter
byTakayoshi Yamashita
 

Viewers also liked

PPTX
論文紹介: Fast R-CNN&Faster R-CNN
byTakashi Abe
 
PDF
Information-Theoretic Metric Learning
byKoji Matsuda
 
PDF
Faster R-CNN: Towards real-time object detection with region proposal network...
byUniversitat Politècnica de Catalunya
 
PDF
Improving neural networks by preventing co adaptation of feature detectors
byJunya Saito
 
PDF
Distance Metric Learning
bySanghyuk Chun
 
PDF
Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料
bytm_2648
 
PDF
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
byKoichi Hamada
 
PDF
Deep Residual Learning (ILSVRC2015 winner)
byHirokatsu Kataoka
 
PDF
Metric learning ICML2010 tutorial
byzukun
 
PDF
An Introduction to Metric Learning for Clustering
byFederal University of Technology - Paraná/Brazil (UTFPR)
 
PDF
Deep Learning技術の今
bySeiya Tokui
 
PDF
論文輪読: Deep neural networks are easily fooled: High confidence predictions for...
bymmisono
 
PDF
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
byDaiki Shimada
 
論文紹介: Fast R-CNN&Faster R-CNN
byTakashi Abe
 
Information-Theoretic Metric Learning
byKoji Matsuda
 
Faster R-CNN: Towards real-time object detection with region proposal network...
byUniversitat Politècnica de Catalunya
 
Improving neural networks by preventing co adaptation of feature detectors
byJunya Saito
 
Distance Metric Learning
bySanghyuk Chun
 
Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料
bytm_2648
 
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
byKoichi Hamada
 
Deep Residual Learning (ILSVRC2015 winner)
byHirokatsu Kataoka
 
Metric learning ICML2010 tutorial
byzukun
 
An Introduction to Metric Learning for Clustering
byFederal University of Technology - Paraná/Brazil (UTFPR)
 
Deep Learning技術の今
bySeiya Tokui
 
論文輪読: Deep neural networks are easily fooled: High confidence predictions for...
bymmisono
 
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
byDaiki Shimada
 

Similar to Image net classification　with Deep Convolutional Neural Networks

PDF
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
bySSII
 
PDF
Deep Learningと画像認識 　 ～歴史・理論・実践～
bynlab_utokyo
 
PDF
Deep learningの概要とドメインモデルの変遷
byTaiga Nomi
 
PDF
Building High-level Features Using Large Scale Unsupervised Learning
byTakuya Minagawa
 
PDF
[論文紹介] Convolutional Neural Network(CNN)による超解像
byRei Takami
 
PDF
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
byTakayoshi Yamashita
 
PDF
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
byDaiki Shimada
 
PDF
Deep Learningによる画像認識革命　ー歴史・最新理論から実践応用までー
bynlab_utokyo
 
PPTX
[DL輪読会]High-Fidelity Image Generation with Fewer Labels
byDeep Learning JP
 
PDF
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～
bySSII
 
PDF
20150414seminar
bynlab_utokyo
 
PPTX
CVPR2018 pix2pixHD論文紹介 (CV勉強会@関東)
byTenki Lee
 
PPTX
PRML 5.5.6-5.6 畳み込みネットワーク（CNN）・ソフト重み共有・混合密度ネットワーク
byKokiTakamiya
 
PDF
深層学習 - 画像認識のための深層学習 ①
byShohei Miyashita
 
PDF
Deep residual learning for image recognition
by禎晃 山崎
 
PPTX
令和元年度 実践セミナー - Deep Learning 概論 -
byYutaka KATAYAMA
 
PDF
Deep Learningの基礎と応用
bySeiya Tokui
 
PDF
SPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
byTenki Lee
 
PDF
DeepLearningDay2016Summer
byTakayoshi Yamashita
 
PPTX
機械学習 / Deep Learning 大全 (2) Deep Learning 基礎編
byDaiyu Hatakeyama
 
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
bySSII
 
Deep Learningと画像認識 　 ～歴史・理論・実践～
bynlab_utokyo
 
Deep learningの概要とドメインモデルの変遷
byTaiga Nomi
 
Building High-level Features Using Large Scale Unsupervised Learning
byTakuya Minagawa
 
[論文紹介] Convolutional Neural Network(CNN)による超解像
byRei Takami
 
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
byTakayoshi Yamashita
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
byDaiki Shimada
 
Deep Learningによる画像認識革命　ー歴史・最新理論から実践応用までー
bynlab_utokyo
 
[DL輪読会]High-Fidelity Image Generation with Fewer Labels
byDeep Learning JP
 
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～
bySSII
 
20150414seminar
bynlab_utokyo
 
CVPR2018 pix2pixHD論文紹介 (CV勉強会@関東)
byTenki Lee
 
PRML 5.5.6-5.6 畳み込みネットワーク（CNN）・ソフト重み共有・混合密度ネットワーク
byKokiTakamiya
 
深層学習 - 画像認識のための深層学習 ①
byShohei Miyashita
 
Deep residual learning for image recognition
by禎晃 山崎
 
令和元年度 実践セミナー - Deep Learning 概論 -
byYutaka KATAYAMA
 
Deep Learningの基礎と応用
bySeiya Tokui
 
SPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
byTenki Lee
 
DeepLearningDay2016Summer
byTakayoshi Yamashita
 
機械学習 / Deep Learning 大全 (2) Deep Learning 基礎編
byDaiyu Hatakeyama
 

Recently uploaded

PDF
Mixture-of-Personas Language Models for Population Simulation
byharmonylab
 
PDF
[2025 Rakuten Technology Conference] Daybreak for AI Agents
byWoohyeok Kim
 
PDF
Data Scaling Laws for End-to-End Autonomous Driving
byharmonylab
 
PDF
TransitReID: Transit OD Data Collection with Occlusion-Resistant Dynamic Pass...
byharmonylab
 
PDF
膨大なデータ時代を制する鍵、セグメンテーションAIが切り拓く解析精度と効率の革新
byData Source
 
PDF
ニューラルプロセッサによるAI処理の高速化と、未知の可能性を切り拓く未来の人工知能
byData Source
 
PDF
AI開発の最前線を変えるニューラルネットワークプロセッサと、未来社会における応用可能性
byData Source
 
PDF
Multiple Object Tracking as ID Prediction
byharmonylab
 
PDF
【ツールテクノ】会社説明会資料2026年度版.pdf／月10時間までの学習を勤務時間として計上可能！
bytooltechno1998
 
PDF
SIG-AUDIO 2025 Vol.04 インタラクティブミュージック勉強会 インタラクティブミュージックの書き方
byIGDA Japan SIG-Audio
 
PDF
SIG-AUDIO 2025 Vol.04 インタラクティブミュージック勉強会 ダレカレの音ができるまで
byIGDA Japan SIG-Audio
 
Mixture-of-Personas Language Models for Population Simulation
byharmonylab
 
[2025 Rakuten Technology Conference] Daybreak for AI Agents
byWoohyeok Kim
 
Data Scaling Laws for End-to-End Autonomous Driving
byharmonylab
 
TransitReID: Transit OD Data Collection with Occlusion-Resistant Dynamic Pass...
byharmonylab
 
膨大なデータ時代を制する鍵、セグメンテーションAIが切り拓く解析精度と効率の革新
byData Source
 
ニューラルプロセッサによるAI処理の高速化と、未知の可能性を切り拓く未来の人工知能
byData Source
 
AI開発の最前線を変えるニューラルネットワークプロセッサと、未来社会における応用可能性
byData Source
 
Multiple Object Tracking as ID Prediction
byharmonylab
 
【ツールテクノ】会社説明会資料2026年度版.pdf／月10時間までの学習を勤務時間として計上可能！
bytooltechno1998
 
SIG-AUDIO 2025 Vol.04 インタラクティブミュージック勉強会 インタラクティブミュージックの書き方
byIGDA Japan SIG-Audio
 
SIG-AUDIO 2025 Vol.04 インタラクティブミュージック勉強会 ダレカレの音ができるまで
byIGDA Japan SIG-Audio
 

Image net classification　with Deep Convolutional Neural Networks

  • 1.
    IMAGENet Classification 輪＿ with Deep Convolutional Neural Networks 講： NIPS ‘12 2012 / 12 / 20 本位田研究室 M1 堀内 新吾
  • 2.
    発表論文 『IMAGENet Classification withDeep Convolutional Neural Networks』 会議：NIPS 2012 著者：Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton トロント大学のHinton先生と愉快な仲間たち
  • 3.
    Object Recognition 応用例： • カメラの顔認識 • 自動レジ • ロボットの目 • etc… 近年の傾向： • クラス数 • 訓練画像数 • 特徴量の複雑化 Cat? Leopard?
  • 4.
    ILSVRC2012 IM GENET LargeScale Visual Recognition Challenge • 世界最大規模の画像認識コンテスト カテゴリ数 訓練画像 検査画像 テスト画像 1000 120万枚 50000枚 150000枚 ※ ↑をダウンロードするだけで一週間かかる Difficulty: – データサイズの問題 – 訓練画像の数の多さの問題 – 識別の複雑さの問題
  • 5.
    Typical OR Approach 訓練画像 特徴抽出 特徴量 学習 クラスラベル クラス 分類機 ﾃｽﾄ画像 特徴量 識別 クラスラベル 特徴抽出 “どんな特徴量を使う か”が最重要、だった
  • 6.
    Proposal Approach 訓練画像 Deep クラスラベル Conventional Neural クラスラベル ﾃｽﾄ画像 Networks • 内部で自動で特徴抽出 • 各層の間に荷重付き枝を持つようなNeural Network
  • 7.
    Result of ILSVRC2012 Error Rate 0.4 34% 0.3 29% 27% 27% 26% 0.2 16% 0.1 0 わけが わからない よ
  • 8.
    Agenda • Overview • ImageNet •Architecture – Deep Learning – Convolutional NNs – Acceleration – Reducing Overfitting • Learning • Result and Evaluation
  • 9.
  • 10.
    Overview why? 実世界におけるクラス分類に耐える識別機を作 る 史上最大規模のNeural Network how? それを動かせるGPU what? Reasonableな時間で圧倒的な性能を出した Reasonableな時間で圧倒的な性能を出した contrib. GPU用のコードを公開した
  • 11.
    IM GENET WordNetの階層に従う画像データベース url: http://www.image-net.org/ • カテゴリ22000 • 画像：1500万枚 １画像１カテゴリでbounding-boxや各種特徴量も配布 ex.)Chain-mailカテゴリの画像
  • 12.
  • 13.
    Deep Learning Output 識別機 教師あり学習 教師なし学習 Input
  • 14.
    Deep Learning Output Traditional Approach Greedy Layer-wise Training[1] • まとめて学習 識別機 • 一層ずつ学習 • 多層autoencoder • 一層のautoencoder × 時間  時間 × 効率  効率 × Vanishing Gradient × Overfitting Problem Input
  • 15.
    Convolutional NNs[2] • ＮＮsの問題 各ユニットが全て繋がっている ↓ • 提案１ • 入力の欠損 • 入力のズレ • ノイズ • 提案２ の影響をＮＮｓ全体が学習してしまう • 提案３
  • 16.
    Convolutional NNs[2] • ＮＮsの問題 各ユニットへの入力を制限 • 前の層の一部のユニットの出力だけを受け取る フィルタのようなもの • 提案１ → 入力の誤差を全体に伝搬させない • 入力範囲はオーバーラップするように選ぶ • 提案２ データの欠損に対応するため • 提案３
  • 17.
    Convolutional NNs[2] • ＮＮsの問題 重みを共有 • 入力範囲の同じ入力座標は同じ重みをもつ • 提案１ • 同じフィルタを使って圧縮するイメージ → フィルタに対する入力の傾向を学習 → 入力のズレ，ノイズに対応 • 提案２ 問題: １つのフィルタについてしか学習できない • 提案３
  • 18.
    Convolutional NNs[2] • ＮＮsの問題 フィルタの数を増加 • 多数のフィルタを用意して出力を多次元化 異なる重みをもつ複数のフィルタを学習 • 提案１ • 様々な特徴を学習可能 • 提案２ • 提案３
  • 19.
    Architecture of CNNs 5層のCNNｓ+ 3層のNNｓ • 入力：150,528次元 • ニューロン：約66万個，GPU2台に配置 253,440 – 186,624 – 64,896 – 64,896 – 43,264 – 4096 – 4096 • 出力：1000次元
  • 20.
    Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化
  • 21.
    Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化 ニューロンのモデ ル 入力 x : 前の層の出力を各枝ごとに重み付けしたも の 出力 f(x): 入力に非線形な変形を加えたもの ex.) f(x) = tanh(x), (1 + e-x)-1 f(x) 問題点 : 莫大な回数行うとなると遅すぎる -> もっと単純な変形で出力を決定したい ＲｅＬＵ 非線形変換 f(x) = max(0, x) 予備実験において6倍速くネットワークを収束
  • 22.
    Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化 GPU間のデータのやり取りを制限 - 2,3層間，5,6層間，6,7層間だけ
  • 23.
    Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化 • ReLU非線形変換の入力は全部負だとダメ → 近傍のフィルタの同じ座標の重みで正規 化 予備実験では約2％の性能向上 厚み：N この範囲で正規化す
  • 24.
    Acceleration ReLU Local Response Overlapping GPU2台の学習 Pooling 非線形変換 正規化 • 近傍の出力をまとめる 出力: 平均，最大値，etc… • 一般的には範囲を分ける 図:Poolingのイメージ →Overlapさせることでズレを 吸収 図:3×3, Overlap 1の例 0.3~0.4％の性能向上
  • 25.
    Reducing Overfitting  試験前に必死で勉強  とりあえず丸暗記  問題集は完璧！！  応用問題しか出ない  暗記だけだからヤバい  勉強しない方が良かった
  • 26.
    Reducing Overfitting データの拡張 バリエーションを増やす Dropout ラベルを保存するような変換 1. トリミング+鏡像 訓練時：ランダムに切り取る テスト時：中央＋4隅 2. 輝度の変更 主成分分析を利用 ガウス分布から固有値を抽出 固有値と乱数で輝度を変更 約1％の性能向上
  • 27.
    Reducing Overfitting Dropoutなし データの拡張 バリエーションを増やす Dropout[3] ラベルを保存するような変換 • 出力の半分を0にする 1. トリミング+鏡像 CNNsなので重みは共有 訓練時：ランダムに切り取る → 他の部分で学習は可能 テスト時：中央＋4隅 Dropoutあり 2. 輝度の変更 • 他ニューロン任せをやめる 主成分分析を利用 ガウス分布から固有値を抽出 NNｓは影響度の高いニューロン に 固有値と乱数で輝度を変更 学習をまかせてしまうことがあ 約1％の性能向上 る 図：手書き数字画像から得た特徴
  • 28.
  • 29.
    Learning • 学習アルゴリズム：確率的勾配降下法 • 重みの初期化： 平均0のガウス分布からサンプリング • 学習回数：90回 2台のGPUで5，6日かかった
  • 30.
  • 31.
    Result error rate 図：ILSVRCの結果 圧倒的なエラー率の低さ
  • 32.
  • 33.
    Qualitative Evaluation 1層目のレイヤーの出力．上: GPU1，下: GPU2 •1層目が獲得した特徴 – GPU1：傾き – GPU2：色 • 脳の視覚野にも異なる性質に反応する部位が存 在 ↑GPU間の通信を制限したことによるのではない か？
  • 34.
  • 35.
  • 36.
    Sammary 実世界にも応用可能な識別問題を解くために CNNsとDeep Learningを用いた巨大なネットワーク を GPU2台の上に実装し ImageNetのコンテストに応用したら 常識破りな結果が出ちゃった＾＾
  • 37.
    Refference [1]Deep Learning: A fastlearning algorithm for deep belief nets, GE Hinton, S Osindero, YW Teh - Neural computation, 2006. [2]CNNs: Face recognition: A convolutional neural-network approach, S Lawrence, CL Giles,et al. Neural Networks, IEEE Transactions on 1997 参考http://ceromondo.blogspot.jp/2012/09/convolutional-neural-network.html [3]Dropout: Improving neural networks by preventing co-adaptation of feature detectors, GE Hinton, N Srivastava, A Krizhevsky, et al. 2012