DLHacks Profile Banner
DLHacks Profile
DLHacks

@DL_Hacks

Followers
23,783
Following
2,638
Media
2
Statuses
744

DeepLearningに関する勉強会(輪読、実装会)。 東京大学松尾豊研究室、Deep Learning JPのメンバーが中心に運営しています。DeepLearningのニュースや論文・実装などをツイートします。

Joined July 2017
Don't wanna be here? Send us removal request.
Explore trending content on Musk Viewer
@DL_Hacks
DLHacks
7 years
東京大学のDeep Learning基礎講座の演習コンテンツを無償公開しました。松尾研で作成したもので、ニューラルネットの基礎から始まり、CNN、RNN、Attentionまで網羅。個人の勉強にぜひお使いください。(商業利用不可)
9
730
2K
@DL_Hacks
DLHacks
6 years
ニューラルネットの更新を微分方程式としてみるという全く新しい概念を提案。NeurIPSのベストペーパー。ここ最近読んだ中で一番面白かった論文(個人的感想)。
0
168
613
@DL_Hacks
DLHacks
2 months
松尾研内で有志で開催されている、Diffusionに関する勉強会についての資料を展開します。 拡散モデルの数理的な背景を解説。拡散モデルは無限層VAEとスコアマッチングという2つの方向から導出できるが、両者は確率微分方程式を用いることで統一的に解釈できる。
0
44
372
@DL_Hacks
DLHacks
6 years
DeepMindが提案したGenerative Query Network(GQN)について,深層生成モデル(VAE)の基礎から説明した.合わせて,複数のGQN系関連研究についても紹介し,GQNと世界モデルの関係についても説明した.
0
89
352
@DL_Hacks
DLHacks
6 years
深層学習異常検知に関わる包括的かつ体型的なまとめ論文。 深層異常検知の各手法ごとの説明だけでなく、 現実世界の様々な領域に対しての異常検知の活用・研究状況や課題について言及されている。
0
84
351
@DL_Hacks
DLHacks
6 years
GANを用いた異常検知。GANを用いることにより、異常データがほとんどない場合でも異常の検出を可能にする。pixelレベルとpatchレベルの2つのネットワークを用いてend-to-endな効率的なモデルが提案された。
0
66
269
@DL_Hacks
DLHacks
5 years
ガウス過程は,その性能の高さから様々な分野で利用されているが,計算量がO(N^3)と膨大であることが知られている.本研究では,入力空間ではなく,再生核ヒルベルト空間でミニバッチ学習による最適化をするGPNetを提案.
0
54
256
@DL_Hacks
DLHacks
6 years
深層生成モデル(特にVAE)を用いた表現学習に関するサーベイ.VAEでは,「良い表現」を学習するために,正則化項を加えたり分布に制約を加えたりする.最近,相互情報量に基づくモデルやmetricベースの手法が数多く提案されており,それらも俯瞰的にまとめている.
0
42
240
@DL_Hacks
DLHacks
6 years
DeepMind社のCEO,Demis Hassabis氏による人工知能研究と神経科学分野の研究の相互作用に関するレビュー論文.今後,人工知能研究に応用できる可能性のある神経科学上の知見をまとめている.
0
62
235
@DL_Hacks
DLHacks
7 years
松尾研が主体となって翻訳したGoodfellow氏のDeepLearningの日本語版が2/28に出版決定。DeepLearningの教科書的な本です。
1
92
224
@DL_Hacks
DLHacks
4 years
Google BrainやDeepMind,UCバークレーを中心に活発に研究されている,オフライン強化学習のSergey Levine先生によるレビュー論文をまとめた.医療や実ロボットなど実環境での探索が難しい問題での活用が見込まれ,データドリブンな強化学習への道が開きつつある.
0
47
203
@DL_Hacks
DLHacks
6 years
Graph を扱う NN である Graph Convolutional Network について、Graph Convolution の定義から NN への橋渡しとなった重要な論文について簡単に記載した。
0
34
196
@DL_Hacks
DLHacks
5 years
1月にDeepMindが発表したAlphaStarの関連技術のサーベイ. 深層強化学習だけでなく,CV,NLP,マルチエージェント,ゲーム理論等の手法を用い,StarCraft2のプロを打倒可能なエージェントを学習
0
37
196
@DL_Hacks
DLHacks
6 years
機械学習におけるFPGAの可能性を説明。C言語で記述したCNNのコードをFPGA化することで高速化を試みた。FPGAのインパクトの向上は、SW技術者も最低限のHWの知識が必要となることを示唆している。
0
82
187
@DL_Hacks
DLHacks
3 months
松尾研内で有志で開催されている、Diffusionに関する勉強会についての資料を展開します。 OpenAIによる大規模動画生成モデルSoraは,高精細な動画生成により大きく注目を集めた.本発表ではSoraにつながる拡散モデルの技術を,生成モデルの基礎からまとめた.
0
19
185
@DL_Hacks
DLHacks
2 years
Hinton先生が誤差逆伝搬を使わない学習方法Forward-Forwardアルゴ(FFA)を提案。正例/負例データを使い、層ごとに学習する。FFAによるMortal Computationの実現で、大幅な省エネも期待。
0
27
182
@DL_Hacks
DLHacks
5 years
ベイズNNの変分推論を決定論的に行う手法の提案.「活性化関数→線形変換」を1層として中心極限定理を適用し,近似的に推論することで,従来のMCMCより高速になる.PyTorchでの再現実装をし,ポイントの解説付き.
1
34
178
@DL_Hacks
DLHacks
6 years
Pythonコードの中で、GPUで並列化したい箇所だけをCUDAで記述できるCuPyのElementwiseKernelを紹介した。パッチのマッチングを題材に、コーディング例と速度比較も掲載した。
0
43
168
@DL_Hacks
DLHacks
6 years
汎用言語モデルBERTの内部動作観察結果の報告. 単語系列に対するAttention状況の可視化と, 潜在意味空間の可視化を行い, BERTの高性能たる所以の考察を行った. 多義語の解釈能力など興味深い結果が出ている.
0
41
166
@DL_Hacks
DLHacks
5 years
【BERT初、テキスト生成へ応用】《BERTから考える要約のこれまでとこれから~》今年SOTAを更新したBERT要約モデルを紹介。並びにSeq2Seqからの要約手法の進化と、BERTが要約に与えた影響について簡単に説明。
0
35
165
@DL_Hacks
DLHacks
6 years
Googleによるモデルベース強化学習の研究。VAEとRNNの組み合わせで観測から不確実性と系列を考慮した状態表現を獲得。さらにovershootingにより長期の予測が重要なタスクにおいても、モデルフリーと同等以上の性能を実現。
0
38
160
@DL_Hacks
DLHacks
6 years
松尾研主体で運営している勉強会紹介の第2弾。Deep Learningの実装に焦点を当てた「DLHacks」。今回も2018年下半期で注目度の高かったスライドランキングトップ5をご覧いただけます!
0
39
161
@DL_Hacks
DLHacks
4 years
YOLOv4. リアルタイムかつ高精度な物体検出アルゴリズムアーキテクチャ.EfficientDetと同等レベルの精度で、YOLOv3よりも速い。物体検出のノウハウや手法が体系的に整理・検証実験されている。
1
34
165
@DL_Hacks
DLHacks
5 years
陰関数微分を用いた近年の研究としてiMAMLとERNNを紹介。前者はMAMLのscalability、後者はRNNの勾配消失の問題を根本的に解決しており、ともに大きなブレークスルー。
0
25
158
@DL_Hacks
DLHacks
1 year
大規模言語モデルに内在する知識を活用したゼロショット画像分類法。分類根拠を言語で説明可能。手法がシンプルで各種応用に期待。動作軽量。プロンプトエンジニアリング活用法。ICLR 2023 (notable top 5%)
0
31
160
@DL_Hacks
DLHacks
3 years
状態空間モデルと深層学習を組み合わせた手法としてS4を提案.長い系列データを扱う問題のベンチマークLong Range Arenaにおいて,既存のTransformer系手法を大幅に上回る性能を実現.
0
15
153
@DL_Hacks
DLHacks
7 years
音声合成モデルWaveNetの生成を1000倍高速化するDeepMindの論文。自己回帰モデルを順伝播モデルに蒸留する。提案モデルはGoogleAssistantの音声合成システムに搭載されている。
0
45
152
@DL_Hacks
DLHacks
6 years
フローベース生成モデルのまとめ.本発表ではフローベースの基礎から説明し,「可逆な生成モデル」「自己回帰フロー」「フローによる変分推論」の3種類に分けて,それぞれの関連研究について説明した.
0
24
148
@DL_Hacks
DLHacks
6 years
深層強化学習において用いられる,状態の「表現学習」の部分に注目したサーベイ.エージェントが観測の系列から自身の状態を推定するモデルの分類から,タスク・評価指標まで幅広くまとめた.なお,この分野では最近UC Berkeley一強の感があり焦る.
0
31
146
@DL_Hacks
DLHacks
6 years
【進化計算×深層学習】強化学習等のタスクに対し勾配を用いず最終的な報酬のみで高速学習可能なモデル。乱数シードの配列を遺伝子とし、生成された乱数の和をパラメータとすることで高い性能を示した。進化計算の様々な手法を深層学習に応用可能に
0
30
145
@DL_Hacks
DLHacks
5 years
Googleより発表された人の将来の経路・軌道を予測するアルゴリズムNextを紹介。従来着目されていなかった「活動の目的・意図」に着目し、人の将来の「経路」と「活動」を同時に学習・予測することでSOTAを達成。
0
28
146
@DL_Hacks
DLHacks
5 years
NLPのブレイクスルーとなったTransformerを応用して、「集合」を入力として受け取りその特徴量を抽出し、更に固定長に圧縮するモデルを提案。要素間の関係性を柔軟に捉えることができ、様々なタスクで精度の向上に貢献。
0
24
146
@DL_Hacks
DLHacks
7 years
みんなうすうす気づいている連続行動空間における深層強化学習の再現性、頑健性のなさを多くの比較実験を行うことで明らかにした。今後の深層強化学習の進むべき方向性、手法の評価方法についても議論している。その他タスク評価に関する論文も。
0
37
140
@DL_Hacks
DLHacks
5 years
"mini-batch毎のBatch Normalizationのパラメータ変動を利用して,Uncertaintyを算出できることを示した. BNの学習が変分近似と同等だと理論的に示され,NNの変更・再学習が不要.
0
31
140
@DL_Hacks
DLHacks
5 years
ヘルスケア領域で機械学習モデル開発を行う際のTips集。医療AIにおけるend-to-end学習の欠点、層別サブ解析やsaliency技術の重要性などを含む。実際に病院等で導入後に起こりうる課題にも触れる。
0
34
135
@DL_Hacks
DLHacks
6 years
DeepMindのGQNをPyTorch, Pixyzで再現。GQNを理解する上で重要となるDRAWのアルゴリズムの解説と画像生成モデルの実装上の注意点についてまとめた。実装はともにGitHubにて公開。
0
50
132
@DL_Hacks
DLHacks
26 days
松尾研内で有志で開催されている、Diffusionに関する勉強会についての資料を展開します。 Stable Diffusionのサンプリング時において,CFGのパラメータを工夫することで,実画像に対して編集を行う論文の紹介.元画像への忠実性とテキストによる編集性を両立させる.
0
21
137
@DL_Hacks
DLHacks
2 months
松尾研内で有志で開催されている、Diffusionに関する勉強会についての資料を展開します。 StableDiffusionをはじめとした画像生成AIの生成をコントロールするcontrolnetの論文についてまとめました
0
26
130
@DL_Hacks
DLHacks
4 years
"CNNを一切使わず画像認識をTransformerをベースに行う、Vision Transformerを紹介。 計算効率の良さとスケーラビリティをもち、画像認識タスクでSOTA。さらに学習のコストを大幅に減少。"
0
22
131
@DL_Hacks
DLHacks
6 years
もつれのない表現を学習するdisentangle representation learningについて,基本手法であるinfoGANやβVAEとその問題点,発展手法,Lifelong学習への応用(NIPS2018)などをまとめた.
0
27
130
@DL_Hacks
DLHacks
5 years
不確かさには三つの種類があり,データの不確かさ,モデルの不確かさ,分布の不確かさが存在する.その中でも,分布の不確かさが大きいものを分布外サンプルであると仮定し,提案手法であるPrior Networksを使って検知した. NIPS 2018 accepted.
0
20
127
@DL_Hacks
DLHacks
6 years
正則化(regularization)とは、訓練誤差でなく汎化誤差を減少させる目的の技術。Shake-Shake以降、ここ1年間の正則化の論文を紹介。正則化でCIFAR-10だとエラー率1.86%まで下がっている。
0
19
124
@DL_Hacks
DLHacks
6 months
Sakana AIの初論文。LLMやVLMの複数のモデルマージを進化的最適化で自動化するアプローチ。高額なコストがかかるプレトレーニングを将来的に不要にするかもしれず、パラダイムシフトの可能性を秘めた手法の足掛かり。
2
27
122
@DL_Hacks
DLHacks
1 year
神経科学、物理学とも関連の深いHopfield Networkについて、Transformerにおけるattention機構との関連性を主張。また、記憶容量の拡大を目的として、単体複体の概念を導入。
0
26
122
@DL_Hacks
DLHacks
6 years
Hintonらのグループによる、Capsule Networkに関する続報。ポーズ行列を含む新しいCapsule層を提案し、Capsule間の結合の強さをEMルーティングで決定。smallNORBベンチマークでSotA。
0
27
120
@DL_Hacks
DLHacks
1 year
記憶ニューロンは特定の層だけでなく、モデル全体に広がっていることを示した。 サンプルの記憶を担うニューロンを特定する方法を提案し、そのニューロンをdrop outすることで精度が著しく下がることを示した。
0
21
120
@DL_Hacks
DLHacks
6 years
確率過程をNNでモデリングする2手法(Conditional Neural Processes, Neural Processes)についての紹介。GPの持つ観測点増加に対する柔軟性に加え、データから事前知識を獲得できる性質を持つ。
0
34
117
@DL_Hacks
DLHacks
6 months
産業用画像異常検知に関するサーベイ論文で、画像異常検知に関する最先端の様々な手法やそれぞれの長所短所を示している。また、異常データが手に入りにくい等の産業応用特有の課題を乗り越える為の方法も示唆している。
0
10
117
@DL_Hacks
DLHacks
7 years
[Deep Mind] 通称Relational Network.従来のモデルでは困難だった関係推論タスクの精度を大きく上回るDeep Learningモジュールを提案.CNNやLSTMの特徴ベクトルをそのままオブジェクトとして扱える柔軟性を持つ.実装:PyTorch.
0
24
114
@DL_Hacks
DLHacks
1 month
松尾研内で有志で開催されている、Diffusionに関する勉強会についての資料を展開します。 Diffusionを用いたテキスト生成に関するサーベイ論文
0
15
114
@DL_Hacks
DLHacks
6 years
回転といった幾何変換を識別できれば正常,できなければ異常であるはずというアイデアを使った新しい異常検知手法を提案.AUROCを使って評価し,GANやVAEを使った画像の異常検知手法に比べても大きく差をつけてSOTAを獲得.NIPS 2018.
0
21
112
@DL_Hacks
DLHacks
6 years
深層強化学習はハイパラの調整が難しい。ハイパラに頑健性があるMPOとハイパラをメタに更新していくmetaRLをまとめた。MPOではKLの制約と正則を上手く入れ替えることで報酬スケールによらないハイパラを設定することができる。
0
21
108
@DL_Hacks
DLHacks
5 years
強化学習の最適制御問題を確率モデルの推論とみなすcontrol as inferenceについて紹介.さらにsoft actor-criticとstochastic latent actor-criticについて説明した.
0
21
113
@DL_Hacks
DLHacks
2 years
画像分類タスクにおいて、物体の色や形など、複数の特徴が同等に予測に使える時に、DNNがどの特徴を優先して予測に用いるのかについて分析を行った。その結果、形や方向に比べて色の特徴が使われやすい傾向があることがわかった。
1
13
112
@DL_Hacks
DLHacks
6 years
TD-VAEは,系列情報を扱う深層生成モデルであり,ある状態(潜在変数)から任意ステップ先の状態に飛び越えることができる.空間と時間の両方の抽象化に挑んだ世界モデル研究の一つであり,ICLR2019にoralで採録されている.
0
29
109
@DL_Hacks
DLHacks
8 months
従来の拡散モデルは,Attentionを用いており,計算量が大きい.DiffuSSMではAttentionの代わりにSSMを用いることで,計算量を削減しながら,競争的な生成性能を達成.
0
24
112
@DL_Hacks
DLHacks
2 years
Diffusion modelを調査。データに逐次的にノイズを加え、乱数に至る過程で対数尤度勾配を学習、逆過程を辿ることで生成モデルを構築。p(x)の代わりにp(x|y)とし、ベイズの定理を用いれば、条件付き生成も可能
0
15
109
@DL_Hacks
DLHacks
6 years
画像データセットをNumPy配列で保存しておくと、データの確認・修正・加工、検索・抽出、データセットの分割・統合・改造が容易です。今回はCelebAの202599枚の画像と2値40の顔属性をNumPyで1ファイルに保存してみました。
0
19
111
@DL_Hacks
DLHacks
5 years
非線型システムの適用を繰り返すと、小さな摂動が大きな挙動の差につながるカオス現象が起こることが知られているが、機械学習におけるカオス現象による弊害について調査している論文を紹介する
0
23
110
@DL_Hacks
DLHacks
3 years
GPT-3といった巨大な言語モデルも人が犯すような直感的なミスに陥る。そこで認知科学の二重過程理論をヒントに,ニューラルモデルと記号論理モデルを組み合わせた二重過程モデルを提案。生成する言語の一貫性と整合性の向上に成功。
0
20
108
@DL_Hacks
DLHacks
5 years
RNN で自然言語処理を行うと、文章の重要度を無視してすべての入力を読み込んでしまう。文章の一部の無視、拾い読みが “neural speed reading” として行われてきたが、両方行う新しいモデルを提案。
0
14
106
@DL_Hacks
DLHacks
5 years
一般の蒸留は,複数モデルの予測の平均だけを利用するため,情報を全て活用できていない.提案手法は複数モデルの予測の分布を一つのモデル(Prior Network)に蒸留することで,分類精度を一般の蒸留モデルと比べて落とすことなく,外れ値に対して頑健なモデルにする.
0
18
106
@DL_Hacks
DLHacks
4 years
近年の深層強化学習の説明性についてのレビュー論文.モデル自体の本質的な解釈性を高める方法や事後解析的に解釈する方法などのアプローチの種別や説明性の範囲で整理し,4つの論文を紹介.
0
11
103
@DL_Hacks
DLHacks
5 years
自然言語のような系列データの階層構造を学習する、Ordered Neuron LSTM を提案。言語モデルのみを学習したモデルを使って教師なし構文解析が可能になることを示した。ICLR2019 Best Paper。
0
16
102
@DL_Hacks
DLHacks
20 days
LLMの主流になっているSparse MoEは微分不可能で,様々な問題があります。この問題に対して、完全微分可能なSoft MoEを効率的にLLMに適用した研究です。
0
12
105
@DL_Hacks
DLHacks
6 years
時系列データを解釈可能な形に可視化する手法を提案した論文。 深層生成モデルと自己組織化写像(SOM)を組み合わせた手法で、集中治療室のデータを用いた実験により有効性を検証している。
0
21
103
@DL_Hacks
DLHacks
3 months
松尾研内で有志で開催されている、Diffusionに関する勉強会についての資料を展開します。 DDPMの拡散ステップ数を削減して高速化を実現する方法についてまとめました。
0
14
104
@DL_Hacks
DLHacks
6 years
今夏リリース予定のPytorch v1.0の概要まとめ。直感的なAPIとのトレードオフで、プロダクションには不向きという弱点を、Caffe2とのマージで解決する模様。API自体は大きく変更しないとのこと。v0.4の変更点にも触れた。
0
35
103
@DL_Hacks
DLHacks
2 months
Transformerでは系列長の二乗の計算量を要する.訓練済みのTransformerを少ない計算コストで線形計算量に近似する手法を提案.大規模モデル(ex. LLaMA2-7B)で実験.
0
10
102
@DL_Hacks
DLHacks
5 years
GANでの言語モデルでは生成器の学習が不安定となるため尤度最大化での事前学習が必須であった。本論文ではシンプルなテクニックの組み合わせ(大きなバッチサイズ等)で事前学習なしでも従来と同程度の精度を達成できることを示した。
0
20
100
@DL_Hacks
DLHacks
4 years
ICML2019で教師なしdisentanglement表現学習の不可能性を示してbest paper awardを受賞したLocatelloさんの新作.比較的低コストなアノテーションで実現できる弱教師学習手法を提案.
0
16
101
@DL_Hacks
DLHacks
5 years
GP代替モデルとして注目のneural processだが,観測点に対しunderfitする問題があった.平行移動等価性を帰納的バイアスとしてNPに組み込み,既存NP族より性能上,ゼロショット問題への適用可能性を示した.
0
20
99
@DL_Hacks
DLHacks
2 years
世界モデルベースの強化学習手法の最新版DreamerV3は,ハイパラへの依存を排除する工夫を加えることで,強化学習のみでのMinecraftのダイヤモンド獲得に初めて成功.強化学習の重要なマイルストーンが達成された.
0
29
100
@DL_Hacks
DLHacks
5 years
【XLNetを動かして可視化してみた】 読解力を問う中高生向けの問題等で平均的な人間のスコアを上回り、BERTを超えたと話題のXLNet。今回はXLNetを簡単に動かしてみたサンプルと、その出力を可視化した結果を紹介。
0
27
99
@DL_Hacks
DLHacks
6 years
通称AdaBound.小さな学習率も学習の妨げになっているという仮説を実証しながら,解決策として学習率に動的な上界と下界を定める手法を提案.多くのタスクで優れたパフォーマンスを示し評価されている.
0
21
100
@DL_Hacks
DLHacks
5 months
Kan: kolmogorov-arnold network コルモゴロフ=アーノルド表現定理を用いたMLPに代わるNN手法の提案
0
19
97
@DL_Hacks
DLHacks
3 months
松尾研内で有志で開催されている、Diffusionに関する勉強会についての資料を展開します。 Rectified Flow(RF)のスケーリングを検証。LDMの従来の拡散学習方式より改善され、数ステップで好ましい特性を示した。 また、RFのための新しいタイムステップサンプリングの提案した。
0
13
97
@DL_Hacks
DLHacks
6 years
Googleより発表された単眼カメラの映像から、センサーなしで深度推定とエゴモーション(カメラ自身の速度や動き)推定を行うアルゴリズム。従来の手法に加えて、カメラに映る物体の動きをモデル化することでSOTAを達成。
0
22
97
@DL_Hacks
DLHacks
7 years
Deep Learningを用いて,任意の分布のサンプリングを行う.乱数を写像したあとカーネル密度推定を行い,それと目標分布とのJSDを最小化する.資料ではMCMCなど,様々なサンプリングについてまとめてあります.
0
13
98
@DL_Hacks
DLHacks
6 years
ECCV2018のHuman Pose Estimationに関する13本の論文を紹介。高速なMulti-Person認識、3D姿勢認識、人体構造や時空間的な一貫性の反映、半教師ありや教師なしなどのアプローチをまとめた。
0
27
95
@DL_Hacks
DLHacks
11 months
欠損値が存在するテーブルデータでもデータの学習を可能にする手法を提案。 DNNを用いる代わりに勾配ブースティングを用いることで、欠損値を含んだデータも学習が可能にした。生成性能もDNNを用いる生成モデルに劣らない。
0
6
97
@DL_Hacks
DLHacks
7 years
クラス間のデータ数が異なることで分類精度が落ちる不均衡データ問題に対して、CNNに焦点をあて、悪影響の有無・対策手法の効果を検証。結果、Oversamplingの有効性を示した。また、本発表では有名な対策をまとめた。
0
28
96
@DL_Hacks
DLHacks
3 months
ニューラルネットは,その構造によって,関数の複雑度のバイアスが異なり,バイアスは初期化の時点で存在する.ReLU系の活性化やレイヤー正規化などは,複雑度を下げる傾向があり,汎化しやすいことの1つの説明になる.
0
17
96
@DL_Hacks
DLHacks
5 years
VAEを推薦システムに応用するための2つの論文を紹介。多項分布の導入や、KL項のアニーリング、RNNをエンコーダに用いるといったシンプルな方法によって精度が向上。比較的スモールなデータセットにおける実活用が期待される。
0
13
94
@DL_Hacks
DLHacks
6 years
Variational Auto EncoderとDCGANの考え方を組み合わせることで、より良い特徴表現を学習する。特徴空間上の分布を制御することでmode collupseを防ぎ、学習の安定性を向上させた。
0
18
93
@DL_Hacks
DLHacks
5 years
Atariでモデルフリーの2~10倍のサンプル効率性を達成するなど近年進展しつつあるモデルベース強化学習について,環境モデルとして用いられるVAEベースの系列モデルの観点から3つの論文を題材にサーベイを行なった.
0
17
92
@DL_Hacks
DLHacks
2 years
モデルが既に学習した内容に影響を与えることなく、学習中に新しいニューロンを追加する手法を提案。新たな重みの勾配を最大化するように初期化することで学習ダイナミクスを長期的に改善。
0
12
93
@DL_Hacks
DLHacks
6 years
少数サンプル例での認識精度を競う Few-Shot Learning の問題設定とそれにアプローチする Meta-Learning という手法の解説。その中でも代表的なものについて簡単に記載した。
0
23
93
@DL_Hacks
DLHacks
4 years
深層強化学習では、関数近似・ブートストラップ・方策オフ学習の3つの要素が組み合わさる時に理論的に価値が無限大に発散し得る性質(Deadly Triad)を持つ。本資料では、この現象が発生する具体例・軽減するいくつかの研究を紹介する。
0
12
94
@DL_Hacks
DLHacks
4 years
DeepMindのデミス・ハサビスらと,チェスの世界チャンピオンによる論文.チェスに新しいルールを追加した場合のゲームバランスを自己対戦によって学習したAlphaZeroで評価する.チェスに限らず,将棋,囲碁その他デジタルゲームにも応用が期待できる
1
32
92
@DL_Hacks
DLHacks
2 months
松尾研内で有志で開催されている、Diffusionに関する勉強会についての資料を展開します。 diffusionのnavigationへの応用を紹介。diffusionによって将来の観測画像の生成を行う手法と、diffusionによって軌道を出力する2つの論文を紹介しました。
0
16
93
@DL_Hacks
DLHacks
6 years
グラフに適用できる、シンプルかつ高性能な Graph Convolutiona Network を提案する。このモデルを半教師ありノード分類に利用した所、既存手法より計算コストが低く、かつ精度が高いという結果が得られた。
0
21
89
@DL_Hacks
DLHacks
6 years
松尾研で行った、深層学習の教科書の決定版とされている「Deep Learning」の輪読会の資料を公開しました。
@Matsuo_Lab
東京大学 松尾・岩澤研究室
6 years
松尾研が中心となって運営している「Deep Learning JP」にて Ian Goodfellow 他著「Deep Learning」の輪読資料一覧を公開しました。
0
170
583
0
27
91
@DL_Hacks
DLHacks
6 years
ロボットのGraspingをシミュレータで強化学習し実機転移する研究.GoogleのGrasping研究の系譜をふまえ発表.Canonical画像への変換で,ドメイン汎化とQ学習を分離してタスクを容易にし先行研究の1%以下の実世界での試行回数で成功率94%を達成。
0
19
89