須山敦志 Suyama Atsushi
@sammy_suyama
Followers
25,425
Following
255
Media
120
Statuses
5,405
統計・機械学習・AIのブログ書いてます。主にベイズ学習をいじって遊んでいます。 「ベイズ推論による機械学習入門」「ベイズ深層学習」著者 確率モデル、深層学習、強化学習、データサイエンス、人工知能、汁なし担々麺、ねこ ※講演・執筆依頼等ありましたらDMください
日本 東京
Joined December 2015
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
LINGORM OPPO A3 MISSION
• 802104 Tweets
バニーの日
• 253135 Tweets
#SnowMan
• 200494 Tweets
ゲリラ豪雨
• 153521 Tweets
Obamas
• 130964 Tweets
アルバム
• 128630 Tweets
Vote Harris
• 127667 Tweets
#EMPIRE
• 98026 Tweets
Lijo
• 73893 Tweets
Sterling
• 70250 Tweets
Maresca
• 60654 Tweets
Cristiano Ronaldo
• 60328 Tweets
マンホール
• 53101 Tweets
Hermosilla
• 51541 Tweets
ドームツアー
• 46427 Tweets
ALWAYS 8Y JAEMIN SIDE
• 40767 Tweets
#JO1ANNX
• 36126 Tweets
PRINCE FELIX
• 28414 Tweets
Manuel Neuer
• 24373 Tweets
Catturd
• 19641 Tweets
オリエント工業
• 19090 Tweets
ドゥレッツァ
• 16627 Tweets
剣持誕生日
• 16282 Tweets
Gringo
• 16175 Tweets
Estadounidense
• 14821 Tweets
事業終了
• 14152 Tweets
インターナショナルS
• 14089 Tweets
TREAT ITZY BETTER
• 11783 Tweets
シティオブトロイ
• 11376 Tweets
Pinned Tweet
書籍の紹介です．機械学習アルゴリズムやデータ分析手法を自由に構築したい方が対象です．
機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)
@amazonJP
さんから
4
150
710
時刻データを取り扱うときにも使うテクニックですね。23時→0時が不連続になるので、24時間を360度と考えてcos, sinの２次元で特徴量を作ります。
強化学習応用の何かの参考文献に
「ヨー角θをそのまま状態の変数にすると±180度で不連続になって学習に悪影響だから、[cosθ,sinθ]って2変数に分けよう」
ってアイデアが書いてあったときには天才かと思った
3
116
704
1
522
2K
昔先生から指導を受けてたとき「進捗を確認したいから定期MTGをしたい」ではなく「自分の言ったことが間違っている可能性があるから定期的に話したい」と言われたのが好きで、自分でも真似して使っている
1
260
1K
機械学習や深層学習が「ズル」して学習データセットで良い成績を出すという話は結構根深いです。例えば画像中の猫・犬を分類するタスクで、DNNで誤って犬と判定された猫は芝生の上にいたり。学習データ中では屋外の芝生にいるのは犬の方が圧倒的に多かったということなんでしょう。
6
451
1K
↓機械学習、思考停止ツールになっている気配があるのが恐ろしい。「人が考えなくても、大量データと処理能力が圧倒的に高い計算アルゴリズムが全部うまくやってくれる」っていう主張も聞きますが、実際うまくやってくれているかどうかすらまともに判断できていないケースがほとんどです。
2
251
1K
「ルールベース」って偽物AIの代名詞みたいに言われてますが、本来理想とすべきは明確なルールや法則を抜き出すことなんであり、それができないから機械学習やら確率やら使って何とかその場をしのいでいる、という見方もできます。
3
257
1K
高校で物理や化学などは実験の授業があるのに、数学に実験の授業があまりないのはなぜだろう。まずプログラミングの導入を行なって、ちょっとグラフを描いてみたり数列の挙動を調べてみたりする。組み合わせを数え上げたり確率を計算してみても良さそう。
7
203
1K
良くある「年収は正規分布に従わないので平均だけ見てもしょうがない」という話は驚くほど今の機械学習応用の問題点を指していると思います．平均値みたいな過度に要約された値を堅固なファクトであるかのように扱い，背後にある構造を無視してしまえば，ほとんど無意味な結論に向かって行きます．
1
352
952
近日MLPシリーズで刊行予定の「ベイズ深層学習」の目次を貼ります．
1章，はじめに
2章，ニューラルネットワークの基礎
3章，ベイズ推論の基礎
4章，近似推論手法
5章，深層学習モデルのためのベイズ推論
6章，深層生成モデルとベイズ推論
7章，深層学習とガウス過程
7
258
957
内容のほんの一部ですが、「ベイズ深層学習」で取り扱うモデルたちの関係性です。線形回帰からスタートして深層ガウス過程(教師なし)までスッキリ繋がります。
0
205
928
データサイエンスにおいて「価値のある取り組み」を選定するのは困難を伴います。ここで「何が価値か？」を考え出すと泥沼にハマりがちなので、逆に明らかに価値のない例をいくつか挙げるほうがチェックリストとして機能しやすいと思っています。↓
1
152
932
機械学習は大量に計算資源を投入して誤った発見を量産しまくっていますね。残念ながらp値ハッキングと全く同じ構造。
BBC News - AAAS: Machine learning 'causing science crisis'
2
343
908
そもそも統計手法や機械学習で何かを「立証する」「保証する」っていうのはできなくて、深く考え始めると何もできない感覚がしてきます。個人的には「限られたデータ・情報・時間・費用・計算リソースを活用して精いっぱい妥当な意思決定を行うための方法」くらいに考えています。
5
153
907
前にもちょっと触れましたが、今AIや機械学習を学ぶ理由って皮肉なことに「活用すること」と同じくらい「騙されないこと」が重要になってきており、「騙されないためのAI学」みたいな本を書きたいと思っています。思っているだけです。
6
167
799
「機械学習が簡単にできるようになった」というよりか，「簡単にできる部分だけを指して機械学習と呼ぶようになった」の方が感覚的に近いです．
0
219
780
たぶんベイズ全然わかっていないのにここまで熱く語れるってなんかそういう才能ってすごいですね
【ダイジェスト公開！】開幕からトップギアの本気トーク！冒頭15分ほどは無料でご視聴可能です。恒例のテレフォンタイムももちろんあります！→茂木健一郎×東浩紀「日本のコロナと脳――2020年真夏の巻」【ニッポンの脳
#8
】
@kenichiromogi
@hazuma
#ゲンロン200727
視聴URL:
6
52
146
3
218
777
新著出ます。様々な確率的プログラミング言語を紹介しつつ、階層ベイズ、潜在変数モデル、ガウス過程、ベイズ深層学習あたりのPython実装を解説します。
Pythonではじめるベイズ機械学習入門 (KS情報科学専門書)
3
146
768
Diffusion modelsの数理的な基礎を理解したい方のための記事が出ています↓。
こちらの内容が難しい場合は、僕の「ベイズ深層学習」をお勧めします。理解に必要な基本は全て網羅されています。
2
121
755
正直企業で博士号を持っている人って活躍のバラつきが大きい印象があるのですが、すごい人は本当にすごくて、あらゆる分野において本質的な問いにあっという間にアクセスできる高速道路を持っているようなイメージ。
1
81
705
著者の持橋先生から「ガウス過程と機械学習」をいただきました。本当に冗談ではなく、「ガウス過程を基軸に統計・機械学習が入門できてしまう」というくらいの丁寧な内容です。
3
127
677
生成AIが色々と騒がれていますが、いまだに確率モデルでデータを生成する数理的な仕組みに関してガッツリ解説しているのでは拙著なんじゃないかと自負しています。実際、９割くらい生成モデルの解説です。
ベイズ推論による機械学習入門
2
83
676
↓これまで「人間には全く解釈できないがニューラルネットが見つけた良い特徴量」などというものは見たことがありません。囲碁などのタスクで人知を超えた解を出すことはありますが、それも比較的closedな世界で計算量に物を言わせているというだけで、計算機の能���からしたら昔から普通にある例です。
1
103
646
Julia実装による「意思決定のためのアルゴルズム」。PDF無料です。ベイズから始まり強化学習、マルチエージェントシステムまでカバーしていますね。
Algorithms for Decision Making
0
128
656
先日某所でお話しさせていただいた内容．統計ユーザーはややこしい数理や計算機の知識から解放されるべきと思います．
0
128
643
個人的な感触としてディープラーニングは、一部の特定の応用領域を除き、ビジネス面では完全に終わっています。
（´-`）.｡oO( 誰も言わないのでつぶやいておきますが，DNN等のAIのビジネス適用，やはりブライアン・アーサーの言う基本技術のいくつかが未だ欠けていて，ほとんどの領域で人が期待する性能が全然達成できず，適用範囲があまりに狭すぎますよね…．世の中も気づいてきたので，しばらくすると… )
2
60
274
1
157
633
極言すれば、「人間のやっていることを置き換える」という発想しかできないから今のAI応用は頭打ちな場合が多いんですね。もっと技術自体の特性を理解し、人間の認知能力や情報処理能力をaugmentすることによる価値を追求しないと。
1
113
627
「扱っている現象が複雑な非線形でモデル化が困難なため、機械学習のXXX法を使って自動で関係性を抽出して予測します」みたいなモチベをよく見ますが、やめておいた方が良いと思います。多くの場合、困難を避けているだけで解決していません。ラボ環境だけで良い数値を叩き出して、本番で失敗します。
3
142
623
あやしげな機械学習や深層学習のハウツー本を読むより、こちらの入門書の方が圧倒的にカバー範囲が広い＆実用性の高い知識が身につくと思います。より現代的な内容も盛り込まれた改訂第2版がおすすめ。
イラストで学ぶ 人工知能概論 改訂第2版
3
78
631
記事書きました．Pythonでベイズ統計始めたい人向けの入門記事です．
Pythonで作って学ぶ統計モデリング｜AIdrops
0
141
623
Kevin Murphy先生の新しい機械学習の教科書のドラフトがPDFでダウンロードできます。1000ページ近い大作ですが、これでintroductionですか
Probabilistic Machine Learning: An Introduction
0
124
609
何度も言ってますが，深層学習にファンタジーを感じるのはやめましょう．機械学習では「要素の混合」，「線形次元削減」，「スパース性」，「滑らかな関数」みたいな多くのデータに当てはまる”あるある”が存在するわけでして，ここ最近それに「深い階層性」がお友達として加わっただけなんですね．
0
200
585
「機械学習はデータが集まれば集まるほど性能が上がる」と言っておきながら、「運用していくうちに当初より予測能力は下がっていきます」ってめちゃめちゃ矛盾してますよね。
これが起こるのは継続的なデータ取得＆学習のエコシステムが設計されていないからです。はじめから負け試合が確定している。
3
80
584
じゃあもう決定木でいいじゃん、ていう
深層学習の識別能力は非常に高いですが、その複雑な計算はブラックボックスであり、AIがなぜそのように判断したのか説明が難しいものでした。この論文では、ニューラルネットワークを決定木に変換することでモデルの性能と解釈性のトレードオフを解消しています。
0
38
224
1
107
576
数学・物理が得意だという方は深層学習じゃなくてぜひガウス過程を探求してほしいと願っています．特に近似による計算効率化などは，現状でも手法はいくつかあるものの，まだ足りていないという印象です． #機械学習 #深層学習 #人工知能 #数学
1
170
569
「役に立たないから大切」ってのは意味わからんですね。誰がそれに納得して投資するのか。
「役に立つかどうかを評価軸にしない」ならわかります。僕だって宇宙の果てがどうなってるか知りたい。
0
97
558
これは正しいです。AIのアルゴリズムやソフトウェア単品を売ろうとするのは現実の課題をナメすぎています。
1
115
547
ディープラーニングっていうのは主に画像認識の分野で長年悩みに悩みを重ねた研究者たちがようやく見つけた一つの解法なわけでして．．．
目的意識に根ざした「悩み」がないところに先端技術だけ持ってきて当てはめたところであんま意味がないんじゃないかと思います．
1
140
539
確率分布を使って解析する理由は、「現実世界には偶然のものがあるから」ではなく「まだ情報が足らずに決定的に扱えないから」の方が近いですね。
3
183
535
3
98
519
データサイエンティストになるためにデータサイエンスを学ぶのではなくて、これからは意思決定の伴うあらゆう現場でデータの収集・解釈・判断を行う能力が重要になるということです。
2
61
505
「過去の研究成果より機械学習や深層学習の方が予測精度が良かった」というのはおおよそ課題設定や評価方法が甘い場合が多いので一度出直した方が無難です。
1
97
510
Andrew Ng先生の有名な機械学習入門コースを受けた人は、上級編として次のステップへ進むのが良いかも。
0
46
496
「機械学習やってみた」系の報告がなんの成果にも繋がらないのって、やる前に検証すべきことが明確化されてないからじゃないですかね。検証項目があれば失敗しても有益な知見に繋がると思いますが。
1
78
496
同じことは実は人間でも起こっています。人種差別なんかがそう。対象となる人自体の本質を見ずに、表面的な特性だけで判断をする。こうすることによって人類は予測の「省力化」を行っています。表面的な相関や過去の事例だけで物事を判断すると未来（＝学習に使っていないデータ）で大間違いを起こす。
1
205
492
あまり知られていないようなのですが，ベイズ統計の実用上の最大の利点の一つが，設計したモデルからデータや関数を試しに生成できること．これでデータ学習前にある程度直観的なモデリング作業が進められる．
ガウス過程はやはりNeal Lawrence先生の説明が一番直観的です。ベイズでは下記の3ステップを積分計算で行います。
1
57
290
1
78
497
個人的にはディープラーニングとかは本当にそれで儲けたいと信じている企業がやるべきで、学生はもっと線形代数、微積分、最適化数学、確率をきっちりやったらいいなと思います。そうじゃないと5年後くらいに「ディープラーニングだめじゃん」ってなったときに打つ手がなくなる気がします。
0
392
475
機械学習等のソリューションを構築する過程で、現状の課題点や利用可能なデータの洗い出しを一通り行うと、結局機械学習を使わずに解決すべきという結論に至ることが多い。
2
76
482
統計・機械学習を実応用する人は、最新論文の真似事をして精度を追求したり、最近出た手法を絶対的に優先して使ったりする必然性はないと思う。それより、技術を正しい知識で正しい目的に使うことに注意を向けた方がよい。
1
94
479
時系列データって、見た瞬間にその時系列データ「だけで」将来予測をやろうとしがちなんですけど、普通に考えればもっと外部の説明変数を積極的に盛り込んで予測を行うべきなんですよね。
3
63
473
近年のベイズ・機械学習・深層学習を俯瞰します．
ベイズ統計・ベイズ機械学習を始めよう｜AIdrops
1
100
476
何度も主張していますが、未だに数値目標でしか組織・取り組みを評価できないリーダーは引退すべきです。数値目標というのは、あらゆる詳細を隠蔽して単一のスカラー値に無理矢理収めるもの。多様な観点で物事を判断できない、バカの、バカによる、バカのための評価手段です。
2
102
452
すごい！
＞CIFAR-10で訓練されたDLモデルは、95%が欠けた全く無意味な画像でも自信たっぷりの予測を出す。
2
104
453
道具としての統計は、限られたデ��タ、情報、時間、コスト、計算資源のもとでせいいっぱいの合理的判断を下すための方法論であり、これを使って何かを「証明」したり「保証」したりするために使うものではないです。
1
81
444
AIに大量データを食わせればガシャガシャポンで人間が気付かない「真実」を出してくれるみたいに勘違いされがちですが，今人気のAI技術はむしろ因果関係を無視して相関だけ抽出するようなものばかりなので，人間以上に結果が差別的になりがちです．
0
292
439
Google Colab + Pythonでベイズ統計を始める短期コースです。
シラバス：
申し込みページ：
1
37
439
いやもう本当に、ディープラーニングブームじゃなくて決定木ブームになっててもおかしくなかった。まぁディープラーニングの方は「脳を模している」っていうスピリチュアルな部分があるからウケが違うんですが
2
79
425
記事書きました．深層学習をガウス過程で作る方法です． #機械学習 #人工知能
深層学習はガウス過程 - 作って遊ぶ機械学習。
0
125
424
テニプリの乾先輩は「左の確率７５％！」とか言って相手の球筋を読めちゃうすごいデータサイエンティストなのですが，相手がデータにないプレイをしてきた瞬間まったく予想ができなくなっちゃうというとんでもないオーバーフィット野郎でもあります．
2
191
415
比較的使用頻度の高いベイズ統計モデルの紹介です．前半は回帰モデル編．
使える統計モデル10選（前編）｜AIdrops
1
89
423
一橋大学のソーシャル・データサイエンス学部のカリキュラム。基礎・応用のバランスが良いですね。独学する際も一定の参考になりそう。
0
78
416
「機械学習に大量データを与えて自動でチューニングすれば人間より良い予測ができる」というAI信仰みたいなのは本当にそうなっている所を見たためしがなくて、そういうアプローチをする場合のほとんどは「良い予測ができている」かどうかすら正常に判断ができずに失敗してます。
「SVM/Naive Bayes/GBDT/RF/NNなど、データごとに良いモデルは違って、それらをチューニングしてアンサンブルするのが重要だ」っていう神話（大嘘）を信じ込んでいる人間が一部存在してるのがたぶん真の問題なんだよな。
2
59
370
2
96
418
識別器をいじってあれこれ性能を上げようとしているのを見た時は「特徴量に戻れ（back to the feature）」とアドバイスするようにしています。
2
89
414
overfit→過学習はちょっと違和感あるなぁと思っていたら、予想通りunderfit→学習不足・未学習という訳があるらしく、それは無いだろう感がすごい。
直訳でoverfit→過剰適合、underfit→過少適合がおすすめ。
1
54
406
「サイコロの目で1が出る確率は1/6」は正しくない。そういう風に数学的に抽象化あるいはモデル化しているだけ。実際、精緻な物理シミュレーションが可能であればもっと正確に出目を予測できる可能性がある。すべてのモデルは間違っており、「正しい確率」というのはそもそも意味を成さない。
4
115
399
「深層学習使わなくても主成分分析でモザイク除去くらいはできるぜ」って記事を書こうとしていたら，IBISで同じ（というかむしろもう１歩踏み込んでいる）ことをしている方がいらっしゃいましたね．僕の結果はこんな感じ．
2
202
385
今年のICML 2019 best paperは変分自己符号化器の表現学習と誘導点を使ったガウス過程回帰の変分推論ですね。
どちらも「ベイズ深層学習」でわりとがっちりカバーしています。
1
64
391
↓「AI・機械学習といえど多くは線形代数・微積分の単純計算」と言ってしまうと確かにそうなんですが、それだけで色んなタスクがこなせてしまうところがなかなかに凄いところで。
3
59
385
あんまり「XXXするな」みたいな言い方は良くないですが，機械学習・ディープラーニングを使って感染者数を予測するとかは筋悪なのでやめた方が良いと思います．サーモグラフィから体温高い人を効率良くスクリーニングするとか，そういうのにしてね．
0
100
381
これ、マジでセンスないアプローチなので医療に問わずやめといた方が良いです。
>近年、GANで少ないデータをData Augmentation(DA)をする研究が医療では多いが
1
99
364
画像認識や自然言語処理が大流行している現在において、個人的には「その他大勢」に分類されがちなセンサーデータ解析に取り組んでみるのはスキル向上面で価値があると思いますね。適当にラズパイとクラウド環境を用意してIoT＋分析ソリューションを自分で構築してみるとよいです。
2
31
371
統計モデルを作るときに「なぜそのデータを使ったのか？」「なぜi.i.d.を仮定したのか？」「なぜ正規分布を選んだのか？」「なぜ回帰にしたのか？」など突っ込み所は死ぬほどあるわけで、「なぜそ���事前分布にしたのか？」もその一つに過ぎず、実際はさほど気にならない。
1
50
367
完全に余計なお世話ですが、退屈な基礎概念とか難解な数学を前にして疲弊するよりも、雪崩のように押し寄せてくる最新のイケてる手法をキャッチアップしようとして疲弊する人の方がよっぽど不幸だと思いますね。
1
64
362
今更ですが、「自社開発の機械学習アルゴリズムの販売・横展開」みたいな事業はほぼ確実にうまくいかないと思っています。
5
86
362
「ベクトル・行列からはじめる最適化数学」拝読させていただきました。具体例や演習問題にかなりのボリュームが割かれており、独学に最適です。機械学習入門の際に基礎固めをしっかりしておきたい人に良さそうです。
0
54
356
例えば半年くらいで次のように辿っていくとかいかがでしょう。
深層学習（MLP）→ベイズ推論による機械学習入門（MLS）→ベイズ深層学習（MLP）
【新���見本出来🎊】
1月17日（月）より順次発売の新刊見本📕が編集部に届きました‼️
岡谷貴之／著『深層学習 改訂第2版（機械学習プロフェッショナルシリーズ）』
ベストセラーの改訂版。最高最強のバイブルが大幅にパワーアップ😆😆
0
51
162
1
46
362
統計学の教科書をほぼ読んだことがないのですが、手に取ってみるとかなり早い段階でi.i.d.を前提として議論が進められている印象がありますね。経験上、i.i.d.と仮定できそうなデータはほぼ扱ったことがなかったので、この前提から出発してどれだけ汎用的な方法が得られるのかとても不安になります。
3
48
356
現実のデータ解析では例えば「リーマンショック以前のデータを使ってリーマンショック後を予測できるか？」みたいな難しさがあり、限られたデータセットで交差検証ガリガリやりながら精度上げるのって本質的に意味がない気がしています。
2
102
343
相関があるからといって因果があるわけではないというのは当然ですが，因果があるからといって相関が出るとも限らないわけですね．「仮説は目で見えているところからスタートするとは限らない」というのはデータ分析において重要な示唆かも．
1
57
350
「アルゴリズムがわかってもビジネスがわからなきゃしょうがない」とはよく言われますが，アルゴリズムがわかると結構無茶な要求でも対応できたり，他の人が思い付かない発想で提案できたりします．なので，遠慮せず勉強してOKです．
2
102
329
「線形モデルだと予測精度が上がらないから非線形モデルにしましょう」という安易なロジックはなるべく使わないようにしたい。
2
37
343
MLPシリーズ「ベイズ深層学習」8/8に発売予定です。Amazonで予約開始しています。よろしくお願いいたします。
1
101
338
最高学府の研究発表が目先の社会応用を意識しすぎるあまり劣化版コンサルみたいな資料を連発するのを目撃してしまいました。
2
76
339
こんな状態なのに、深層学習はAI史上最大のブレイクスルーとして2012年あたりからずっと持て囃されてきたんですよね。。検証方法が不十分であったことは明確。しかも、同じやり方が今でも続けられている。
すごい！
＞CIFAR-10で訓練されたDLモデルは、95%が欠けた全く無意味な画像でも自信たっぷりの予測を出す。
2
104
453
1
90
335
個人的には「この先XXXをやらなければダメ」っていう不安を煽るスタイルの宣伝は健全ではないと思いますね。ところでベイズ統計使えないMLエンジニアは全員無職になると思います
0
55
327
深層学習研究の闇が見えますね．．．
簡単なモデルでDNNの精度を圧倒
0
94
324
僕も気を付けにゃならんですが，「俺，統計・機械学習できるからお前んとこの課題見してみ，解いてやるよ」みたいな姿勢だとなーんも中身のあることできないですよ．もっとのめり込まないと意味がない．これが通用するのはデータと課題設定が整備済みで，具体的な技術ヘルプを求めているときのみ．
1
74
314
「必要なルールを全部システムに記述できればいい」が前回のAIブームの失敗で，「必要なデータを全部システムに食わせればいい」が今回のAIブームの失敗になるかもしれないですね．
3
147
316
「ディープラーニングで何かして」って言われたらほぼほぼ画像処理系をやることだと思って良いと思います．それ以外に手を出すと，どっかに論文出すとかはできるのかもしれないですが，実課題は解けないです．
0
155
313
僕も統計学の教科書を読んだ経験がほぼないので，ある意味統計初心者です．説明変数って言葉すら最近知りました．読む際は「内容を疑う」「"主義"で胡麻化さない」「自分で手計算・実装してみる」「手法→応用先を想像する」「課題→使える方法を考える」「拡張を考える」あたりが重要だと思います．
3
44
316
高校の数学の先生が「トランプを5枚引いて出たポーカーの役を100回記録しろ」っいう宿題を出してきて、どうやら学年全員集計して大数の法則を確認したかったらしいのですが、僕はプログラム書いて1憶回やった結果を提出しました
こういった取り組みはもっともっと流行るといいと思いますねー．高校で物理実験があるみたいに，プログラミングによる数学実験も今の時代必要なんじゃないかと思います．
0
32
93
3
115
301