Masa Yamamoto予測誤差が大きい人生を楽しもう
@mshero_y
Followers
921
Following
735
Media
178
Statuses
88,680
発言は個人。様々な分野で研究、開発、事業を経験。以外と先端的な技術に触れておりLLM、FMに関しても2021/12に某公的なところのウェビナーにて技術トレンドを話していたりする。今は神経科学が専門だと思っているが、その時々の仕事相手からはその時々の仕事が専門だと思われているらしい。
Japan
Joined January 2010
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
LINGORM TSOU EP4
• 732707 Tweets
Vance
• 687228 Tweets
Cannon
• 521677 Tweets
Carvajal
• 317196 Tweets
Jack Smith
• 272162 Tweets
Milwaukee
• 265869 Tweets
The VP
• 246150 Tweets
Trump's VP
• 156285 Tweets
Vivek
• 112527 Tweets
Ohio
• 85365 Tweets
Pence
• 73873 Tweets
America's Hitler
• 65571 Tweets
Jack Black
• 63950 Tweets
Haley
• 62891 Tweets
RFK Jr
• 62275 Tweets
NCAA
• 51308 Tweets
Rubio
• 45127 Tweets
#CFB25
• 30596 Tweets
Don Jr
• 28437 Tweets
#BB26
• 27501 Tweets
Burgum
• 22904 Tweets
DeSantis
• 21228 Tweets
Tulsi
• 21132 Tweets
Youngkin
• 20862 Tweets
Tim Scott
• 20338 Tweets
Join the Flock
• 18491 Tweets
Trumper
• 17393 Tweets
Ben Carson
• 17315 Tweets
Ramón Jesurún
• 16147 Tweets
Peter Thiel
• 16111 Tweets
Okan
• 15291 Tweets
Free $DUCKS
• 15225 Tweets
Cibeles
• 13711 Tweets
Hazırlık
• 12723 Tweets
#اخوان_كاذبون
• 11889 Tweets
Hillbilly Elegy
• 11800 Tweets
Laurence Tubiana
• 11315 Tweets
Yale
• 10027 Tweets
脳の理解にTransformersを使う。今後伸びてくる可能性大かも。
0
53
391
甘利先生が数理科学に連載されている深層学習の統計神経力学は次回が最終回(次号ではないけれど)とのこと。数理としてかなり踏み込まれていて興味深いものであった。
SGCライブラリで一冊にまとめられるはずだが1刷りはまた売れ切りになるんだろうなと今から楽しみ。
深層学習は厳密な解析が済んだわ
1
34
168
そう思います。次元圧縮された潜在空間の変化だけを観ればいいでしょうから。
でも、実は潜在空間の次元の方が高次元になっていて、それ故に全く違った視点で将棋を指しているのかもしれず。
そして両者を切り替えながら指している、潜在空間の次元を自由に変化させて指しているのかも。
(これ使える)
1
55
146
神経科学、神経学、精神医学におけるTransformerモデルの包括的なレビュー。
0
26
143
ニューロンの神経スパイクはポアソン分布で近似できることは知られている。なのでニューロンは複数のポアソン分布を入力とし、重みをつけて積分(積算)し、別のポアソン分布を出力することになる。
一般的に複数の確率分布の積算がどのような確率分布になるのかは保証されていない。ニューロンは
1
16
93
Googleは特に量子だけではなく他の技術もぶち上げ、他社焦る、でもだめそうだからそっと/派手に撤退、他社置いてけぼり…
とかはよくあるので。
何しろ一度食べてみるというのは羨ましいけれど、個人的には。
マジでGoogleとか、一人時間差で量子超越の闇が暴かれて業界崩壊、その頃にはGoogleは逃走済みで無事、とか平気でやるからな。量子アニーリング一億倍高速論文の時も同じこと起きて、気づいたらさっさと量子アニーリング辞めてゲートに移行してたし、このパターン2回目。
2
338
1K
0
30
69
無条件での正規分布適用は本当に困ったちゃん問題。会社でこれで喧嘩になった。今も和解はできていない。無条件派は疑ったことが過去一度もないので屁理屈&難癖を単につけているという解釈のようで…こちらは100個のサンプルでいいから確認してよ…
#統計 統計学入門の教科書によくあるこのスレッドの上の方でも触れた平均の信頼区間を扱うときに、現実にはぴったり一致するはずがない正規分布モデルを使っていることの是非に関する解説はほとんどされません。
それは極めて非科学的な態度での解説で問題有りすぎだと思う。
1
8
33
0
12
66
マスコミが興味を失っている。
年末に向けて、次の波が来るとまた報道加熱。
今は新政権関連しか報道しない。
えっ？！
9月中旬になって、多くの都道府県で実効再生産数（感染者一人から何人に移るかの数字）１を超えてきているのですよ。
”GoTo、東京発着の予約解禁 10月追加へ利用促す”
27
1K
1K
0
35
66
TransformerをRNNで近似出来る話は脳のコラム、マイクロコラムの研究者には新しい話ではなく大脳のシナプスはそもそも部分にはよるけれど60-80%が内部、領域内、コラム内で閉じているのでそのリカレントにより必要な情報だけがループする。
アテンションが散らばった情報から関係の再構築をするための
1
10
60
こうした見積もりを行う時に必要な前提条件として網膜から一次視覚野(V1)に達するまでの情報処理をおさらい。
網膜からLGNを経てV1に達する情報は1/500程度に圧縮されている。そしてV1に到達した網膜情報は視覚野で扱う全情報の3%程度。では残りはどこから来るのか？(クイズ)
Stable diffusionやNovelAIは約20億枚の画像を用いて学習（パラメータの更新）をしてる。人間はどの程度の視覚データを利用して脳の状態（シナプス結合強度などのパラメータ）を変えてるのか？仮に1秒あたり10^1枚〜10^2枚に相当する視覚データを利用してると仮定すると、30年間で約100億枚〜1000億枚
1
11
71
1
10
57
やべーのキタ!!
脳だよ
育てた人の脳細胞をコンピュータに接続、生きたAI「Brainoware」で学習し数式を解くことに成功 脳オルガノイドを多電極アレイに乗せて,外部からの電気刺激によって入力を受け誘発された神経活動によって出力を送り訓練データを学習するという。
11
548
1K
0
21
54
ここまで来た！
iPS細胞から作られたミニ脳が学習と実行
実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得 - GIGAZINE
0
11
52
一方ルカン先生は、そもそも現状のAIはAGIには程遠いとの考え。
人間なら17歳で20時間の教習でいわゆるレベル5の自動運転レベル。テーブルの上のコップに水を注ぐとか幼い子でも数分ので学習可能。
つまり学習能力そのものが全然違う。これは世界のモデル化というより解釈の仕方が根本的に異なって
2
10
50
まさに。
業務プロセスが改善されない、できない理由はAIとは全く関係ないから。
ホワイトカラーとするかどうかは別としてたとえば総務や経理関係の仕事を実際に行なっている、行った事がある人たちからのAI云々の話を聞いた事がない。
まあその立場上発言しないだろうけれど。
ChatGPTでホワイトカラーの仕事がなくなるのではないかという言説があるが、実際本当に全体を代替しようとすれば相当業務プロセスを改変せねばならず、もしそれが達成できるなら、「そもそもそんな書類いらなくね？」みたいなChatGPTとは本来全然関係ないところが主戦場になりそう。
1
24
83
1
15
49
バックプロパゲーションを超えた学習の基盤として可塑性の前に神経活動を推測する
BPの代わりに脳の生物学的な知見からエネルギーベースの再構成を利用その後シナプス荷重を変化。
そして著者の一人はVERSES AI Research Lab所属
エネルギー、予測符号化..
そう、例のやつ。
1
11
47
現在のLLMs等の急激な進展について、誰もその理由がわからない、ただ実装を進めているという記述がなんとなく多い気がするけれど、それは多分的を得ていなくて、知る限りは大体の’アテ’はついているけれどそれを検証(証明)して発表するよりイベントが多いだけ。
なので不思議な事が起こっていると感じ
1
7
44
深層学習の過剰パラメータ空間は縮退したフィッシャー情報。数理的なこの種の解析で本当にはっきりしてきた。
Razor = rule of thumb to shave other alternatives
Occam's razor = simplest solution in problem-solving
Large parameter space of Neural Networks seem to defy Occam's razor but almost degenerate Fisher information explains their low complexity
👉
5
87
470
0
11
42
脳の学習モデルとしての拡散モデルというのはAIの観点からは目新しい感触を得るけれど、ニューロン及びニューロン群の挙動をフォッカー・プランクで表現したりさらに一般的な確率微分方程式でも記述できるのは既知なのでやはり周回遅れの感を受けるが、具体的かつ詳細な学習モデルにつながる期待はある
1
10
41
こうまで違うと、言葉を失う
記録（2022年3月15日）：新型コロナウイルス対策ダッシュボード
鳥取と和歌山は、危機を脱出。
12
302
485
0
8
40
ブレインテックに関してのQ&A
全部読むと勉強になる
1
3
36
阪大 K値の中野先生、東京都の新規感染者数のピークアウトは明日7/25だそうで。根拠はRw=新規感染者数/一週間前の新規感染者数
感染源が増え続けているとは考えられない。
とのこと。
データからはそう見えますと。
あと、なぜ第二波が起こったのかその理由を専門家の人たちに解明して欲しいそうです
2
29
33
VERSES AIはFriston先生が筆頭で昨年出した白書
Designing Ecosystems of Intelligence from First Principles
を元にR&Dしているとのこと。
ロードマップ等はここに。
今の深層学習とは異なるアプローチ。ものすごく乱暴に言えば能動推論で
1
8
32
twitterでの大きさだと、本当に写真なんだけれど、
とんでもない写真なんだよなあ
と思いつつ、拡大してパステルの奥深さを'坂口恭平'を通して視る。
とんでもないことに発売2日目にして画集『Pastel』三刷決定しました！しかもさらに5000部追加で累計15,000部！本の値段いつもの倍なのに、しかも画集なのに、ありえない展開に驚きつつ、パステルくんたちほんとすくすく育ってるので、まだまだどんどん伸びそうな勢い。ほんとありがとうございます。
4
35
618
0
5
32
いくらなんでも中国を上回ってはいけないのではないでしょうか。
日本、それなりに国民の我慢でなんとか持ち堪えている様に見えていたのだけれど…
”新型コロナウィルス最新感染状況マップ()"
このサイトの集計で日本の感染者数が中国を上回った。
中国は大規模検査で抑え込み経済を回す。一方日本は、春よりは増えた検査と数に表れない自費検査等で持ちこたえるが止まらない。病院、福祉施設、学校等への検査拡大を望む。
9
517
596
3
15
31
けではなく、実は興味深い数理がたくさん隠れていると考えている人は多く、実際これまでの常識が覆されている。実は解析いや解読は凄くやりがいがある領域
0
4
30
仕事がらみなので詳しくは書けないけれど深層学習からTransformerそしてdiffusion modelsまでを考えると
・深層(多層)ネットワークのなぜ
・オーバーパラメタはなぜ
・学習時のロスの低下が続くのはなぜ
・Transformerのなぜ
・LLMsのなぜ
・生成モデルのなぜ
・Diffusion Modelのなぜ
・..
等々が
現在のLLMs等の急激な進展について、誰もその理由がわからない、ただ実装を進めているという記述がなんとなく多い気がするけれど、それは多分的を得ていなくて、知る限りは大体の’アテ’はついているけれどそれを検証(証明)して発表するよりイベントが多いだけ。
なので不思議な事が起こっていると感じ
1
7
44
1
3
28
日本は自己責任という国民性に賭けているようにも見える。
ただし、相当疲れているのと限界も。
テレビ報道はすでにピークアウト、ヨーロッパの第二波も興味低し。
中国とは政府のあり方が異なるのでそのまま真似はできないけれどせめて大学の検査装置を有効に使う術くらい考えてもバチは当たらない
確かにこのようなやり方は、これまでの感染症対策としては常識はずれ、になるのでしょうね。なので、日本の感染症専門家らは受け入れ難かった。けれども、中国はこの方法でウィルスフリーにできることを示した。21世紀の感染症対策。日本が乗り遅れGAFAがネットの世界で起こした革命を彷彿とさせます。
9
622
930
1
12
27
そもそも大会公式スポンサーのNTT、パナ、後はNBCの放送に関係するソニーは技術的にも、これが東京での開催だ的なモノは既にあったわけで。
想像力の欠如が致命的。
もちろん先端技術でなくても、いくらでもやりようがあるところがさらに残念
無観客なら無観客なりの試合応援環境を作ればよかったのに何もしてないんでしょ？100万人の音声だけ集めて流すとかいくらでもありそうだけど電通のヒトもJOCも何もしてないんだよね。
5
239
563
1
18
25
もうすぐ
@watanabemasata
先生の新著が出る。
脳をコンピュータに移す、意識をコンピュータに移す、最近のお話までということで興味津々。
ふと考えるのはほぼ永遠の長さを手に入れた後、もういいやと思考することはあるのだろうか?と言うことと、その際に再生(復元)を拒む(権利)をどう扱うべきか、
1
5
26
ノーガード戦法が通用するのは、確実に相手を一発で倒せる一撃が手の内にある時だけということからすると現状は心許ない限りです
＞ウィズコロナに舵を切り、ワクチン一本のノーガード戦法で濃厚接触者の基準も緩和
万国共通で失敗するパターンだということを、人類は学習しなくてはね。
7
510
899
0
9
25
亡くなる方、最初から日本は少ない。先生の指摘で、この事実注目されないかしら。まずは感染しないことだが、世界全体で見たとき日本は極端に少ない。アメリカは死亡率高い。これは地域特有の理由がない限り説明できないのでは？先生のご指摘、医療体制だとすればなおさら崩壊は食い止めないと。
こちらは死亡者数のトレンド。やはり日本の死者は極めて少ない。一番の理由は、トリアージ含めての医療体制なのだろう。
0
33
72
0
12
25
ICLR2020でのLeCunのSelf-Supervised Learning はベイズ推定で考えた方が楽。問題はMCNCにしろNNにしろコストが高すぎる。なのでいかに効率よく代表点を抽出できるかということになる。さて、脳は物理を暗黙に知っているのであれば？答えは簡単な気がする。物理学と機械学習のいみするところ
1
5
23
たぶん、基礎研究が重要なのはその研究自身はすごく狭い範囲の一点についての研究だったりするわけだけど、その一点が理解できることで周囲についての理解が一気に進むからだろう。湖の上の氷の一点への刺激からひび割れが全体に広がる感じ。
1
7
24
例えば医師
6349人 呼吸器内科
1999人 呼吸器外科
もちろん、他の内科の方も対処されているわけですし看護師の方も患者さん一人当たり10人。
430人の重症患者さん、その裏には重症予備軍、この数はあきらかに医師の数を超える。ということは看護師の数も足りない。
大雑把な計算ではあるがまずい
私は経済はド素人ですが、この方は医療についてはドドド素人なのがよく分かります。
数字と自分の感覚と声の大きさでここまで来たんでしょうね。
人の心が分からないんだろうな。。。
#���中平蔵を政治から排除しよう
#竹中平蔵つまみ出せ
33
988
2K
0
8
23
7,8年前、某テーマを半年1人で100万円という予算で行い、その困難さから難しさだけがわかったことがあった。当然力不足のラベルが貼られた。今、そのテーマは別の人間でテーマアップされ人数増、国研と共研し半年で数十倍の予算を使って成果はない。が何も問われない。
まあ上の評価ってそんなものか
0
2
23
大規模モデル、思ったより日本だと未だ騒がれていない気がするけれど、大規模言語モデルによって予想よりもかなり強力に自然言語がプログラミング言語のように振る舞えることがわかり、自然言語入力による出力の多様性は別次元に突入。
と個人的には感じています。
大規模言語モデルがやっていくことって、産業革命とは言わなくても、新しい意味での文化の破壊者となり得るというか、根本的に人間の言語の位置を変えてくる可能性があるのでほんとにヤバい。
まあ、それでも人間社会は適応していくんだろうけど。
0
5
23
0
5
22
RTのFoodly食品ロボはなぜ人型である必要があるのか？→人の中で強調して働くのには人型が必要。一本の手で動くロボットは怖いとの意見から。
他にも隣りとぶつかることは前提、もし、作業の邪魔をされたら軽く受け流す等これまでの産業用ロポット、人が近づくと停止、とは異なる方針を見事実装。
1
3
21
AIの考え方を我々が理解することはできないだろうとか言われると、AIが考えているとする事実がどこにあるのかさっぱりわからない。
AIの推論出力や出力の傾向がわからないと言うのであればわかるけれど。
1
8
21
豊洲寿司大の漆原大将、英語、広東語、タイ語等、五、六ヶ国語はお寿司、魚の話ができるように自分で勉強されたとのこと。一生に一度お金を貯めて日本に来てくれて、そして数ある寿司屋から選んで来てくれた。少しでも日本に来て良かったなと思っていただけるように。これこそおもてなし。
0
8
19
2027年までに生成AI用のスパコンの計算能力を30倍にするという政府は自信を持っているのだろうけれど、既に米国企業は来年10〜100倍とか目指してるかも。
しかしNVIDIAだけ一人勝ちじゃん。
精算追いつくのか？
メタとマイクロソフトがそれぞれ15万台のH100買ったって…いくらなんでも多すぎ太郎。さくらインターネットが2千台買いまーすってニュースになってて、そういうスケール感のハズなのに15万って。ドラゴンボールで言うとサイバイマン相手に爆死したヤムチャが戦闘力1480で、ギニューが12万。それにして
2
107
351
1
5
22
見やすいの一番だな。
本当にわかりやすい。
ChatGPTなどのチャットAIがどんな風に文章を認識しているのかが一目で分かる「Tokenizer」 - GIGAZINE
0
4
22
Coool! and Simple!
1
2
21
なんと？！助かる人結構いると思う
【12月近刊情報】
『ネイティブが教える 日本人研究者のための論文の書き方・アクセプト術』
エイドリアン・ウォールワーク・著
前平謙二／笠川 梢・訳
発売予定日12/19
世界中で使われているノンネイティブのバイブル“English for Writing Research Papers”が待望の邦訳！
1
160
527
0
3
21
AI > ML > ニューラルネット > 深層学習
は普通は"="が入らない包含を示すので間違えないでね、とはよく言われたものだったかと。
ところがそのあたりを気にしておられた先生も全員ではありませんがAI=深層学習という構図で...
会社で技術がわからない上の人が言うのはまあわかるとしてどうなん？です
5,6年前は深層学習をAIと呼ぶことにとても抵抗があり、「AIと（誤って）呼ばれている機械学習」みたいなもって回った言い方をしていたし、機械学習をAIと呼ぶことにすごく抵抗（流行にのっていて半分嘘なのに言っている罪悪感）があったんだけど、こうなるともはやどっちがAIの本流なんだか分らない。
4
91
246
3
10
20
Ruten
@eigencoffee
@watanabemasata
が求人募集を開始してます。
主に神経科学関連と機械学習関連の2つの分野となりますが、Rutenの理念・目標であるBMIの未来を創造するというミッションに魅力を感じれば応募をということです。
求人のスペックは確認を。(結構高い->業務上高い能力が期待されている)
1
5
19
熱力学だと系の安定を考慮しながらごそっと動かせるし、制約条件の働き方がエントロピーそのものなのだから最強のアナロジーの１つなんだろうと理解している。(もう一歩つっこむと脳のニューラルネットワークも例外ではないだろうことは自明な気がするのだけれど…)
機械学習を熱力学のアナロジーとして理解すると，転移学習がうまくいくアプローチが出てきたという論文．識別誤差 C などを状態量とみなし，系が熱力学的平衡状態を保ったまま変化するプロセス（準静的過程）に沿って変化させると，転移学習しても識別精度を維持できる．
1
157
638
1
4
18
データの正則化とすごく密接に関係していて、データが正則化されていることでどんなデータであっても扱う範囲が決まってくる。なのでハッシュテーブルで事足りる、という解釈もできるかなと直感的に。CANでANN作った時にハッシュテーブルで事足りたのでへー、DLも。
これで富岳は世界一のDLマシン
おっ、富岳でも使えるっぽい？
GPUに比べて最大15倍高速な市販CPU向けのディープラーニングアルゴリズムが開発される
1
44
123
0
5
19
縮退が進むとネットワークとして"きつい"スケールフリー構造になるので確かにとも。
商いの基本を裁定価格と物々交換(お互いに身近にないものをあるものと交換)を基本として場合、それは情報の流れそのもので、情報の集約こそ商いの成功と考えても合点がゆく。
社会を観察していると，いつのまにか一部の個人や企業が全体のダイナミクスを左右する寡占状態になっていることがある．著者はこういう状態を「縮退」と呼んで，人々が利潤最大化という単一の原理で動く資本主義社会は縮退し，問題を引き起こすと書く.
現代経済学の直観的方法
1
19
81
1
4
19
今のAI界隈面白い
きっちりとした数理モデルを組みてようとしている人たちととりあえず動いているものを解析しようとしている人たちと動けばいいじゃんという人たち。
ちなみに個人的にはキッチリ派のコアが出来上がると全てをひっくり返す方法が出てくる可能性もあると考えている。
1
2
18
ヤバめのやつ来てたのね
これマジですごい
サイトURLを入れるとその情報をChatGPTに読み込ませられるフォーマットにしてくれる「GPT-Crawler」
例えばあなたがReactを勉強してるなら、Reactの公式ドキュメントを読み込みChatGPTにインポートする
するとReactについて何でも聞けるGPTが完成
どんなジャンルの学習にも使える
1
318
3K
0
2
18
いると考えるべき。その意味では今のAIに何が足りないのか、どう改良すべきかはそれほど明らかになっていない。
という事でおそらく現状の延長線上には解がないという立場かもしれない。
0
5
18
アナウンサー！
#ふじみ野市 の公式イベント、エコラボフェスタでアナウンサーを務めました🎤
今回の衣装はこんな感じ❤︎
riendaのフリルトップスとsnidelのチェックスカートです❤︎みんな好きかな？🐝
ポニテだよ～！れーなてんてーのポニテはどうでしょう？
#アナウンサー
#女子アナ
17
10
172
1
2
17
これ個人的には本当に良質な内容。
使い方がInterfaceならではというのはすでにツイしたが
Appendixになってしまった2本の記事、つまりChatGPTではうまく行かなかった例が載っている。
ちょっと特殊(?)ではあるけれど、よく読み解くとChatGPTでできないことがはっきりする。
9月25日発売の11月号
ChatGPTとプログラミング
～ローカル環境で動かす/周波数解析/ビギナでもモータ制御/Pico～
第1部 ChatGPTのメカニズム
第2部 保存版 活用テクニック
第3部 プログラミングの実力を確かめる
第4部 進化形プログラミング
特設 ChatGPT開発偉人伝
0
37
111
1
4
16
人に勝つのはある意味で力技でなんとかなるけれど笑わせる、接待となると、相手に合わせないといけないので根本的に異なる技術が必要になる。コンピュータが接待将棋を接待だと分からせないようにさすのは今も難しいはずです。(更新されたかな)
人に打ち勝つプログラムはすごいけど、人を笑わせたり接待するプログラムも同様にチャレンジングだと思うし、現在の仕事の自動化が今後一層進んだ時こそ必要になってくるはず。現在の社会状況ならではの新たなエンタメのあり方もぜひ考え続けたい
0
15
51
0
5
16
知能、特に言語化が可能な部分に関して予想以上に深層学習は威力を発揮して今日のGPT-4等でこれいけるよねという状況になっている。
一方で、質感で様々なアプローチが示された濡れた面、乾いた面、金属光沢、透明なフイルム、布地、ぬるぬる面…こういった表面の識別は実は簡単ではないことが知られて
1
6
16
ざっとであるけれど脳の場合
感覚神経 10^7 ざっくり入力
運動神経 10^6 出力
脳全体 10^11 計算
なので即物的な脳の計算は、大量のスイッチと高次元データ。
人の行動に意味があるとすれば、脳は実用的な強化学習機
なんかこう大量に制御可能なスイッチと、人間が処理しきれないような高次元の時系列入力があるような環境下で、確率モデルを使って実用的な強化学習を作ってみたい。Atariのゲームとかそういうのじゃなくて
1
6
51
1
2
16
先生のこの表現 '何気ない家事手伝いのできるホームロボットの実現にさえ、膨大な #ロボット工学の未解決問題 が存在しています。'
に痺れるような刺激を感じて欲しい。
そしてこの難問に正面から挑もう！
(言うだけなら誰でもね、とならないようなんとか接近したい…)
何度でも言いますが、何気ない家事手伝いのできるホームロボットの実現にさえ、膨大な #ロボット工学の未解決問題 が存在しています。
本物のブレークスルーが欲しいなら、腰を据えた基礎研究に投資する以外の近道はありません。
0
88
183
0
7
15
ついに出た。実際には文字通り数十年の時を経て復活!!ということで...
1月11日新刊
『神経回路網の数理 脳の情報処理様式』甘利 俊一（ちくま学芸文庫） 複雑な神経細胞の集合・脳の機能に数理モデルで迫り、ニューロコンピュータの基礎理論を確立した記念碑的名著。AIの核心技術、ここに始まる。
0
125
512
1
3
16
最強の言語モデルFlan-U-PaLMの論文
Scaling Instruction-Finetuned Language Models
Appendixの図にこんなのあるわけで。
データセットの中に日本語上位!!
0
6
16
視覚は大雑把にはDLと似ているけれど、その方向で考察した論文もある、根本的にはちょっと違っておりトップダウンの情報を最大限生かし、ボトムアップは主にいろんな意味での変化を掴むために利用する。
特にV1等のより基本的な視覚情報を処理処理するシナプスの刈り込みが4歳程度でおおよそ終わること
1
4
16
クラウドにしても裏には実体があり、そこまでしっかりと考えることがすごく重要であるということがわかる。
例えば電力量に関して富岳でも実は話題になっており省エネに徹底的にこだわった結果、富岳1時間 = 4人家族6年分(料金換算)であり、結構な数字なのである。GPU計算はもっと電力を食うので
例えばGPT4学習のスパコンは一万GPU(一説には2万5千)構成と言われますが、これはTop500では世界三位のスパコンLUMIと同じです。一方GPT3からGPT4への計算規模は60倍で、仮にGPT5が同様の計算規模の進化が必要だとすると、60万GPUのマシンが必要ですが、400MWの電力が必要になります。
2
210
508
1
5
16
量子化学計算は専門家しか必要のない計算ではあるものの、使い方次第ではいろんな応用が効くと感じる。
個人的には、万人向けではないものの
量子コンピュータの活かした方として真っ当
新刊入荷しました『量子コンピュータによる量子化学計算入門』杉﨑 研司（講談社）
量子コンピュータの基礎から現在の状況、および、量子コンピュータを用いて量子化学計算を行うための理論、手法を解説する。時代の最先端への第一歩。
0
11
38
0
5
15
普及しているコンパクト充電器の大元、ワイドギャップ半導体パワーデバイスの教科書。
ちなみにこの分野は、ノーベル賞天野先生がGaNを引っ張っているけれどそれでも恵まれていないという状況。
政府の半導体は確かにSi中心なのでというのはあるが何しろすべてが遅い..
ワイドギャップ半導体パワーデバイス
山本 秀和 千葉工大教授 工博 著
電子版あり 2015年刊
目次一部
14.2 ダイヤモンドパワーデバイス
14.2.1 ダイヤモンドパワーデバイスの魅力
14.2.2 ダイヤモンドの特異な物性
14.2.3 ダイヤモンドパワーデバイスの課題
0
5
11
0
8
15
神経科学学会で脳の情報表現の進展を聞くと脳の表現そのものはDLと似てもいない感が強くなる。当たり前だが脳の生理学、構造を前提に詳しく読み解いていく。DLではRNN>LSTM>Transformerと最近になって構造にメスが入ってきた。
1
0
15
LLMの最大の良さはこの指摘部分なんだろうなと最近更に痛感している。
W2Vでの空間がぼやけている感じなのに対してLLMはクッキリしている感じ。
LLMから得たtext embeddingでベクトル検索したり可視化したりいじってると、word2vecの頃とやってることは全く同じなのに、embedding空間の「意味の解像度」がVHSと4Kくらい違うのを感じる。空間内のひとつのデータポイントに、濃度の高い情報が百科事典棒的にエンコードされてる感じ。
1
44
233
1
5
13
空っぽでも共感できるという点は認知(神経)科学で古くから指摘されていた点ではあったけれど、最近のAIの一連のコンテキストは見方を変えれば大規模な社会実験とも言えて、共感は主観でそう感じられればそうなんだということがあらためたて分かったという解釈かなと。
まあ空っぽではないという反論を
人間には「強いAI」もAGIもある意味要らなかった。ここ最近で僕らが発見したのは機械学習系AIがすごいってことじゃなく、人間の想像(妄想？)力が想像以上だったということじゃないかな？
魂のない空っぽの箱にも共感できるくらい。
1
8
37
1
5
15
視覚フォーラムで最近のAIの進展は凄いので脳研究がAIに寄与するというのはなかなか難しい
という話があったのだけれど、むしろこれからなんじゃないだろうか。
やっとAIというか最近の深層学習、Foundation Modelsが脳のトイモデルとして使えるようになったので同じような土俵で議論できる
1
2
15
広義の、最初に目指していただろうAIの到達が相当に困難なため紆余曲折があり弱いAIとして機械学習という言い方で入力に対して特定の条件を統計的な方法で抽出、それを利用して出力を出すという方法が実用的でもあり強くなっていった。(諸説あり)
深層学習から始まったLLM、生成AIに繋がる現在の流れも
1
5
15
名言。だからこそ社会実装の時にハマる。
深層学習は別にすごい性能を発揮しているとかいうわけじゃなくて、猛烈な局所最適化戦略によって既存のデータセットや評価方法の甘い部分を明らかにしただけだと思う。
0
28
128
0
2
14
これ、絶対読まないといけないやつ
1月下旬新刊予約受付中
『多様体上の最適化理論』佐藤 寛之 4620円（オーム社）
第I部 最適化理論からの準備
第II部 多様体からの準備
第III部 多様体上の最適化
付録A 集合と写像・線形代数・微分法・群論の基礎 付録B 定理と命題の証明
0
52
210
0
1
15
先生のこの指摘をみんなに。軽症で済むことの説明はみんなが軽症になることを保証することとは別です。できることをやらなければならないことに変わりはないです。自分の状態がわからない以上、念には念を。自分だけではなく他の人も巻きこむことになりますから。
サイトカイン反応エピジェネティクスの度合いは人によって異なること、また、その方の代謝系との関連もあるので、BCG接種したから安心安全ということではありません。注意！
1
36
39
0
9
15
すごい強力な汎用AIの実現の壁は実はその実現に一部の企業しか関心がないことなのかも。
AIが人を凌駕している領域は結構あるし、今でもAIは企業の収益を上げるのに役立っている。汎用AIでないと収益が上がらないという領域?さらには超AIは収益を上げるか?とかどうなんだろうとふと思ってしまう。
1
2
13
LLMsも含めて近年のNLPは確率的に単語のつながりを実現しているので事前の単語から後の単語の確率を計算して決める。そこには因果関係がありそうではあるけれど確率の計算の元となるデータの確率分布から最も高いモノを抽出しているので単に相関として選んでいるとも言える。
ただ出来上がった文章では
1
5
14
この話は面白かった。すごく興味深い話だった。渡辺ベイズが海外でこんな形で展開されるとは。
特異学習理論（渡辺ベイズ理論）を発展させて局所学習係数という新しい概念を創出し，①transformerの学習ダイナミクスの解析，②機械論的解釈可能性の基盤理論としての可能性，③AIアライメント理論の展望を力説した2人の研究者のTAIS2024講演
1
48
194
0
3
14
このクオリティで7人の声で23,800円はちょっと驚異的。
デモでは、細かいけれどお金関係の読み、これちょっと難くてご愛嬌として。
音声合成業界に激震! もはや人間の喋り声、入力文字読み上げソフトVOICEPEAKはビジネス用途でも自由に利用可能
@dtmstation
より
0
4
14
ツールとして使っている人の大多数は潜在空間の性質は自分たちに関係ないと考えているように感じられる。
しかし、こういった考察について理解できなければ実際には困ることになる。
VAEやGANなどの深層生成モデルの潜在空間は曲率が0の平坦な空間だと思われがちだけど，実は曲がった空間で独自の計量をもっている．入力データの空間の座標系を取り変えると，潜在空間の計量はどう変わる？
Latent Space Oddity: on the Curvature of Deep Generative Models
0
13
69
1
4
14
ここ数年で、BMI(BCI)こけると次は長いかもしれないけれど、機械学習の成果と結合して飛び立ててれば、まずは冬の時代を過ごさなくて済む気がする。
値段の問題はあるけれどH100とか見ると少なくとも現段階で脳につけられるセンサー数が100倍になってもなんとかなりそう。
ということで何がやりたいぞ
1
0
14
運転免許は合宿で取れるけれど博士号は合宿で取れない。
難易度もありますが、人数的に博士号を取るというのがはるかに少ないので合宿博士を行うと指導等からすごく大変になり商用ベースに乗らない。
ということからもさすがに博士の方が大変ではある。
とうとう、博士号より運転免許取る方が難しいと主張する人まで現れて絶望している。博士号はこの国でどんだけ価値が無いと思われているのだろう？
51
2K
8K
0
6
14
例えば自己教師強化学習(自動Q学習+α)が本当にうまくいくのであれば絶対に外に教えない。今やLLMの数少ないキーとなる技術。
とかは本当にそう思う。Geminiでも隠しまくりだろうなと。
AI界隈は去年まではみんなちゃんと論文で驚いてた気がするんだけど、今年からは噂話やテクニカルレポートしかないプロダクトに驚くフェーズに移行してきてる（日本も海外も僕も）。
何故なら、本当に凄い革新は論文にして公開しないだろうという陰謀論的な期待と憶測があるため。時代は変わりつつある
2
68
410
1
6
12
私なんかの場合はLLMsの脳のトイモデルとしての側面が一番興味ある。
例えば人の大脳は168億の神経細胞でそれぞれに1万のシナプスがあるので168兆シナプス、つまりパラメータとなる。実際には生体ニューロンであればシナプス単体でもKLdiv等の計算ができるのでそれを考慮すると単純な比較は意味がな
1
6
13
筑波の落合先生がInterBEEでマスとしてのテレビは依然すごいものなんだから活用考えないと、とテレビの価値の再定義と利用法を話されていたのを思い出す
0
2
13
学生は大学に対して何の対価としてお金を払うのか？
国は大学に何を成果としたくて補助金を出すのか？
大学は入ってくるお金をどう使うべきなのか？(何をアウトプットとしていくのか？)
具体的に書き出して見つめ直さないと。
オンラインでの授業が当たり前の今、改めて大学が問われている？
安宅さんの論考その2》日本の大学の資金力のなさはどこから来るのか？：国内大学強化に向けた考察２ - ニューロサイエンスとマーケティングの間 - Between Neuroscience and Marketing
1
1
14
0
5
13
若者よ、どんどん参加して意見をください。難しい（ように見える）専門用語におくびれることなく率直な考えをぜひ！自分は学生の時に気付かず機会をいかせなかったから強くそう思います。そして先端の研究に触れて欲しい..
日本神経科学学会の大会は、大学の学部学生さんは参加費無料です。所属の大学や学部は問いません。会員でなくても当日登録で参加できます。
ということは、学部生であれば、もちろんランチョン大討論会も参加無料で、事前登録で豪華弁当も無料です
1
44
53
0
8
12
大規模だろうがなんだろうが、基本はこれで試せる。
自分の手で試してみることが大事だよな
0
2
13
トヨタは本気だし理研もそれに応えているかと。その上でなぜ高次認知が必要なのか、メタ認知、メタ記憶がなぜ重要なのか。みなさんの思いは伝わった来ました。相手を思いやるためには自分の内省も必要。後付けも含めたストーリーの解釈。次の一手には十分。
理研BSI-トヨタ連携センターのシンポジウムで、AIと人は共生できるかという問いに初めて答が得られた気がします。人の心を予測し、人にうまくpostdictionしてもらえるよう進化したAIこそが、人と共生できるAIなのかも知れません。
0
7
19
0
3
11
これ本当に試すべき。いろんなこと確認できる。
#統計 AICやBICなどを理解するためには、コンピュータで
(1)真の分布q(x)に従う乱数列(=サンプル)を生成
(2)そのサンプルを用いて、モデル0とモデル1のAICやBICなどを求める。
(3)以上の(1)と(2)を100~1万回繰り返して、AICやBICによるモデル選択が確率的にどのように揺らぐかを確認。
1
4
21
0
2
12
Transformerを初学者向けに解説するためにあれやこれやと念入りに調べているが、対抗するMLPも含めて、実は同じことしかも結構単純な物量戦略的な方法論にまとめることができ、かえって興味が湧く。
機械学習としては相当な成果でこの後どうなの？という感が強いけれど、さて一方で脳は？
1
0
12
あれだけビッグデータがなんやらかんやらと騒いでいた時代があり、霞ヶ関もなんか動いていたはずだけれど、いざ現在のようにデータが超重要になったら実はありませんというのはなんなんだろう。しかも当時、データというのは質が重要で現在必要なある意味粗悪なデータは使えないと相手にも
1
0
12