Shinji Nishimoto
@NishimotoShinji
Followers
2,366
Following
127
Media
24
Statuses
263
Professor at Osaka University @FBSpr /PI at @cinet_info Systems/Perceptual/Cognitive Neuroscientist Osaka➡️Berkeley➡️Osaka Views are my own
Joined December 2020
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
ハロウィン
• 1064418 Tweets
Valencia
• 878164 Tweets
DANA
• 679424 Tweets
Happy Halloween
• 209302 Tweets
ポケポケ
• 156950 Tweets
Garbage
• 139495 Tweets
#週刊ナイナイミュージック
• 110403 Tweets
RTVE
• 95627 Tweets
DeNA
• 68838 Tweets
フレンド
• 58147 Tweets
自民党会派入り
• 50792 Tweets
Rachel Reeves
• 40204 Tweets
Chancellor
• 36106 Tweets
橋本環奈
• 35458 Tweets
ベイスターズ
• 33602 Tweets
#Budget2024
• 32829 Tweets
ホークス
• 25391 Tweets
#Aぇヤンタン
• 24832 Tweets
#発売日のEMPIRE
• 24601 Tweets
オースティン
• 24592 Tweets
SÃO PAULO TODAY
• 24293 Tweets
ミュウツー
• 23488 Tweets
G-DRAGON ON THE BLOCK
• 22470 Tweets
横浜優勝
• 17319 Tweets
ハマスタ
• 17145 Tweets
Jerez
• 14871 Tweets
ウォーターマーク
• 14488 Tweets
La Palma
• 12681 Tweets
Sunak
• 12189 Tweets
GALA EN LA MEJOR
• 11917 Tweets
ミュージカル組
• 11793 Tweets
以前にMITのテニュアトラック教員採用の最終選考までは行ったのだけど、そのときに言われたこと：「君を採用できたら、MITの誇る教員団が全力で君をサポートする/最高水準のスタートアップ資金と研究環境を用意する/世界最高レベルの大学院生を君のためにリクルートしてくる/ただし、
1
204
1K
その環境で5年経って十分な業績をあげられずテニュア審査を通らなかったら、それは君が無能である証拠で、結果は全て君の責任だ。一切の言い訳は許されない」
ある種の傲慢さも感じるけれど、世界トップクラスの場所はそのような覚悟で運営しているのだなと印象に残った。
2
123
763
日本の大学教員は、昔は卒業後すぐにパーマネント教員になるなど、ローリターンではあったけれどローリスクだった。それが2000年代途中から助教・准教授は3-5年任期のハイリスク職になった。この違いは大きく、同じ大学教員でもおおよそ今の50歳代以上の世代と40歳代以下の世代は全く違うキャリア感を
3
200
702
ある種の傲慢さで思い出したけど、以前にあるイベントでDARPA（米国防高等研究計画局）の幹部やディレクターの人たちとお話した際に、「私たちのミッションは3語で表せる、preventing technological surprise（技術的な驚きの防止）だ」と言われたのも印象的だった。つまりDARPAとは、
1
222
605
Our paper got accepted at
#CVPR2023
!
(w/
@yu_takagi
)
We modeled the relationship between human brain activity (early/semantic areas) and Stable Diffusion's latent representations and decoded perceptual contents from brain activity ("brain2image").
16
115
422
内閣府e-CSTIが随時更新されていて面白い。日本では博士進学すると経済的に不利では…といった話があるけれど、近年（特に2019年以降）は年収・満足度等についておおむね博士＞修士となっている。…と思ってよく見たら…
1
65
292
「技術的な驚きを提供するのは常に米国であり、他国であってはならない」との思想を実装するための国家機関とのこと。インターネットやGPSを開発して民間に提供し、自動運転やBMI、民間宇宙開発を先導した組織ならではの自信と尊大。（書いていて、割とElon Muskさん関係だなと思った。）もともとは、
2
113
281
コンピュータビジョン分野の主要国際会議
#CVPR2023
に論文が採択されました！ (w/
@yu_takagi
)
ヒト脳活動と画像生成AI (Stable Diffusion, SD)の潜在表現の関係性を示し、
(1) 脳活動からの知覚内容の解読(映像化)
(2) SD潜在表現の脳活動からの解釈
などを行いました。
2
86
278
スプートニク・ショックを反省して、二度とこのようなことが起きないようにと作られた組織であり、今につながるとの話。
興味深いですね、と返しつつ、うっかり米国人でもないのにsurpriseを提供しそうな人がいたらpreventされる(?)のだろうか、とちょっと気になった。
2
103
271
基盤LLM学習にGCPでA100GPU 2048枚を21日間課金（536円/A100時）で約5.5億円。
研究用HPCのA100課金は一桁安く、仮に
- 産総研ABCI（960枚x82.5円）
- 東京大学Aquarius（360枚x31.3円）
- 大阪大学SQUID（336枚x22.9円）
の1656枚を26日間利用したら約6100万円。科研費基盤A全力を1ヶ月弱で消費。
How much does it cost to train a state-of-the-art foundational LLM?
$4M.
Facebook's 65B LLaMA trained for 21 days on 2048 Nvidia A100 GPUs. At $3.93/hr on GCP, that's a total of ~$4M.
Google's 540B PaLM was trained on 6144 v4 TPUs for 1200hrs. At $3.22/hr is a total of ~$27M
82
372
3K
1
69
220
持っており、共通認識が成立しないことも多い。
ローリスク・ローリターンがハイリスク・ローリターンになったのだから、純粋に職業としての魅力は下がる。これにより志願者の質と量が相対的に下がるのはほぼ自然現象であり、そうならないと考えるのはかなり超越的な考え方の持ち主だと思う。ただ、
2
59
181
頭の中で想起している映像を脳活動から解読する論文がNeural Networks誌に掲載されました。
NICT小出（間島）さん、QST間島さん
@majimajimajima
が主導した共同研究の成果です。
3
56
184
試しに旧帝大教授あたりの給与を今の3倍ぐらいにすれば状況は改善される可能性がある。ぜひ試すべきだ。
…というのは完全なポジショントークではあるけれど、日本社会では珍しいレベルのリスクを負わせることの穴埋めは難しく、小手先の改善では元に戻らないと思う。
1
40
158
Transformerを使った強化学習モデルIRIS。2時間相当のゲーム訓練だけでAtariゲームの性能がヒト平均並に。コードも公開。(Micheli, Alonso, Fleuret, 2022 arXiv)
Transformers are Sample Efficient World Models
“With the equiv. of 2 hours of gameplay…our approach sets a new SOTA for methods without lookahead search, and even surpasses MuZero.”
Love the simplicity of this approach!
pdf
code
15
224
1K
0
28
163
大阪大学大学院生命機能研究科ではテニュアトラック准教授の公募を行っています。
- 生命科学研究分野
- スタートアップ研究費5,000万円、専有ラボスペース120㎡
- 共通機器等の利用可
- 大学院生受け入れ可
- テニュア審査通過後は教授（任期なし）
詳しくは：
0
72
156
その過程を経て教授になり始めた今の40代教授はリスクをとって生き残った人達であり、彼・彼女らにとってリスクは実質問題にならなかったわけだから、ここにも断絶がある。あるいはこの世代の声をどう拾うかで今後が決まる。
日本の研究を復興する必要があるのなら、
1
39
146
昔の日本のようなローリスク・ローリターン型に戻すか、あるいは米国のようなハイリスク・ハイリターン型にするしかないと思う（ローリスク・ハイリターン型にしても良いけれど）。またハイリターンにする場合も職位を逆転した給与体系はありえないので、教授の待遇から上げるしかない。
以上から、
1
31
119
新しい論文が出版されました。103種類の多様な認知タスク遂行中の脳活動をモデル解析し、大脳・小脳・subcortexにわたって認知特徴空間が保存されていること、それぞれの脳活動から認知内容のデコーディングが行えることなどを示しました。
From
@TomNakai
and
@NishimotoShinji
: Modelling based on fMRI data obtained during more than 100 different cognitive tasks reveals that representation and decoding are preserved across the cortex, cerebellum, and subcortex 🧠
0
3
20
1
17
96
個人的には、脳神経活動のモデルを作るときには
(1) 予測能力があること
(2) 表現の解釈ができること
(3) 神経生理学的な妥当性があること
の3つがあると望ましいと思っている。予測ができることこそ科学の条件であり、表現の解釈によって知見が広がり、生理学と接地していることが望ましい。
1
13
86
新しい論文を出版しました。統合失調症患者の脳内意味空間を健常者と比較し、ネットワーク構造解析の観点から定量的な差異を発見しました。東京医科歯科大学・髙橋英彦先生のグループをはじめとする共同研究の成果です。
0
8
75
大阪大学大学院生命機能研究科に教授として着任しました。これからも定量的な脳神経科学の発展に貢献する研究を進めたいです。
0
11
60
FlexGenで申請無しで利用できる最大モデルOPT-66Bと話してみた。このサイズのLLMが手元で動くこと自体は感慨深く、また内部表現を研究に使えるのはありがたいけれど、やはりChatGPTは凄いのだなとも感じる（175B>66Bの影響か、RLHFか、あるいはもっと細かい諸々の調整の集合なのか）。
0
22
61
一番右上の大きめの赤丸（博士）は「医師・歯科医師（男性）」でその下の赤丸は「医師・歯科医師（女性）」だった。最近は博士号を取る医師が増えたのか、調査に協力的な人が増えたのか。その2点を除くと分布の印象はかなり変わる気がする。でも満足度ではまだ博士優位、かも？
1
12
57
言語刺激下ヒト脳活動（fMRI）と言語予測モデル（GPT-2）の対応について、単語群レベルで対応しているだけなのかその並びを含めた意味情報まで保持しているのかを語の並び替えなどの対照を用いて検証。IFGとAGで後者を支持する結果。
First preprint from our group! Language models and brain alignment: beyond word-level semantics and prediction
Led by fantastic PhD student Gabriele Merlin🧙♂️
Thread below
1/n
1
6
30
0
19
47
脳モデル構築コンテストAlgonauts Project 2023 Challenge。今年は様々な画像を見ているときのヒト脳活動（7T fMRI記録）の正確な予測モデルを作ることが目標。3位までに賞金、1位はCCN
@Oxford
の参加旅費補助。
The Algonauts Project 2023 Challenge is now live!
Join and build a computational model that best predicts how the human brain responds to complex natural scenes 🧠💻
⏲️ Submission deadline: 26th of July
#algonauts2023
@CCNBerlin
@cvnlab
@goetheuni
2
36
91
0
9
46
EEG（脳波）から視覚内容解読（Bai et al., 2023 arXiv）。画像提示下（2000枚x6人）脳波を128-channel EEGで記録（データはKavasidis et al., 2017 ACMを利用）。EEG encoder-decoder、Stable Diffusion、CLIP潜在表現を介して画像生成。
DreamDiffusion: Generating High-Quality Images from Brain EEG Signals
paper page:
paper introduces DreamDiffusion, a novel method for generating high-quality images directly from brain electroencephalogram (EEG) signals, without the need to translate
12
147
602
3
14
43
Our paper on mental image reconstruction from human brain activity, led by Naoko Koide-Majima and
@majimajimajima
, was published in Neural Networks.
We combined Bayesian estimation and generative AI to visualize imagined scenes from human brain activity.
2
14
46
さっきの図は20代以下の人なども含んでいたので、30代の人に限って作図してみた。赤丸上位の医師2点を除いたとしても、分布の範囲を見ると年収も満足度も概ね博士＞修士の傾向はや���りありそう。
0
13
42
日本は子育て支援が足りないという言説もあるけれど、子どもを米国で育てた日々（育休は3ヶ月、保育所は1人月20万円超、母たちは毎日職場の搾乳室で母乳ポンプ利用の順番待ち、助教（妊婦）はラボ設備をスマホから遠隔操作するソフトを自作しこれで陣痛間の10分間も仕事ができると自慢）を思い出すと…
1
15
36
新たな超高解像度fMRI DIANA/解像度0.22mm, 5ms, 1 slice/マウス9.4T/BOLDでない、より神経活動に近い何か/40回試行ぐらいの加算が必要？ (Toi et al., 2022 Science)
1
12
35
やはり個人から十分な量のデータを取ってそれぞれに知見の再現性・汎化性を確認するような進め方が面倒だが有望であり、今後もそのような研究を進めていきたい。
0
4
35
最近のLLM関連の話題で個人的に最も衝撃的だったのが、この英語でしか訓練していないのに日本語等も扱えるようになっている（しかも開発者もなぜか判っていない）という話。現象としては、コーパスのpre-trainingだけで文法も意味も含めた他言語への汎化運用が一定精度で実現している。
With the InstructGPT paper we found that our models generalized to follow instructions in non-English even though we almost exclusively trained on English.
We still don't know why.
I wish someone would figure this out.
157
348
3K
1
7
37
Vision Transformer is useful in modeling movie-evoked brain activity
Modeling movie-evoked human brain activity using motion-energy and space-time vision transformer features
#bioRxiv
0
1
3
1
10
33
This achievement was made possible thanks to various open source and open data projects, including:
Stable Diffusion:
@robrombach
@StabilityAI
…
Natural Scenes Dataset (NSD):
@cvnlab
Thomas Naselaris
1
7
32
#CVPR2023
で脳活動と画像生成AIの関係を示し視覚体験内容を解読する研究発表を行いました。
また、解読にキャプション生成・GAN・深度推定を組み合わせた場合の定量評価や基盤モデル利用の影響検証を行ったテクニカルペーパーとコードを公開しました。
Follow-up technical paper to our
#CVPR2023
paper (). Investigated how different methods affect the performance of visual experience reconstruction. The figure shows three randomly selected images generated by each method.
1
10
31
1
6
36
物語・芸術・宗教・倫理・哲学といった古来からのいわゆる人文系学問の営みは脳に対するprompt engineering（特定動作を期待する意味でも中身が未知なまま作用させる意味でも）であり、脳に近くなりつつあるシステムと人文系が一部で親和性を高めるのは必然に思う。
2
7
32
コメントありがとうございます。ジャンルを超えた情報があることはFigure 7で定量的に検証しています：
- あるジャンルを除いて訓練した場合でも除外したジャンルに汎化したデコーディングが可能
- ジャンル特徴のみを用いたモデルよりもMuLan特徴を用いたモデルが脳活動予測で優位
これも、訓練とテストで同じ10カテゴリ（音楽ジャンル）なので、＜脳データでクラス分類＞＋＜AIでそれっぽい音の生成＞、とあまり区別がつかない
2
40
116
2
3
33
香川大学には「うどん学」という講義があるらしい。大阪大学も「お笑い学」か何かをつくればよいのに。実際お笑い学は認知/神経/生理学的に深堀りできる内容だと思う。（教員はまとめ役で、適宜実践的な外部講師を招聘する想定）
0
10
30
@BraydonDymm
@yu_takagi
It is possible to apply the same technique to brain activity during sleep, but the accuracy of such application is currently unknown.
0
0
28
スプラトゥーンをやっているときは場所細胞の情報表現がダイナミックに更新されていたりするのだろうか。successor representation的に言うと遷移可能性が逐次更新されるという特殊な状況が生まれている？
1
5
27
麻痺患者の発話意図を刺入電極記録から解読（Willett et al., 2023 bioRxiv）。62語/分で同種のBCIとして過去最速。電極は64チャネルx4（BA44野（ブローカ野）と6v野（口運動前野?）に2つずつ）埋め込み。
先に筆記意図BCIで90文字/分を達成（Nature 2021）したのと同じスタンフォード大のグループ。
Our new pre-print is out today! We demonstrate a brain-computer interface that turns speech-related neural activity into text, enabling a person with paralysis to communicate at 62 words per minute - 3.4 times faster than prior work.
69
808
4K
1
6
26
複数タスクに対する訓練（教師あり学習でも強化学習でも）によって抽象的な表現が自然に出現する。
We just posted a new version of our paper showing the emergence of abstract representations in feedforward neural networks trained on multiple classification tasks.
A brief thread highlighting the new pieces: 🧵1/5
2
21
117
0
1
27
生成AIを使ったbrain2X論文については、刺激カテゴリ弁別の効果だけではないことを示すコントロールはやはりあった方が良いと思う。我々の論文では毎回これを行っている。これが明示的でない論文についてはちょっと評価がしにくい。
1
5
27
異なる機関・場所にいる著者達がDiscord/GitHub（誰でも参加/閲覧可能）を介して過程も議論もすべてオープンで研究を進めて論文化。資源は公開データNSDやStability AI提供の計算リソース等を利用。今後は神経科学分野でもこのような研究の進め方も増えるのだろうか。
I'm really excited to share
@MedARC_AI
's first paper since our public launch 🥳
🧠👁️ MindEye!
Our state-of-the-art fMRI-to-image approach that retrieves and reconstructs images from brain activity!
Project page:
arXiv:
25
144
671
1
5
25
Changラボからも侵襲式脳活動デコーディング論文がNatureに (Metzger et al., 2023 Nature)。253チャネルECoG電極の信号からテキストと音声と顔の動作を解読。
0
8
23
自由行動中のサル前頭における階層的な行動エンコーディング（Voloh et al., 2023 Cell Reports）。
0
2
23
マウス神経細胞120万個をin situ sequencingして各部位における細胞単位の遺伝子発現（107種類）を同定。似た細胞同士が結合する傾向にある等などを発見。7日間・$3k（約45万円）で実現できるとのこと。
We used BARseq in situ sequencing to identify genes in ***1.2 million neurons*** throughout the mouse brain
We found that cortical areas with similar cell types are also interconnected. We call this “wire-by-similarity.”
1/n
6
153
577
0
6
21
Our new paper regarding external and internal information is out! [w/ Drs Dror Cohen and
@TomNakai
]
0
7
21
阪大ELSIセンターの標葉先生
@r_shineha
が中心になってまとめられた「脳神経科学・脳情報の利用に関する意識調査」速報が公開されました。一般モニター2000人と専門家108人を対象にした調査で、各種脳研究に関する考え方や非専門家/専門家間の認識の比較等が報告されています。
0
6
19
自由行動（歩行）中のヒト脳から単一細胞電位記録。Edge TPUやバッテリも積んで32チャネル @ 38.6kHz記録でスパイク弁別が可能。closed-loopで刺激も可能。
🥳 Our latest paper is out today in Nature Neuro 🥳
Introducing the Neuro-stack, a wearable platform that records human single-neuron activity during walking🚶🏻♀️
31
301
2K
0
5
20
一次運動野（M1）ホマンキュラス的描像（Penfield, 1948）を詳細なfMRI実験により更新。M1内で効果器（足、手、口）特異的な部位と非特異的な部位が交互に現れる等。
We’ve identified the Mind-Body Interface, a novel distributed network within human primary motor cortex that disrupts the famous—but incorrect—motor homunculus, and that exhibits strong connections to high-level control networks. Preprint here:
71
929
3K
2
8
19
Bing AIチャット面白い。Web情報取得ができるLLMということで、論文との関わり方もいろいろ変わりそう。（しかし被験者数等の内容の詳細を聞くと、論文を参照した上で全くの大嘘を偽の英文ソースまででっち上げて答えてくる。このギャップもすごい。）
0
3
20
上記の他にも研究費・論文・任期・機関移動・年齢などに関するクロス統計（出版時年齢 x 被引用回数等）などもあって、身もふたもないと言うか、いろいろ可視化されていて興味深い。
1
3
19
I asked GPT-3 how much personal information s/he knows about me. The answers are more or less wrong, but in an interesting way.
0
1
15
ラボでもオンプレミスA100を10枚ほど買ってみたのだけど、電源周り等で何度か故障して修理期間があったりメンテナンスが辛く、今後はHPCかクラウドにしたい。
1
3
17
Our studies turned into a manga!
1
5
15
NeuroImageは分野の専門家が読む中心的な雑誌の一つであり、個人的にも
- 最も多くの論文を掲載
- 最も多く（たぶん）の査読に関与
- 最初のTop 1%論文を掲載
した雑誌がこのようになり感慨深い。継続性に疑義が生じるのは残念だけど、研究者と出版社の関係性を改善する流れの一つなのだろう。
All NeuroImage and NeuroImage:Reports editors have resigned over the high publication fee, and are starting a new non-profit journal
This comes with great regret, and a huge amount of thought and discussion- please read announcement to get more details.
171
2K
5K
1
1
15
Assuming Einstein's contribution is steady-state, can the trend in his citation count be used to normalize the value of citations for each year? (e.g., a citation in 2000 is 3.5 times more precious than in 2020).
1
3
12
大規模一人称動画オープンデータセットEgo4Dの続編Ego-Exo4D。5000スキル/1400時間の一人称・三人称動画とアノテーション。
Today, we announce Ego-Exo4D, the largest and most diverse multi-view dataset, showing human experts around the world performing a core set of skilled activities, w/ unprecedented multi-modality, novel new video-language resources, and rich annotations
10
101
534
0
4
16
We are grateful for your interest in our study and have added FAQ pages:
0
1
14
LangChainやGPT IndexなどのGPTと外部データをつなぐシステムが任意モダリティのデータ（たとえば脳神経活動や行動記録）を扱えるようになれば、自然科学もだいぶ変わる気がする。DataChain?
0
0
12
もちろん手戻りとかチューニングとかオーバーヘッドとか専有させてくれないとか色々あるけれど、オーダーとしてはそういうものという理解。大阪大学SQUIDは2022年度まではこれの半額だったのだけど電気料金高騰で2023年度から値上げ（それでもだいぶ安い）。
1
0
12
階層的で生成的でノイズが重要で固定長潜在ベクトル表現を使うのはかなり脳っぽいなと思って拡散生成モデルと脳を比べたら結構うまく行ったという論文を書いたのだけど、RLHF的なものでヒトっぽくなるのも実は単なるハックではなくて脳に近い処理に意図せず近づいていたりするだろうか。少なくとも、
1
2
12
いろいろな条件があってそれぞれの国や分野の現状が成立しているのであり、ディベート的なポジショントークもあるけれど、総体的/相対的に考えることも大事なのだと思う。
1
4
11
映像由来の脳内意味表現と言語由来の脳内意味表現の比較。部分的に重なるけれど映像由来は皮質上でちょっと後ろに、言語由来はちょっと前によっている。
At long last, Dr.
@sara_poppop
's paper on aligned visual and linguistic semantic representations is out!
I want to briefly explain the context for Sara's work, and why I think this is the most important science that I've ever been a part of ⤵️
6
141
421
0
1
12
2023年1月にpreprintで発表→8月Nature掲載。
Our new study is out today in Nature! We demonstrate a brain-computer interface that turns speech-related neural activity into text, enabling a person with paralysis to communicate at 62 words per minute - 3.4 times faster than prior work. 1/3
9
238
874
0
1
11
ヒトiPS細胞から脳オルガノイドを作ってラット脳に移植。神経回路に定着して感覚刺激応答や報酬探索行動にも関わるように。(Revah et al., 2022 Nature)
Glad to share our latest work out in
@Nature
today
We show that human cortical
#organoids
transplanted into the somatosensory cortex of newborn rats develop mature cell types and integrate into sensory circuits and can influence reward-seeking behavior
22
285
1K
0
1
10
なお商用クラウドでLambdaというところも使っていて$1.1/A100時とAWS/GCPより安くて良いのだけど、わりといつもインスタンスが埋まっているので大規模な使い方が出来るのかは若干怪しい。
1
0
12
Story-listening fMRI data (1.5 hours x 112 subjects; 49 English, 35 Chinese, 28 French speakers) with detailed annotations
We are finally ready to share our Le Petit Prince fMRI Corpus (LPPC–fMRI), a multilingual resource for research in the cognitive neuroscience of speech and language!
Data and annotations:
Paper:
2
59
177
0
4
10
身体性はよく判らないけれど、時空間的に局在した個体性はヒト型知性には必要なのだろう。あるいは知性一般にそれは必要ないけれど、ヒト型知性にはたまたま局在・個体性の制約があるので、そうでない種類の知性があってもヒトはそれをヒトと違った（劣った）ものと自己中心的に解釈してしまう。
0
0
10
意思決定課題中のマウス神経活動を（10ラボの分散共同実験で）全脳記録してデータ公開。547回のNeuropixels記録/194領域/32784細胞。（yieldが低めなのは(1)spike sortingを基準厳し目の自動検出としている(2)sparseな領域も含めて全脳記録しているから、とのこと）
🚨 BIG DATA RELEASE 🚨 We are beyond excited to announce the release of our Brain Wide Map of neural activity during decision making! It consists of 547 Neuropixel recordings of 32784 neurons across 194 regions of the mouse brain 🐭🧠
(1/7)
6
246
812
0
0
10
コーパスを学習しているに過ぎないLLMが現在の延長で自然科学を代替するとは思えない。ただ思索・論理・言語に閉じるような種類の一部の数学やリベラルアーツは代替するかもしれない。
0
4
9
Modeling brain activity evoked by playing Counter Strike in MRI
New Research: Voxel-Based State Space Modeling Recovers Task-Related Cognitive States in Naturalistic fMRI Experiments: Complex natural tasks likely recruit many different functional brain networks, but it is difficult to predict how such…
#Neuroscience
0
1
3
0
3
9
育った街のエントロピーとナビゲーション能力の関係を約40万人のゲームプレイ（Sea Hero Quest）から解明（Coutrot et al., Nature 2022）
Short 🧵 on our new
@nature
article with
#SeaHeroQuest
@antoine_coutrot
et al
Entropy of city street networks linked to future spatial navigation ability
Video: footage from two game levels with different levels of entropy in the paths (L: high, R: low)
7
53
195
0
2
7
上記のグループを率いられていたKrishna Shenoy先生が亡くなられたそうです…。今後も業界をリードするはずだった方でした。
0
0
7
デコーディング精度で運動前野>ブローカ野となっているのは、今回のデコード対象が口の動きや音素だからということで説明できるだろうか。より高次の言語特徴を対象にすればブローカ野や意味領野が効果的となるかもしれないし、言語モデルを使うと更に精度が上がるかもしれない。
1
3
7
機能的超音波イメージング（Renaudin et al., Nature Methods 2022; 解像度6.5µm
@1
秒）。すごい。volume撮像や機能構造がどの程度見���れるのか気になる。
How to track local microscopic neurovascular response and systemic blood flow changes over the entire brain at the same time? Functional Ultrasound Localization Microscopy performs such neuroimaging at micron scale,
@PhysMedParis
article in
@naturemethods
10
106
315
0
1
6
Googleは「ぐぐる」と動詞化されたけれどChatGPTを動詞化するのは難しい。「ちゃじる」「じぴる」「じぇねる」？ 今後は同種のサービスがたくさん現れそうだけど、原型を保ったまま動詞化しやすい名前をつけたものが人口に膾炙するのかもしれない。
0
1
8
自分が撮った大量の過去（〜7年）動画と他人の撮ったそれを見ているときの脳活動を記録。記憶の強さ・時間・内容などに関する機能構造が見られるとのこと。
New preprint w/
@Chris_I_Baker
: we scanned people watching memories they recorded w/
@1SecondEveryday
from up to 7 yrs ago and find a memory content map w/ subregions for memory age, strength, and content (people & place) info in medial parietal cortex!
6
66
269
0
3
7
We should make brain-to-everything (b2e)
Think text-to-image is cool?
Tons of research came out in the last 2 months that will blow your mind:
🗨️speech-to-text
🔊text-to-audio
🔊audio-to-audio
⏯️text-to-video (2x)
🕺text-to-motion (2x)
🧊text-to-3d (3x)
🧠 brain-to-text (2x)
Check these out 👇
51
455
3K
3
0
7
Our new preprint: Brain networks are decoupled from external stimuli during internal cognition
0
2
7
@ykamit
はい、一般論としてあまり下がらない方が望ましいのは同意します。ただこの辺りはサンプル・カテゴリの分布・サイズにも依存し、単純比較は難しいと考えます。
また自然刺激は多元的・多層的なためablationが万能とも言えず、より高次の情報を用いた場合の性能比較等の方が筋が良いと考えています。
1
1
7
初期視覚野を運動エネルギーでモデル化するぐらいの時代は3つ揃って満足していたけれど、最近は(2)(3)が心許なくはある。ただ、3つ揃わないと価値がないとは思わない。どれかの観点で差分のnoveltyがあれば発表の価値があると思う。願わくば2つぐらいはあると良いけれど。
0
0
6
BRAIN Initiative Cell Census Network (BICCN) published 17 papers in this week's Nature showing combinations of transcriptome/epigenetics, atlas/connectome, mouse/marmoset/human motor cortex:
0
0
6