Shuhei Kurita
@ShuheiKurita
Followers
1,123
Following
455
Media
26
Statuses
641
Researcher in natural language understanding, vision/3D & language and neural networks. I love cats!
Joined May 2019
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
#NuNew1stConcertDay2
• 137829 Tweets
South Africa
• 136960 Tweets
NUNEW DREAM CATCHER
• 114298 Tweets
ギラホス
• 40945 Tweets
マーリン
• 31863 Tweets
PHUWIN IN QINGDAO
• 31285 Tweets
小倉記念
• 31007 Tweets
ヴィーガン
• 26830 Tweets
LINGORM AROUND
• 26273 Tweets
関屋記念
• 25534 Tweets
DHRUV
• 24222 Tweets
大社高校
• 23009 Tweets
和田アキ子
• 22209 Tweets
#リエラと極上大冒険
• 22028 Tweets
ヘルナンデス
• 21437 Tweets
Ferhat Gedik
• 20426 Tweets
Sifan Hassan
• 19858 Tweets
契約解除
• 18685 Tweets
#iyikivarsınEren
• 18148 Tweets
Pinned Tweet
We will soon make a following presentation:
RefEgo: Referring Expression Comprehension Dataset from First-Person Perception of Ego4D
Shuhei Kurita, Naoki Katsura, Eri Onami
Happy to see you at our poster!
"Foyer Sud" - 114 (2:30-4:30)
#ICCV2023
3
5
31
知り合いで、修士の時、指導教員に「博士号取りたいからD進したいです」って言ったら「reject」って言われたんで、別の日に「論文書きたいからD進したいです」って言ったら「ならacceptだ」って言われた人がいた
1
118
690
GPT3やChatGPTが出てきたときに，たくさんの言葉を失うような長所短所が目についた一方で，ああ，子どもの頃に作りたいと思っていたもの，Matrixあたりを見てとりあえずC言語を勉強し，当時のAI研究を子どもなりに調べノートに書き付けていた0x年代の夢が，とうとう出てきちゃったな，と思っていた．
1
92
599
査読していて、英語の文法的な誤りはほぼないくせに、何を言いたいかさっぱりわからない論文が最近増えてきて困っている（ええ、たぶんうちの分野のせいなんですよね…）
2
44
408
Introを直しているが、introだけは学生にはほぼ書けないよなと。本当に難しいし、実はintroを上手く書ける人はトップ層の研究者でもほぼいないんじゃないかというレベル。僕も全然上手くないので苦労ながら書いている。
1
7
205
しかし、Attention is all you needが出てから、その本質ともいえる性質（ともかく大規模にスケールできる）の意味が理解されるまで約5年
1
30
207
先日のLLM勉強会サーベイで"小さな"LLMという話を少しだけしたのですが、そうかやっぱりPFNさんもそっちできたなと
0
26
193
科研費の若手研究に採択されました！実世界の3D情報は、まだ全くといっていいほど言語データと紐付いていないんですよね。そういった分野で基盤的なデータ整備をすすめることが、将来的な言語処理応用やロボティクス研究にも役立つのではないかと考えています！！
0
15
183
IBIS2023の企画セッション「Vision and languageの最前線」で使用したスライドを公開しました．前半の参照表現理解を中心としたトピックに加えて，お話できなかった後半の「2. 言語理解技術の物理的な実世界応用」以降のトピックも入れています．
0
38
182
0x年代の高校生にとって，いやおそらく研究者にとっても，「自由に会話できるAIを作りたいです」なんて発言することはとてもとても恥ずかしいことで，たぶん「無謀な夢を見る人」くらいにしか思われていなかった．僕が物理系に進んだ理由の一つもその辺にある．
1
36
175
本日付で国立情報学研究所コンテンツ科学研究系に助教として着任しました。これからNII内外の方と連携しながら、Vision & Language の研究室を創っていきたいと思います。
なお、なぜかLLMセンターにも名前があるようです。こちらはなぜなのか正直よくわかっていません（）
5
9
149
理研AIPの弊チームでは、一緒に研究を進めてくれる学生を探しています！修士課程進学予定の学部4年生、修士課程、博士課程に在籍の方でvision and language、3D and language、実世界グラウンディング、自然言語処理/理解などのキーワードに興味のある方は、ぜひ一緒に研究しましょう！
1
35
140
いわゆる"生成AI"の査読をしていて苦痛を感じる。
量的評価がlimited（単純なスコアの良し悪しではなく、数値評価そのものが網羅的でない・数が少ないなど問題がある）な論文は評価していない。
しかし、質的評価を強調されて「すごいでしょ？」という議論をされた時に、反論するのが疲れる。
3
25
133
今後，大規模言語モデル研究がどの方向に進んでいくのか本当に知らないが，子ども時代の純粋な好奇心は忘れないようにしたい．
0
16
117
LLMからどうやってChatGPTを作るのか、本質的なのはpretrainかそれともfinetuneやRLHFか議論は方々で行われているが「GPT-3と3.5の差はOpenAIが用意した100GB分のinstruction corpusで再学習でした」という解答もありえるよなと
2
10
108
GPT-4でデータを作ることについて、review processでの取り扱いに興味のある人のために、LLaVA元論文のopen reiviewを貼っておきます：
1
7
105
今更感があるが、PaLMあたりを読んでいると、自然言語理解とは何か、なぜ人間だけが可能であるように見えるのか、深く考えさせられる
2
8
85
画像系のトップ会議ICCV2023に以下の論文が採択されました🎉
@katsura_jp
@umi11941111
との共著です。感謝！！主観視点動画世界と言語世界を繋げる研究です。
RefEgo: Referring Expression Comprehension Dataset from First-Person Perception of Ego4D
Shuhei Kurita, Naoki Katsura and Eri Onami
3
11
82
論文がCVPR2022に採択になりました：
ScanQA: 3D Question Answering for Spatial Scene Understanding
屋内の（再構築済み）3Dシーンで、質問応答と質問に関係するオブジェクトの特定を同時に行うタスクです。将来的には人間とロボットのインタラクション研究などに応用できるかも。
Paper accepted to CVPR2022!
ScanQA: 3D Question Answering for Spatial Scene Understanding
Daichi Azuma, Taiki Miyanishi, Shuhei Kurita, Motoki Kawanabe
Paper (arXiv):
(1/2)
#CVPR2022
2
7
25
1
13
68
ICLR2021 accepted! The new "generative" approach to vision and language navigation! We use the vision and action-conditioned language model to directly navigate in the virtual environment. Work with
@kchonyc
I have posted the latest manuscript for vision-and-language navigation (VLN) on arXiv with Kyunghyun Cho
@kchonyc
!
"Generative Language-Grounded Policy in Vision-and-Language Navigation with Bayes' Rule" (1/3)
1
7
33
6
6
66
4/1から理研AIPの研究員を拝命しました．（特別研究員→研究員）やることはこれまでと大きく変わらないと思いますが，今後も理研内外の人たちと一緒に Vision & Language や実世界での言語理解研究を進めていこうと思います！
1
2
58
I'm at CVPR. We will present ScanQA: 3D Question Answering for Spatial Scene Understanding on Friday!!
0
5
57
LSTMはもともと長期記憶のモデルとして提案されたもので，時系列の中に出現する特定のパターンの回数を数える（例えばテキスト中のある単語数を数えるとか）には強いと聞いたことがある．
1
2
58
ところで誰も「LLaVaのデータはGPT-4で作られているからOpenAI規約違反じゃねこれ？」とか言ってない気がして、つまりはそういうことだと思う
1
9
56
これはかなり語弊があると思っている．
(1) 新規かつ意味のある良質なデータを作り社会に還元するのは，むしろアカデミックの役目，ここで量は全く問題としてない，極端に言えば100件でもよい，(2) "大量"の程度による，METAもGoogleに勝てない，(3) よいモデルはAPIで借りてくることもできる．
機械学習の王道はどう考えたって「(1) 良質のデータを (2) 大量に集めて (3) 良いモデルに食わせる」のはずだけど，大学や国立研究所では (1) (2) (3) 全部が苦しい．分野レベルでアカデミアから手離れしてる．
2
132
558
1
10
53
"生成AI"に限った話ではないのかもしれないが、ともかく早く実装や論文を公開する傾向が強くなって、既存の類似手法との比較を雰囲気でやっていないか？と心配になるケースは増えている気がする
1
7
50
自分も2020年の後半にはGPT-2使って識別タスクでBERT超えられないかしばらく実験してた。
普通に敗北した。
それに懲りてしばらくdec-only言語モデルやらなくなった。
教訓として1Bクラスのdec-onlyでも300Mのenc-only (BERT系)に識別タスクで勝つことは困難なので諦めましょう。
0
8
50
LLM作成に携われるならABCIサーバールームの片隅に設けられた「lossが下がらないと出られない部屋」に閉じ込められて，半年くらいキャリア無関係に隠遁生活を送ってもよいと考えている勢
（なお，そう考えている研究者・学生は多そう）
1
9
47
作成中のICCV2023のデモ用ビデオ．この1枚だけでも，なんのためにこのデータセットを作ったのか伝わるかも．
1
5
47
chatGPT、現状配慮されすぎていて「おもんない人」感があるので、関西の大学出身としてはぜひおもしろ会話AIを目指してほしい
1
4
47
自分が工学の研究者として重視することは，ChatGPTがturing testを突破できるか否かではなく（それは常に実験設定に依存する問いであることに注意してほしい），ChatGPTのようなLMに実世界の知識（固有表現だけでなく視覚や物理法則などを含む）を与え，より精緻な世界理解を可能にすることである．
1
17
45
ACL, ICLR, CVPR, ICCV, N, ...と論文を出してきて，論文のよしあしとは全く別に，研究の内容と投稿先との相性をよく感じる．V&L研究でACL*出すかLREC出すかCVPR出すかみたいなもので，readerが違うので，評価される研究も評価のされ方も違う気がする
1
7
45
昔から思っていることだけれど、2009年の地球シミュレータ2は全体で131TFLOPS。約189億円。
2017年のDGX Station (V100)は単精度なら公称480TFLOPS。数百万円。
何が言いたいかというと、いまGPT-3を学習できるのはかなり限られた機関だが、10年後には研究室レベルでもLLM学習ができるようになるぞ
1
12
42
何とは言わないが、LLM応用で実装や実験設定こそ違うが根本はかなり似ているアイディアが、NeurIPSやACLやICLRのサブコミュニティで相互参照されずに繰り広げられているのに気がついて、アレな気持ちになっている
0
4
39
LLMは作ってみたくない訳がないが，国内で作るLLMはどうしても政治ネタになってしまうので，（僕は政治家でなく研究者でありたいので），その意味で，純粋な研究や開発ネタ以外ではLLMからむしろ距離をおきたいな，と少し考えていたりもする
1
2
38
自分も正直わかってなかったです。小規模ではtransformerとLSTM、実は大差ないなんて話がいくらでもあったし
1
5
39
言語モデルにこれから教えなければいけないこととしては，上記の他にも，社会規範や法律，倫理，道徳，企業内部でのローカルな規則・事務手続きのやり方，相手の感情を尊重し誤解される発言をしないこと，深夜にTwitterしないことなど，多岐にわたると思う．
1
19
38
ACL2019にCopenhagen大学Anders Søgaard教授との共同研究である
"Multi-Task Semantic Dependency Parsing with Policy Gradient for Learning Easy-First Strategies"が採択されました(long)。この研究は言語処理学会2019で最優秀賞を頂きました研究の拡張+分析追加版です。
1
3
33
I have posted the latest manuscript for vision-and-language navigation (VLN) on arXiv with Kyunghyun Cho
@kchonyc
!
"Generative Language-Grounded Policy in Vision-and-Language Navigation with Bayes' Rule" (1/3)
1
7
33
何とは言わないが、リサーチクエッションなしではどんなに優れたプロジェクトでも新しい研究にはならないよな、論文にならないよなと、僕はずっとその部分を不安に感じている
もっとも、何がよいリサーチクエッションか分野によって全く考えが異なるし、新しい研究だけが全てでもないと思いますが...
0
0
33
わかりみの沼。短期で成果は出しづらい（重要な課題で継続的に取り組んでいるが、しかし、V&Lでキャッチーなことをやらせたいくらいのモチベーションなら、確かに他に早く論文に到達できそうなネタはあるのでやはりづらい）
2
6
32
なお，弊も理研AIPで「Vision & language」や「テキスト+何か」「言語モデル」などを研究し，論文を書きたい学生を随時募集しています．適宜声かけてください．すでに，そのような学生による成果が国内/国外で発表されつつあります．
1
4
30
明日は
データ工学ロボティクスとNEDO特別講座共催講演会
で15:15から
「実世界を認識して動作するための言語理解技術」
のtalkをいたします。テキスト理解とコンピュータービジョンや実世界認識の組み合わせに興味のある方はぜひご参加ください！
0
12
28
共著で指導していた京大黒橋研のM1加藤駿弥君の論文が若手奨励賞に選ばれました🎉🎉🎉
ARKitSceneRefer: 3D屋内シーンでの参照表現による小物の位置特定
加藤駿弥 (京大), 栗田修平 (理研), Chenhui Chu, 黒橋禎夫 (京大)
（※ 賞の対象は第一著者の加藤くんのみ）
#NLP2023
2
3
28
夕方にボス（普通にいい人です）との評価面談をしたけれど，今後のテーマを聞かれて「いやXXXは研究としてはオワコンですよ，これからはYYYです」と話していたら「何を始めようとしているんだ？」とどんびかれてしまった．これからもなるべく周囲をどんびかせるような研究を提案していきたい．
2
0
27
LSTMとself-attentionがそれぞれ何をしているかを考えれば，何に強そうかもわかりそうな気がする．僕はself-attentionが，ある特定パターンによる別のパターンの増幅の繰り返しモデルだと捉えている．LSTMは本質的に行列の掛け算である．
2
1
26
>RT
なぜ言語指示が画像生成で成功したのか？
最近考えていたのですが、まず一般にわかりやすいタスクだったこともありますが、タスク自由度が大きいことと、成果物の評価を主観に頼っていること、データが集めやすいことの条件が揃っていたからかなと
1
2
26
わざわざこのツイをしたのは、今後、大規模モデル学習が巨大科学や国プロのようなものになってしまうのはある程度避けられないと考えており（それはそれでおそらく必要なのだが）、少人数の研究者が自由な発想で(L)LMやFMを好きな方向に研究する、というスタイルも忘れないでほしい、というものだった
昔から思っていることだけれど、2009年の地球シミュレータ2は全体で131TFLOPS。約189億円。
2017年のDGX Station (V100)は単精度なら公称480TFLOPS。数百万円。
何が言いたいかというと、いまGPT-3を学習できるのはかなり限られた機関だが、10年後には研究室レベルでもLLM学習ができるようになるぞ
1
12
42
0
8
25
数値より見た目の評価を重視する（せざるを得ない）研究分野は確かに存在するので、それは哲学の違いだと諦めて、可能なら過度に質的評価に頼りがちな分野の査読からはopt-outしたい。
1
7
24
Paper accepted to CVPR2022!
ScanQA: 3D Question Answering for Spatial Scene Understanding
Daichi Azuma, Taiki Miyanishi, Shuhei Kurita, Motoki Kawanabe
Paper (arXiv):
(1/2)
#CVPR2022
2
7
25
CVPRに共同主著でアクセプトになりました！！
京大の
@dachii_A
さん、ATRの宮西さん、川鍋先生との共著です。
詳細はまた追って紹介しますが、3D環境で新しいタスクを提案する内容です！！
0
1
25
Good news! Thank you for Prof. Kyunghyun Cho and many NYU people, I start my co-working with Cho at NYU from this January. If you are at NYU or NY, I'm so happy to work with you. Feel free to reach me!
0
0
23
そろそろ単純設定の vision & language からも逃げ出す準備をしていたほうがよさそう
（数年前に V&L で一世を風靡していた研究者ほど，いまや V&L とは言っていない）
1
2
24
先日行われたLangRobo研究会の資料を公開いたしました。今後のVision & Languageの方向性として「グランディングと参照表現理解」、「言語を使って指示を出す」という２大テーマを考え、それぞれについて最新の研究もフォローしつつ、哲学的な背景について紹介しています。
0
5
24
遅ればせながら，NLP2021で「視覚と⾔語によるナビゲーション課題への⾔語に対応付けられた⽣成的な⽅策」が委員特別賞を頂きました．これで，言語処理学会では3年連続で賞を頂いていることになります．
0
2
22
学位をとった頃は「NLP/NLUの解ける問題は早晩やり尽くされてしまうんじゃないか」「分野への過剰な期待ばかり先行して辛くなるんじゃないか」みたいな危機感が周囲でもあったと思うし，僕もそう考えていた節はあるが，いま目にしている現象はむしろ逆なのかもしれない
1
1
22
用途によると思うのだが、NeRFは本当に必要なのか？実は高精細点群で十分なのではないか？とは昔から定期的に考えている
1
6
22
某、LLM（特に事前学習あたり）はやらずに、キャリアページに書かれているような進化計算や集合知能、人工生命あたりを突き進んでほしいかなとも、わりと心から願っている
1
1
21
Instruction tuning はGPT-3.5/4を使用してデータを集めるのが明らかに簡単で性能もよいらしいが（参考文献多数）、それで"use output from the Services to develop models that compete with OpenAI"してしまうと規約違反 なので、どこまで許されるのか、NCならいいのか問題
1
0
21
あと、画像生成技術は本質的な部分で画像検索によく似ているが、今のpromptingは四苦八苦して検索ワードを考えていたインターネット黎明期にいくらか似ている
1
5
20
GRPシンポを聞いて思うのは、まず知覚の問題に限っても、「物理現象」→「カメラ・センサ情報」→「力学変数・言語・シンボリック情報」（→「感情？・意思？とかなのかな？」）への観測/フィルタ/予測が行われていて、そのたび情報が失われるとの考えもあるが、実は逆の定式化があるんじゃないかと。
1
4
19
#LangRobo
研究会第21回は東京理科大学岡留有哉先生にご講演いただきます！対話では言語のやり取りだけでなく非言語なコミュニケーションが大事ですよね！
題目：2者間対話に注目をした振る舞いの分析とモデリング
日時：2024/ 5/24 (金) 12:20 〜 13:30
参加はこちら：
#LangRobo
研究会第20回は大阪大学の堀井隆斗先生（
@takato1414
）からご講演いただきます！感情をテーマにした記号創発周りの話、楽しみです！
タイトル：身体情報から創発した記号としての感情
日時：2023/12/15 (金) 12:20 〜 13:30
聴講参加はこちら：
1
8
21
0
7
18
Can visually conditioned language models navigate in realistic virtual environments? We propose a language modeling-based approach for vision-and-language navigation. We will soon make the presentation at Spot A3 in
#ICLR2021
The code is available at
ICLR2021 accepted! The new "generative" approach to vision and language navigation! We use the vision and action-conditioned language model to directly navigate in the virtual environment. Work with
@kchonyc
6
6
66
1
4
18
個人的には，画像のなかに含まれるテキストの意味が重要なタスクでは，やはりOCRを使うことが第一選択である気がしていて，その意味で，NLP2023の杉浦先生ラボのこの研究にはもっと注目が当てられてもよいと思う：
2
3
18
Turing testについて，僕はもうそれがあまり重要な課題であるとは思えない．ChatGPTをturing testさせてみた研究はもうあるかもしれないし，いずれ出るかと思うが，正直どのような結果でもあまり興味はない．会話相手が人かChatBotか見分ける技術（というかテクニックというか）は必要かもしれない．
1
6
18
Huggingfaceでの（unofficialな）公開ありがとうございます！僕らもHuggingface datasetでのofficialな公開を準備しております。
図表を含む日本語文書質問応答データセット JDocQA を huggingface datasets で使えるようにしました！Visually-rich document understanding (VDU) タスクが好きなので日本語のデータセットが提案されて嬉しいです🥰
🤗
🐙
📝
2
12
76
1
3
18
英語的な難しさと、英語的な難しさを超えた研究的な難しさがあるので、ChatGPTでなんとかなるとかそういうレベルの話ではなく。英語ネイティブでも苦労していると思う。
0
1
18
NeurIPS2017からいまの大衆的なヒットまで5年くらいという意味で約5年と書いたが、arXiv初版からはそろそろ6年かな。GPT-3は2020年にNeurIPSでbest paperになっているので、その意味では3年。
(でもついその頃まで、僕を含めた多くのNLPerはBERTの改良やenc-decモデルに目が向いていた反省がある。)
1
3
18
Google seems to try suppressing LLM hallucination, but isn’t hallucination a part of essential aspects of intelligence? Imagine writing novels by human or playing of wild animals. They are parts of intelligence that aren't directly relevant to living skills real-world.
1
4
16
PaLM論文のハイライトは、結論に書いてある「（ただの理解よりむしろ）生成する能力こそが、カテゴリ分類や回帰としてモデルされるような、典型的には言語生成を必要としないタスクにさえ非常に有効である」という箇所で、これを実験的に明確に���しているところだと思う。ここは読んでいて感動する。
1
1
16
ただ一方で「素人が下手に少量データで1から学習するよりも，学習済みの基盤モデル見つけてまる投げたほうがいいよね」みたいな所もどうしてもあるので，分野としての発展や社会応用は疑いないとしても，モデル作成技術がロストテクノロジー化しないようにアカデミックで継承していくべきかもしれない
1
0
16
今回の論文は，NLPとVisionやRoboticsの境界を攻めるような内容だったので，果たしてNLPコミュでどのような反応が来るのやら...と思っていたのですが，こうした境界領域を拾ってくれる賞があって本当に感謝しています！
1
3
16
査読終えて思うのが、最初はどんなに素晴らしい研究アイディアでも、論文1本目が出て「おお、これ確かにすごいなー」と感じても、2本目3本目…が出てくる頃は「やめてくれ！！もうそんな論文は査読で何本も見ているから、頼むからもう少し違ったものを持ってきてくれ！！」となってしまう悲しき定め
0
1
14
Vision-and-Language Navigation(VLN)というシミュレーション環境下で言語指示に従って動く仮想のエージェントを利用して，外部からの指示文章に従わせて動かすタスクで，新しい手法をarXivに上げました．
1
2
15
LSTMに対してTransformerがこれだけもてはやされているのは，GPU上で早い，多層にしても破綻しない，の2点も大きいと思う．
（僕は別にどっちでもいい．問題に合わせて使い分けられればそれでいい）
0
0
14
僕はクラウドソーシングも上手く使えばそこそこ有用なデータが大量に取れる派ですが...
InstructGPT の RLHF 論文とかも，読んでると Upwork でlabeler集めたらしいし
2
1
14
Sam Altmanさんのスライドより，OpenAIの現在唯一の GPT-4 画像API提供先が「盲目または視覚障害を持つ2億5000万人以上のコミュニティのための技術を開発」するスタートアップらしいのは，なかなか social goodness を体現しようとしている...
0
6
13
京大の修士時代に行っていた研究が、長い時を経てNature Communicationsから出版されました。
"Reconstructing neuronal circuitry from parallel spike trains" Ryota Kobayashi, Shuhei Kurita, […] Shigeru Shinomoto
1
2
12
（ムーアの法則その他が続くならね...）
20年後ならスマホでLLMのfinetuneくらいできてても全然おかしくないと僕は思う
1
0
13
やっかいなのは，ChatGPTみたいなモデルはpromptちょっといじるだけで精度が大きく変わることかな（例："Let's think step by step"をつける ）
その意味でも，既存のMLの精度評価paradigmは，ChatGPTの性能を測ることには向いていない気がする...
0
2
12
日本語LLMを作る上でも、あらためて地道で優れた評価論文だなと思うなど
0
1
12
The language information access technology (LIAT) team in RIKEN AIP has created a new introduction movie for SHINRA project 2021!
理研AIPの言語情報アクセス技術チームでは，森羅2021プロジェクトの新しい紹介ビデオを作りました！
1
4
11
まぁでも，ChatGPTは単純にWikipedia引っ張ってくればすむような，超有名な固有表現知識でもよくHallucinationしてくるので，そのあたりはまだ色々なんとかできるやろ！！とは心のなかで突っ込んでいます．それでも当初よりマシになってきている気がするんですけどね．
1
1
12