丸の内電気鼠
@caesar_wanya
Followers
4,306
Following
1,369
Media
119
Statuses
10,872
Explore trending content on Musk Viewer
Colorado
• 133022 Tweets
Notre Dame
• 115160 Tweets
Kentucky
• 67807 Tweets
#仮面ライダーガヴ
• 56513 Tweets
The Weeknd
• 55885 Tweets
#AEWAllOut
• 52537 Tweets
Northern Illinois
• 38507 Tweets
Nebraska
• 35411 Tweets
Abel
• 29945 Tweets
Carti
• 29475 Tweets
#ブンブンジャー
• 25101 Tweets
Auburn
• 24168 Tweets
Talleres
• 24055 Tweets
#UFCVegas97
• 18724 Tweets
Medina
• 15765 Tweets
Willow
• 15755 Tweets
Bama
• 13979 Tweets
#ニノさん
• 13680 Tweets
Skullduggery
• 13293 Tweets
ショウマ
• 12907 Tweets
Herrera
• 12867 Tweets
ひろプリ
• 11876 Tweets
私は「なんでICが普及してるこの時代に技術的にも安全性でも後退したQR決済を…」と思ってるのでよっぽど必要に迫られない限りQR決済はしないと決めてる
11
406
2K
最近ベンチャーとかで「3か月～半年の長期」「週15～20時間程度」をうたったインターンが増えてる気がするんですけど、それ、バイトじゃない…？
1
132
753
会議で話した人たちから得た肌感覚としては、英語、中国語、日本語以外の母語話者は自分の母語で LLM が構築されるというのはもう最初から諦めている感がある。英語、中国語はまあできるでしょ、という感じで、日本語で NTT や LINE が GPT2 or GPT2.5 相当を作ってるのは根性あるね、という感じ
1
169
719
本日付で東京工業大学 情報理工学院 情報工学系の准教授に着任しました。理化学研究所とのクロアポです。大岡山でロボット対話知能および実世界言語処理に関わる研究室を作りますので、よろしくお願いいたします。研究室はまだ工事中なので、皆さん9月以降に遊びに来て下さい笑
37
99
669
「忙しくて論文が書けないというのは，言い訳にはならず，能力がないといっているのと同じである」。本当に価値あることが確実に得られているのなら，論文（の祖型）は一晩で書ける。書けないのは，足りない点があるからであり，書く力も能力のうちである。
0
109
601
「とにかくリソースを集中投下すれば次の技術的相転移が起こるはず」というのは GPT-3 を追いかけていた専門家からすれば少なくとも2年前にはわかっていたことで、そこでそういう人たちに100億つける体力がない、意思決定ができないというのが根本的な問題ではと思う
2
123
522
助教になってから出たテクニカルライティングの授業で「howeverのような強い逆接は1パラグラフ最大1にしろ（何回も出てくるのはロジックの構成が悪いので再考しろ）」と習ったことがあります。順接の接続詞は流れが悪くなるので、よっぽど強調したい場合以外使うなとも
0
95
510
YANSで行ったチュートリアル「その研究 ChatGPT でいいんじゃないですか？ ～LLM時代の対話システム研究～」の資料を以下で公開しました。対話システムに限らず、初めて研究テーマを考えるときの助けになればと思います
3
137
500
これ、今アカデミアにいる若手の偽らざる本音だと思うんだよね。怠惰で定年まで何もしないという大学教員像（実際多くの教員はそうではない）を追いかけて「改革」をし続けた結果がこれ。そろそろ目を覚ましましょうよ
血反吐を吐く思いで学位取ったけど、またこれからも研究成果を出し続けて、論文を書き続けて、研究費を獲り続けないといけなくて、研究への責任は一人で背負わされるのに満足に暮らしていける程のお給料は貰えなくて、いつまで頑張り続けなきゃいけないのかなー？？て思う。もう頑張れないよー
5
151
849
1
236
476
今でも1日9時間睡眠なんだけど、博士の頃は10時間寝ていたし学部生の頃は11時間くらい寝ていた。7-8時間睡眠が求められる高校時代はかなりキツかった
0
33
444
CS系ですら「生成AIが～」という人は全員 Harris, Z. "Distributional Structure" Words (1954) を読むべきだし、「何十年も前に書かれたものを読むなんて意味がわからない」というのは視野が狭いと思う。昔の人は結構色々なことを考えているし、昔の論文には大事なことが沢山書かれている
1
65
444
1. まず一本代表作を作ることに全力を注いで有力会議に通す
2. 会議では知り合いになりたい（自分がよく論文を読む）研究者に狙いを定めてCoffee Breakで話に行く
3. SIGやWSにも顔を出し面白い研究をしている人と積極的に話す
4. 2で知り合った人経由で留学やインターンに行く
5. 1に戻る
2
53
373
そう、スクリプトの効果は頭が整理されること。英語発表に初めて行くときは作ったスクリプトの合成音声を作り、移動の飛行機の中とかでずっとその音を聞いているとよいです。発表のときびっくりするほどすらすら説明が出てくるようになります
1
54
364
100年後「自然科学のまだ明らかでない領域を探索する仕事は昔は人間がやっていて、その人たちは研究者と呼ばれていた。自然科学の自動探索AIのことを研究機/researcherと呼ぶのはその名残り」
0
106
360
今は企業の方が若手研究者の給料が高く、人がそっちに流れて大学はポスドク・助教クラスが取れないという状況が続いているけど、その層がシニアになった段階で大学に戻ろうとして大学に残った人が割を食う、みたいな未来もリアルにありそうな気がなんとなくしている。大学は若手の給料上げてくれ…
2
57
355
博士で悩んでいる人には、2011年のYANSで岡野原さんに頂いた「博士の３年間は人生で最後かもしれない"好きなことを好きなようにやれる時間"なので、やりたいことをやるのがいい。土日も寝ていたら終わっていたじゃなく、色んなことに挑戦しよう」という言葉をお贈りします
0
65
316
東大の人が「自分なんて大したことないんで…」と言うときは大体謙遜でなく、本当に大したことないと思っています。「大したこと」のラインが同級生のやべー奴らを日常的に見ていることでめちゃ上がってしまっているので。周囲のレベルがどちゃくそ高い状況で自己肯定感を育む教育というのは難しい
0
62
276
私はどちらかというと、そうやってアカデミアがこつこつ積み上げてきた小さい研究の先に札束で殴り合う世界があるのに、ベースとなったアカデミアの営みに敬意を払わないビックテックのチームがちょくちょく出てきたことの方が気になります
0
48
267
これ本当に深刻で、例えば文科省がやってるトビタテみたいな制度でも、支給額が向こうの生活費から考えると全然足りないので受け入れを拒否される（支給額が足りないのは向こうの感覚では不法就労や失踪からの不法移民に繋がるから仕方ない）みたいなことは普通に起きてます
世界との物価差が広がった結果、既存の海外へ技術を求めにいく制度ではどうしようもない場合も多いのは何とかして欲しい。制度設計側はいまだに90年代の感覚でいるが、海外留学に掛かる予算感でいえば既に60年代くらいまで後退してる
0
92
153
0
188
258
レベルの高い環境に飛び込む（e.g., トップラボに進学する）と「一般の学生と同じような活動」の水準が引き上がるので自然それに合わせて行動できるようになる、というのもあります。私は大学院が変わったときに周囲に合わせてようやく自身の行動を変えられたと思う。基本意思が弱いので。
0
28
240
Affirmative Action で何が起きるかは algorithmic fairness として示されていて、本来の目的関数に Fairness の観点を追加すると本来の目的関数のパフォーマンスは落ちる（当たり前）。
1
53
223
みんな推し研究者を作ったら推しの論文は読みまくって、そのネタでガンガン懇親会で話しかけような。研究者はみんな自分の研究の話をして貰えると嬉しいし、話が無限に膨らむぞい
0
41
212
トップ会議を量産するようなラボに自ラボを育てようとする場合いくつか条件があるが、基本は1. 修士学生のモチベーションが高くこぞって投稿したがる状態、2. それらの学生の研究・原稿を採録レベルまで引き上げるスタッフのリソースがある、という2点をいかに揃えるかがPIに求められると思う
1
29
191
キューピーコーワゴールドαが凄いというので試してみたが、確かにこれはヤバい。疲れが取れる薬というより疲れを感じなくなる薬で、効いてる間はバリバリ働けるけど、その間も確実に疲労が蓄積しているので、効き目が切れた時の落差が凄い
8
24
172
業績の暴力：全員 h-index 30越えのアイドルグループ、直近5年の h-index が30を下回ると選抜落ち
1
37
166
マジでこの algorithmic fairness の論文はいいので人事や入試など人の立場に関わる意思決定をする必要がある人は全員読んだ方がいいと思うよ。最初読んだときは「何を当たり前のことを…」と思ったけど、当たり前を実験的・数理的なエビデンスをもってきてきちんと示すのは大事
Affirmative Action で何が起きるかは algorithmic fairness として示されていて、本来の目的関数に Fairness の観点を追加すると本来の目的関数のパフォーマンスは落ちる（当たり前）。
1
53
223
1
50
170
D進がよぎった人に言いたいのはまさにこれなんだよな。これまでの経験上D進の可能性を口にした人はストレートで進学しなくても高確率で博士をどう取るかを模索している。ただ、進学後に社Dで入れるか（入れたとしてきちんと学位が取れるか）はかなり運も絡むというのはよく理解しておいた方がよい
1
31
155
世界との物価差が広がった結果、既存の海外へ技術を求めにいく制度ではどうしようもない場合も多いのは何とかして欲しい。制度設計側はいまだに90年代の感覚でいるが、海外留学に掛かる予算感でいえば既に60年代くらいまで後退してる
0
92
153
2022年科研費基盤Cの応募件数は45496件あります。これらの申請書に少なく見積もって1件あたり1万円/時の研究者が40時間時間を使っているとすると、申請書作成に掛かる費用は182億です。3割の採択者全員に上限額の500万が配られたとして682億の配分というのは、ちょっと効率が悪くないですかね
0
49
155
国際会議でも国内会議でもお近づきになりたい研究者がいる場合、
1. その研究者の代表作を一通り読んで
2. 相手が興味を持ってくれそうな自分（or自グループ）の発表を準備して
3. 1, 2をネタにとにかくコーヒーブレークでもバンケットでも話しかけまくる
をすると大体仲良くなれるイメージ
1
25
155
ドイツ語はもう最初から英語の LLM をどううまく活用するかという方向に力点がシフトしてるっぽい。まあ、言語の近さを考えても納得感はある
0
26
149
今読んでたけど後期の研究室輪講はこれでいこ。各タスクの入出力を押さえつつ道具の中身をきちんと数式で追えそう(まだ追ってはいないがこの著者陣なら追えるようにきちんと書いているはず)
1
20
152
YANSでチュートリアル講演します。若い人がLLM時代に対話研究をする際のテーマ設定の一助になればと思います
「その研究ChatGPTでいいんじゃないですか？～LLM時代の対話システム研究～」
0
43
152
フン。深層学習というのかい？贅沢な名だねぇ。今からおまえの名前はたくさん微分して足すだ。いいかい、たくさん微分して足すだよ。分かったら返事をするんだ、たくさん微分して足す！！
0
35
152
CAがモデルパラメータを公開したのはアカデミア的には大英断だけど、これはAPIで金を稼ぐ気がないからできることだよな…
1
31
149
最近LLMに関する議論でモヤることが多いのが、ChatGPT等の「LLM製品」とLLMの振る舞いを同一視していること。ChatGPTは内部に持つ言語モデルへの入力時にもユーザへの出力時にも何らかの別の変換やモデルを介在させていると思うので、100%LLMの振る舞いをしているわけではないはずなのですが…
1
25
137
これなぁ、自己肯定感もあると思うんだけど、どちらかというと中高大で「本物」を見てしまった進学校出身者に多いイメージ。「本物」を見てしまってるから、それと比較して自分の地位や能力がハリボテだと思ってしまうんよ
0
20
127
博士課程中は「有名会議に一本通して目立つ」というのも勿論大事だけど（論文が名刺代わりになる）、「分野の会議（特にSIG）に定期的に行って顔見知りを作る」というのも重要な気がしている。私の場合、昔SIG等で知り合った友人が各国で教授・准教授になっていて、国際連携を進めやすくなっている
0
17
125
これ。あと LLM は加速器みたいに研究基盤として維持する必要はあると思うので、それをやる気がある人に100億託すのがいい。過去に真面目にこの手の言語リソース配ってる実績があるのは今度NIIの所長になる黒橋先生、東北大の乾先生、NICTの鳥澤先生のグループなので、そこに付けるのがいいです
1
27
123
あと若手はもう大学に残らなくなって久しいけど、何か対策しないと今かろうじて世界と戦っている主戦力であるところの現在の助教-准教授クラスもこの先10年くらいでゴッソリ抜かれると思いますよ。マジで来年蒔くはずの種籾まで食われ始めてる状態
1
30
123
"インポスター症候群とは、仕事で成功し、評価をしっかり得られているのにもかかわらず、自分自身を過小評価してしまう心理状態のことです。 別名詐欺師症候群やペテン師症候群などとも呼ばれており、自己肯定感の低さから生まれるものだと言われています。"
0
32
117
ChatGPT 、中身が OpenAI に使われないことが担保されない（規約上はむしろ書かれたものは積極的に使うと言っているように見える）ので、英語論文の添削に使うのは研究倫理的にアウトでは…（同じ理由で DeepL 無償版もダメ、 DeepL 有償版では規約で入力内容が保護されるはず）
0
32
114
JSTに関しては正直公募疲れしているので、JSTへ出せる提案書を年1本に制限して、JST側でどのプログラムで取るか決める（必要に応じて作りこみ期間を入れる）ようなデザインにして欲しい…（ASPIRE、さきがけ、CRONOS、K-program、創発と年5回チャレンジして、これでどれも通らないと徒労感がすごい）
3
16
112
現ポストの任期が2年後に迫ってきていることにより、次のポスト、持ち家が欲しい、住む場所、などの問題が常時頭の50%ほどを占めているおり、研究に使われている頭は50%ほどです。おはようございます
1
17
110
東京先端科学技術大学にしておけば東京先端大で済んだし英名も Tokyo Institute of Science and Technology で丸かったのに…
0
18
109
海野さんの「Statistical Semantic入門」はほんとにいいのでLLMに取り組む気のある人は読むべき
0
10
106
「あなたは国立研究所のマネージャー職であり、あなたの呟きは他の研究機関、大学の学生など多くの人が見ています。以下ではそれを踏まえた上で、研究所の名誉を傷つけたり、同じ分野の若い研究者に悪影響のない呟きを心がけて下さい。わかりましたか？」
1
10
103
この話は昔からあって、学振取った時返還免除のスコアがほぼカンストしてたにも関わらず半免にしかならんかったんだよな。これなら全免取れそうな学生はDC2応募しない方が得ってことになる。財務省はほんと余計なことしかせんな
0
26
96
なので Affirmative Action を正当化するロジックは「本来の目的関数側のパフォーマンスが落ちることは承知しているが、それ以上に現在はこの観点での Fairness が重要なので入れる」以外ありえない。それ以外のことを色々言うので話がややこしくなるから、正直にこう言えばいいと思う。
1
27
94
ちなみに今まで見てきた中でこの「集中力の早さ」が一番凄かった人というのが皆さんご存じのCMUのグラムさんですね。元々の特性もあると思うが、本人も「集中力の早さ」を高める工夫をいくつもして、意図的に訓練をしていたと思う（いくつか教えてもらったものを試してみたが、私は全くできなかった）
集中力の早さ、長さ、深さ、という話がありますけど、なんだかんだで一番成功する人は「集中力の早さ」がある人ですよね。ちなみに私は全くない早さを長さで補ってきたタイプで、このタイプは歳がいけばいくほどつらくなってきますので早めにモデルチェンジした方がいいです（できずに今に至る）
0
13
62
1
10
89
指導している博士学生の論文誌2本目が採録されたので無事博士として出せそうです。春夏と留学に行っていてまだ就活中なので（企業の研究部門希望だそうです）皆様ぜひお願いします。私としてもお勧め人材です
@shohei_ta_ds7
0
18
84
普通に任期ありと任期なしを同じ給料で雇用するからそういうことになるのであって、任期を付ける場合は任期なしの同じポストと比較して1年分の給与を上乗せする、みたいなルールにすれば任期なしでいたい人と任期ありでいたい人が適切な流動性になるのでは…
1
14
83
「引用されるかどうか＝当該トピックのアクティブな研究グループとして認知されているかどうか」なので、国際学会等でのソーシャルを評価指標にしてないのが問題なのでは…少なくともバンケット代は出せるようにして欲しい。良い論文を書けば引用されるというのは甘い
0
18
80
自然言語処理に書いた学会記事がオープンになりました。ロボットを中心とするLLMの実世界応用についての記事で、NLP2024で行ったワークショップのまとめです。
0
26
80
@tani6s
私は資産の運用で運営資金を作っていくこと自体にはネガティブではないです(世の流れ的にも)。ただ、安定した運用というのは十分な元手があって成り立つもので、交付金削減で尻の毛まで抜かれて明日の電気代さえわからない、みたいな国立大学個々にこれをやらせることは政策の一貫性がないと思うのです
0
18
79
私個人は
世に出なかったいい研究 <<<<<< 糞ジャだろうが微妙だろうが世に出た研究
だと思ってます。特に国民の皆様からの税金で研究した内容はどんな形であれ最低限世に出す責任があると思っている
0
17
79
「30代に入ったらベテランの若者ではなくルーキーのおじさんとして振る舞う」という言葉に従って生きてきたが、そろそろ「中堅のおじさん」になりつつあり、その先には「ベテランのおじさんではなくルーキーのおじいちゃん」が待っている
1
11
77
色々流儀はあると思いますが、博士課程をやるならACLフォーマット8ページを年1回完成させる、あるいはIEEEフォーマット4ページを年2回完成させる、くらいは訓練として必要なんじゃないかと思います。M2から投稿を始めたとしても、Dが終わるまでに少なくとも4ページ8回か8ページ4回投稿できます
0
13
78
今日の
@overlast
さんの講演は、LINEでLLM学習を実現するためのチーム作り、チームのマネージメント、戦略作り、戦術としての振る舞いが事細かに語られていて非常によかった。今のブームを見て「うちでもLLMの学習を」と言い出す経営層は今日の講演を聞いて欲しい
1
11
78
「インターネットでアカデミアの悪口を言い続ける妖怪」になってしまったので、しばらくSNSは休もうと思います。疲れてるんだと思います… the right side に戻ってこれたら復帰します
0
3
75
この話は半分くらい正しく半分くらい間違っていると思っていて。博士が自分にやりたいことに沿った仕事を生み出さなければいけない、それはそう。一方でJTC的組織は下への権限移譲の割合が他と比べてもかなり小さいので（持ち帰って検討しますは典型）、博士一人が何かやろうとしても、という話もある
0
20
76
Q. 研究がつらい、と思ったことはありますか？
A. あまり思い当たらないです。「書いた論文が落ちたつらい」とか「周囲の人はこんなに実績を出しているのに自分は…」とかならあります。あと、研究に付随する種々の雑務がつらいと思うことはたくさんあります。
1
19
74
Q「研究費の過度な集中を防ぐため、研究費Aを持っている人は研究費Bに別途応募する理由を説明してください」
A「研究費AにステージゲートがなくてN年来る保証があれば出さないです…」
マジで研究者が欲しいのはN年M万円確実に来る研究費で、NxMに億とかいらない人のが多いと思うんですよ…
0
20
74
黒橋先生がNIIに移られる理由の一つは、LLMの構築と整備が(たとえ京大であっても)一研究室で出来る範囲を超えているからだと思います。うまく各組織を束ねる旗振りをして頂けることに期待しています
そう、その3名は適任。その上AIST AIRC/ABCI + Riken AIP/R-CCS + NICT + NII + 大学 + 企業で、かつスパコンを合算して更に専用スパコンを擁したLLM基盤を構築するのが良いでしょう。
1
11
52
2
14
72
過去研究への敬意はともかく、論文のnoveltyは過不足なく書かれないといけないので、同種の問題に取り組んだ過去研究への言及がない場合は当然論文がover claimということになり評点が下がる、というだけのような気がする（過去研究に敬意を払った方がover claimをやらかしにくいということでは）
0
19
70
結婚前（博士中）、結婚後（助教中）と2回留学に行ったけど、実際ライフステージが進むほど留学は色々大変になるので、行くなら博士中やポスドク中など若い方がいい。数か月経験する・しないだけでも結構違うので。子供が生まれた今はなかなか生活拠点を海外に移す決断は難しい
1
11
71
今年は誰が一番共著を出したのかなぁって眺めてたらどうやら渡辺先生っぽい（10件以上の人、間違えてたらすみません）
渡辺太郎 23
乾健太郎 18
河原大輔 18
大関洋平 14
井之上直也 13
岡崎直観 13
上垣外英剛 13
三輪誠 12
佐々木裕 11
鈴木潤 11
吉野幸一郎 11
河野誠也 10
坂口慶祐 10
高村大也 10
2
13
72
今日も「ChatGPT でなんでもできるようになっているのに私はこんな研究をしていていいんでしょうか…」という迷える子羊を救ってきた
0
6
71
まあ、大学以降は高校までとゲームの性質が変わるのでね。高校までは「限定された範囲を効率的に攻略する」問題なのが、大学以降は「基本的に制限のないところで自分が攻略する範囲を決めて効率的にリソースを配分する」問題に変わる。研究、勉強、バイト、サークル、やることいっぱいあるもんな
1
13
71
Notion での TODO 管理ですが、その後 Notion で管理する間でもなく、過ぎた締切に対する苦情に常時追いまくられる状況に陥り Notion を開けることもなくなってできなくなりました。現場からは以上です。超過した締切が0件になったタイミングで始めないと無理な気がする
0
14
71
研究室運営にあたっては研究室内のエコシステムをどう構築するかが大事なんだけど、やる気のある一期生が集まってくれるか（一期生相当をどう集めるか）ってめちゃ重要だなと思っている。この辺、新人PI向けのノウハウ集とか講習会とかそういうのやって欲しいんだけど
2
12
69
NLPのSlackは毎年盛り上がっているが、学会でSlackを入れれば盛り上がるという話じゃなくて、結局どんだけオーガナイザが気合いを入れてそのツールを入れるか（学会全体のUXを考えて学会参加の一部としてツールを導入するか）なんだよなぁ…というのをすごく感じた。ツールじゃなくてデザインなんよ
3
7
70
東中先生 (
@RHigashinaka
)からリアルタイムマルチモーダル対話システムを御献本頂きました！実際にアバターを使って音声対話を動かすところまでサポートしている良書です。
実は今度我々がinterspeechで発表する論文のシステムも東中先生らが開発したツールとChatGPTを利用して開発をしました。
0
12
68
国際会議でAcceptを出す論文ってのはやっぱ読み返しをしなくてもスッと入ってくるよな。逆に言えば読み返しが必要な論理構成になってる時点ですでにダメ（そういう論文は大体論文のロジックや実験の網羅性に穴がある）
0
14
67