Shoya MATSUMORI, Ph.D.
@pineforesta
Followers
1,086
Following
254
Media
38
Statuses
243
Ph.D. in Computer Science/Carnot Founder & CEO/Former JSPS Research Fellow/Keio University Research Fellow/Deep Learning/Vision & Language/Building jinbaflow
San Francisco / Tokyo
Joined April 2022
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
Supreme Court
• 1099058 Tweets
SCOTUS
• 724035 Tweets
Ronaldo
• 660606 Tweets
Portugal
• 464615 Tweets
Canada
• 424821 Tweets
Constitution
• 300678 Tweets
Diogo Costa
• 264654 Tweets
Corinthians
• 137627 Tweets
Oblak
• 93628 Tweets
seokjin
• 92813 Tweets
رونالدو
• 85203 Tweets
Uruguay
• 80172 Tweets
Panamá
• 76856 Tweets
#WWERaw
• 75719 Tweets
JIN AT PARIS OLYMPICS
• 73831 Tweets
TORCHBEARER JIN
• 62050 Tweets
PRIDE OF KOREA JIN
• 53147 Tweets
#CopaAmerica
• 45140 Tweets
オスカル
• 39971 Tweets
Veiga
• 38654 Tweets
CONMEBOL
• 34466 Tweets
アンドレ
• 31652 Tweets
End of Quote
• 27279 Tweets
Wesley
• 25098 Tweets
Dakota
• 20804 Tweets
#นุนิว3จุด3ทั้งซ่าทั้งแซ่บ
• 20474 Tweets
#USMNT
• 16667 Tweets
ベルばら
• 14881 Tweets
#GiftOfEducation
• 14846 Tweets
人身事故
• 13772 Tweets
Daronco
• 10128 Tweets
Pinned Tweet
GPT-4はハノイの塔が解けない，というのがなんとも面白い．
ハノイの塔はルールに従ってすべての円盤を右端の杭に移動させるパズルゲームだ．実は1960年代にAIの研究が盛んに行われていたときに解かれていた古典的な課題でもある．(1/n)
21
1K
3K
残念ながらシリコンバレーで日本人は一部の理由で嫌われている。それは何の意味もないオフィスツアーをはじめとする、表敬訪問が原因である。よくも悪くもブランドに弱い日本人は、起業やテクノロジートレンドを追ってベイエリアにくることが多い。例えばテッククランチなどのイベントでは参加者数上位
2
104
550
日本は受託開発祭りだが，USで受託開発などしようとすると『君たちのエンジニアを丸ごと貸してほしい．君たちのマネジメントとか要件定義とかいらないから』と言われるから面白い．マーケット構造が全く違う．
6
47
384
1960年代の古典的AIで解けていた問題が2020年代のAIでは解けない．これだから知能研究は面白い．(4/n)
2
150
374
今は第三次ブームの真っ只中にいる．これまで解けなかった多くの問題が，大規模言語モデル (LLM)によって解けるようになってしまった．ただ，最初期のAI研究で扱われていた，推論やプランニングが必要なタスクはむしろ苦手なように見える．(3/n)
1
141
312
その当時のAIは，いくつかのルールに基づいて判断することでパズルのような課題を解き，人間の知能を再現しようとしていた．残念ながら，こうしたパズルを解くだけでは現実的な問題(e.g.,風邪の原因を調べたりする)はほとんど解けない事がわかり，このときのAIブームは終焉を迎えた．(2/n)
1
105
247
よく勘違いされる方がいますが，ChatGPTとOpenAI APIで公開されているtext-davinci-003は別物です．両者ともRLHFによるチューニングをしていますが，003は例示による未知課題の解決が強いのに対し，ChatGPTは対話文脈の保持能力が強く，知識範囲外の質問を受け付けないという機構を備えています．
1
50
169
OpenAIの研究の歴史が面白い．2015年に設立．当初は強化学習に注力してきたが，2018年にGPT-1，2019年にGPT-2を出して以降，何かに気づいたように言語処理，音声処理，Vision & Languageの方向に舵を切っているのがわかる．
2
44
161
大きく流れが変わりそうな予感．OpenAIのアルトマンCEOが緊急来日し日本市場への参入と日本語LLMの開発を示唆．GDPが大きい割には競争が少ない，規制がまだ弱いという観点からマーケ取れそうな国として有力候補と考えているのではないか．(1/n)
3
53
145
一昔前はPFNでインターンすることがAI系の学生にとってこの上ないステータスだったが、残念ながらほとんど聞かなくなってしまった。今は同じポジションの会社がない印象。
1
19
137
最近気づいたこと．日本，思ったよりSora盛り上がってない．更にいうと，日本，思ったよりLLM浸透してない．遅い．何もかが面白いほど遅い．
4
13
135
本日はGenerative AI Business Dayにて『生成系AIの限界』というタイトルで登壇させていただきました．資料が欲しい！という方はDM等でお気軽にご連絡ください！
#GenAIDay
7
23
122
反響があったので少し補足しておきますと，今回のハノイの塔は初期状態が通常のものと異なり，はじめに中の円盤が真ん中の柱に刺さっています．ただ，大切なのは初期状態が変わっても問題の難易度は本質的には一切変わらないことです．ちなみに，GPT-3.5は通常の問題も解けないようです．(5/n)
0
47
111
また，現時点でChatGPTのAPIは公開されていません．したがって『ChatGPTを組み込んだ<プロダクト名>をリリース』は
1. 裏でtext-davinci-003という別物を使っている (=嘘)
2. ChatGPTをバイパスして使っている (=利用規約違反)
となる可能性が高いです．正確な情報発信を心がけましょう．
0
31
73
今後予想される影響: 今回一番影響を受けるのは，国産LLMの開発だと思う．フルスクラッチで日本語LLMを作ろうとするより，GPTをチューニングして日本語LLMを作ったほうが圧倒的にコスパが良いため，国産LLMを作ろうとしていた大企業，スタートアップ，研究所は市場参入する意思をへし折られる． (3/n)
2
29
54
ChatGPTの思わぬ盲点について解説しました．ビジネス等で活用したい方はご一読ください．
1
14
52
株式会社カルノーはプレシード8,500万円の調達をクローズしました！
カルノーはLLMを始めとする生成AIにフォーカスしたテクノロジースタートアップです．
0
7
51
意外と気づいている人は少なそうですが，ChatGPTの本当にすごいところは『一般ユーザが言語を通じて最先端のAIモデルに触れられるようになったこと』だと思います．プログラムを書ける人間は少ないですが，ほぼすべての人が言葉を話すことができます．この変化がもたらすインパクトは大きいです．
1
12
45
なぜChatGPTは簡単な論理演算ができるのか？あまり知られていませんが，その答えは『コード学習』にあると考えられます．ChatGPTと前身のInstructGPTとの違いは，基盤モデルが『ソースコードで学習されたかどうか』です．言語だけでは補えないロジックの部分をソースコードから獲得したと予想されます
1
6
39
取りうる選択肢は，OpenAIと共同研究して実質的なLLM属国になるか，規制をして後発覚悟でLLMを開発するか．残念ながら今は前者の動きになる見込みが高そう．我々テクノロジースタートアップは，どこかに活路を見出すしか無い．(4/n)
1
22
38
特に知識の範囲外に答えないという制約は強く，ChatGPTは一般公開するために種々の配慮がされている印象があります．
1
14
33
Meta AIがパラメタサイズの比較的小さい (7-65B)大規模言語モデルLLaMaを発表．13BのモデルではGPT-3(175B; 約10倍)を超える性能を発揮．また65Bのモデルでは，Chinchilla-70BやPaLM-540Bと互角．学習では公開データセットのみ使用しているため，なんとモデルもオープンソース．
1/n
2
6
26
各国の市場環境は以下の通り: - 中国 (当局の規制が厳しい + スタートアップ多) - 欧州 (GDPRなど規制が厳しい + スタートアップ中) - 日本 (欧州に比べて規制は緩い +スタートアップ少) (2/n)
1
16
25
博士号を取った僕がLLMのスタートアップを始めたわけ｜Shoya Matsumori
@pineforesta
#note
自己紹介も兼ねて，スタートアップを通じてどのような世界を実現したいのか書きました．
0
3
17
最近話題のAPIコントローラー，『RestGPT』を弊社のリサーチチームが詳細に解説しています！プロンプトを書かず，ゴールだけ与えて目標を達成する知的エージェントの技術は今後も発展が期待される領域です．
0
5
15
これ日本人の目から見るとダサいなぁと思うんですが、意外と外国人からは好評的なコメント来てるようですね。単純にターゲティングの違いかなと思います。
あと正確には本作品単体で50億では無いです。
東京都庁のプロジェクションマッピング何回見てもダサすぎて泣く
都民じゃなくても恥ずかしいから早急にやめてほしい
これに50億とかしぬ
3K
21K
135K
0
8
15
先日のイベントの内容を公開してほしいとの声が有りましたので共有します．LLMとプランニングについてまとめています．LLMの技術トレンドをざっくり理解する上で参考になるかなぁと思います．
1
4
15
ついにChatGPTのAPIが公開されました。驚きなのは既存のGPT3.5系の価格の1/10である事。さらに音声モデルのWhisperも公開されるとのこと。楽しみですね。
0
1
14
ノーベル賞を指標にする是非はさておき、非常にわかりやすい。人材は急に育たないというのは本当のことで、日本がノーベル賞を取り続けていられるのは三、四十年前の人材が厚いから。したがって、現在の研究力を反映しているわけではない。このままでは日本のサイエンスは消滅する可能性がある。
先細る日本の「ノーベル賞人材」
世界で高い評価を受ける日本人研究者が2014年から半減。博士号取得者数も韓国に抜かれました。このままではノーベル賞受賞が急減する恐れがあります。
#日経_チャートは語る
256
2K
5K
0
10
13
AutoGPTなどGPTを使った自律エージェントの話が盛り上がっているが，サブサンプション・アーキテクチャに基づいて構造的にモジュール設計すれば更に色々できそうな気がする．温故知新というか，80年〜00年代で研究されていたテクノロジーが本当に日の目を浴びそう．
0
0
12
本日(5.11)のAI EXPOで開催される「AI Table 2023」にて生成AIのビジネス活用についてAINOWの小澤さん，ギブリーの山川さんと対談させていただきます．予約なしで誰でも参加可能なので是非お立ち寄りください〜！MicrosoftさんとJDLAのブースです．
1
3
13
そもそもChatGPTをチューニングするのに強化学習いら無くない？みたいな議論がある．確かに，Gumbel softmaxして微分可能な状態に直せばPPOなんて使わなくても直接学習できる．彼らが強化学習を採択しているのは，レーティングなしの未知データがたくさん集まるデプロイを見据えてのことだと思われる．
1
2
11
カルノーは経済産業省設立のシリコンバレースタートアップ支援拠点「Japan Innovation Campus」に採択されました ．今後もベイエリアを中心に活動してきます！ via
@PRTIMES_JP
0
0
11
リファクタリングはプログラマにとって苦痛だけど重要．そんな作業もLLMで代替できる未来が近いかもしれない．PIEプロジェクトでは，CODEGENやCODEXなどのモデルをベースにコードのリファクタリングを行うモデルを構築．25%のプログラムに対して2.5倍のパフォーマンス改善を実現したとのこと．
1
3
10
スタートアップファウンダーって基本わがままな子供と同じなんですよね。とにかく自分はこれをやりたいと言い続ける。そしてそれを達成するために、親に駄々をこねるかわりにVCに高度に駄々をこねてお金を調達する。このムーヴを続けるために、ある程度のselfishnessって重要なのかなと思います。
0
0
6
とある大規模なソフトウェアの展示会の様子をちらっと見に行ったんだけど「どうも！生成AIでーす」といってパンフを渡してくる人がいて思わず笑ってしまった。AIの侵食はすでに始まっているのかもしれない…笑
0
0
9
Google Geminiのテクニカルペーパ思ったより面白い．モデルの核心は隠されているが，一定の実験のプロセスがわかる．GPT-4のテクニカルペーパより読みごたえがある．
0
1
9
トロントのスタートアップエコシステムはSFに比べると劣っていますが，生活環境はかなりいいですね．街中人が溢れていて活気があるし，安全でご飯も美味しい．アメリカと日本のいいところをそれぞれミックスした感じですね．どっちかというとテックでも金融よりのスタートアップが多い印象です．
2
0
8
残念ながら圧倒的にデベロッパーのボリュームが少ない気がする．LLM関連のOSSのcontributerを見るとわかる．JTCに安い給料で買い殺されてるエンジニアが多すぎるせいなのだろうか．
1
0
8
ついこの前にChatGPT (GPT-3.5)は『実はロジカルな思考ができていない=システム1マシンだ』という話をしていたのに，早くもGPT-4が出てシステム2の領域に侵食し始めていてもはや笑うしか無い．
0
0
7
博士の頃、私もかなりお世話になりました。まさかオープンになるとは。
卒論・修論の季節ということで、当研究室の論文執筆方法「60QA」を紹介します。
約60個の質問に回答すると論文がいつの間にかできあがる、という方式で論文執筆を仕組み化しました。
添削も回答ごとに記録を残しながら行うので、添削側の認知負荷を減らせています。
1
287
2K
0
0
7
Fine-tune(FT)では新しい知識を獲得することが難しい．それどころか，新しい知識でFTするとハルシネーションを頻発するようになる．
FTが新規の知識の獲得に不向きなことは，経験則的に知られているようで，あまりキチンと調べられてこなかった気がするので面白い．
1
0
7
検索システム+対話AIの恐ろしいところは説得力が増すことだ．この説得力と商品のセールスを組み合わせたらどうなるか？人々は検索のつもりでAIと話しているうちに無意識にアルゴリズムに推薦された商品を購入してしまう．これこそがMicrosoftの狙いであり，Googleを恐怖に陥れたアイディアである．
1
3
7
だから，本質的に0->1の研究をしないかぎり50年100年単位でインパクトを与えることって難しいんですよね．後追いをしているだけだと，いつかこうやってひっくり返される．
0
1
6
前の速度改善の時もそうでしたが、二倍速いことがUXに与える影響はかなり大きいですね。これまで4系だと、人間の読むスピードと拮抗してたけど、今回のアップデートで内容を確認してるうちに生成が終わる。
GPT-4o is 2x faster than GPT-4 Turbo and half the price.
12
41
264
0
0
6
研究者兼ファウンダーみたいなポジションにいるのだけど、目まぐるしくて論文書きたいけど書けない。加えてこの分野で論文だしても会社としてバリューになるのかわからない。確固とした技術よりも、デモンストレーションで期待値を上げていくほうがRoIが高いのが現状な気がする。
0
0
6
今話題の"自社データ戦略"という観点でChatGPTについてお話させていただきます．お昼の配信なので，ランチでも取りながらご参加ください！
『ChatGPT×データ戦略 革新の最前線』
0
1
6
Google Bard (Bing AIの対抗馬)の基盤モデルであるLaMDAのパラメタサイズは137Bでなく，8Bもしくは2Bである可能性が高そうですね．Googleブログによると軽量モデルを使うと書かれているので．Bing AIもおそらく似たようなパラメタサイズかも．
1
1
5
正直、プロンプトエンジニアリングが完全になくなることは当分ないと思う。なぜなら自然言語で指示をしている以上、必ず曖昧な部分が生じるから。呪文のようなプロンプトは無くなるにしても、置かれている状況を分かりやすいフォーマットできちんと文章化できないとどんなにモデルが賢くても正しい結果
0
1
5
SakanaAIの調達ニュースが流れてきましたが，ここで改めてモデル開発系のスタートアップの評価額と調達額を見ていくと，ようやく世界の仲間入りを果たしたという感じでしょうか．期待しています．
1
0
6
USなんかはソフトウェアで代替される人材は容赦なく切り捨てられるだろうけど，未だにオンプレとか使いまくってて現代ソフトウェアに鉄壁の防御を誇る日本は逆にレイオフの波から逃れられて(しばらくは)幸せなのかもしれない．
0
0
5
Source:
0
1
5
ご連絡いただいている皆様申し訳ありません．DMクローズされていました．開放しましたので順次対応させてください！
0
0
3
@NaokoOkada3
分かります．今50-60代の人たちはJapan as No1 の時代だったのでまだ日本が戦える幻想を見ていると思います．現地に残っている人達は現実が見えているケースも多いですが．アカデミアでも同じで，国際会議に行っても日本人同士固まって全く交流が発生しないので，ビジネス領域だけじゃないのかも．
1
0
4
研究室に配属された頃，ボスが『昔はこういうモデルがあって...』という話をするたびに『プリミティブな時代があったものだ，今は畳み込めば何でもできてしまうのに...』と思っていたのに最近同じことが自分に起こりまくっている．
1
0
4
最近よく聞くLLMのモデルマージについて．
モデルマージは複数のモデルを組み合わせる方法で，リーダーボードではトレンドになりつつある．この手法はファインチューニングとは異なり，学習が不要．そのため計算資源を持たないユーザでも低コストモデル開発をすることができる．(->cont'd)
1
0
4
@Yamkaz
9%は精度を表しているわけではないので注意です．
正しくは，LM生成テキストと人間テキストを含むテスト用データセット(challenge set)のうち，"Likely AI-generated"と判定されたLM生成テキストは26%で，人間のテキストは9%という意味だと思われます．
0
0
4
CS系でも論文インフレしすぎてて、多くの査読者が実はこの方法で読んでる��がありますね。引用論文の会議名が略称か正式名称かでバラバラになってたりすると、ちゃんとトレーニングされてないな、と思われてリジェクトモードになる。良いか悪いか別として、査読業務が多すぎるとこのように最適化せざる
査読者（私）がみる順番。①アブスト、②図表、③文献リスト、④結論、⑤イントロ、⑥本文。特に図表が雑だったり、引用している論文が２－３流ジャーナルばかりだと、メインテキストを読む前にリジェクトモードになる。本文を読んでもらう前に勝負の大勢が決まりうることは学生時代は知らなかった。
12
182
749
0
0
5
郷に入っては郷に従えというが，最近日本に来ている外国人の場違いな振る舞いを見てうんざりさせられることが増えた．しかし，その逆で海外に来ている日本人も日本カルチャー丸出しで，損をすることが多い気がする．周囲に対する気配りが出来る民族なのだから，現地の慣習を注意深く観察して行動できる
1
0
5
@ozaken_AI
人間の知的活動の殆どはシンボルに落とし込む事によって成立しているので，GPTのような優秀なシンボル処理機が登場するのはインパクトが大きいですね．画像などの領域はどちらかというとパーセプションの領域でプリミティブ．だがテキストは違う．
0
1
4
SATは語学的な壁を取り除くとセンター試験よりは簡単だろうが，それでもHarvardの学生 (25%)と同等なのはすごい．入試で計算機でできることを人間にやらせることの是非が本当に問われるような時代になると思うと同時に，GPT-4が2-3年前に出てたら入試改革の後押しになったと思うと残念でならない．
0
1
3
サンフランシスコのジャパンタウンとチャイナタウンには大きな違いがある。ジャパンタウンは人工的に作られた観光地であるのに対し、チャイナタウンには実際に中国人コミュニティが根付いており、中国の生活文化が息づいている。チャイナタウンを訪れると、英語を話せない人々を目にすることがあるが、
0
1
3
君尖ってるね！って英語でなんて言うの？と聞かれて、うーん。crazy?aggressive？ちょっと違うか、というようにパッと出てこなかったので調べてみると、意外とぴったりな言葉がない。きっとそういう形容はしないのだろう。
0
0
3
一方，InstructGPT論文では，学習データに使われるプロンプトがデータセットからサンプリングされているとのことなのでややこしい．この状況では強化学習を使うメリットは特段無いと指摘したくなる気持ちもわかる．
0
0
3
0
0
2
LLMのパラメータ情報をAPIから盗む研究，誰かが『OpenAIに対する一手！』みたいなこと言ってたから，てっきり秘密主義に対する攻撃かと思っていたのだが『OpenAIとGoogleから事前に承諾を得て実験を行った．出すなと言われたパラメータ情報はすべて秘匿して掲載する』となっていて少しがっかりした．
1
0
3
craigslist初めて使ったけどキチンとした人とやり取りできればかなり起業家にとってはお得かもしれない．SFのアパート(1 br / furnished)が$1,600で借りれた．しかもモニタ二枚つき．
1
0
2
『評価について (常識推論系)』
常識推論，Q&Aタスク，読解タスクなどにおいてChinchillaやPaLMを超える性能を発揮．一方，パラメタサイズの小さいモデル (7B)でもGPT-3を超える性能を発揮している．(ただし，現在のChatGPTの元になっているGPT-3.5系とは比較できていないことに注意)
4/n
1
0
3
Servicenowについて話を聞いた．SAPやSalesforceと並ぶ巨大プラットフォームで，(MSなどtoC複合でやっている会社を除く)純粋なB2Bソフトウェア会社として収益が10Bクラスに到達しているのは，同社含めて5社しか存在しない．ただ，SAP等と比べて日本ではまだ知名度が低い．なぜか？
0
0
3
Youtubeのビデオの要約をしてくれるChatGPTのツールが便利．動画は基本見るべきかどうか判断するのが難しいのですが，これで事前に内容がわかればリサーチの時間が短縮されそう．
1
0
3
NYCの生活環境はSFより遥かに人間らしいかもしれない．Brooklynであれば，$3k程度で3brのアパートに住めるし，レストランもカフェもスーパーも多い．SFは価格帯にグラデーションがなく，高いか安いかのどちらかだが，NYはその中間の選択肢が多い．
0
0
3
USでビザ問題に直面すると，天から与えられるのものには，容姿や親や家柄に関するものだけではなく，どこの国で生まれたかという要素が存在するということに気付かされる．
0
0
3
ふとしたきっかけでCollision行くことになったのですが，日本だとテッククランチほど有名じゃないんですね．というわけでトロントに行ってきます．
0
0
3
これまで日本語含め沢山のオープンモデルが出てきたが、毎回思うことは同じで、思ったよりいいけど思ったよりは使えない、だ。GPT-4ですらまともに制御するのが難しい現状を考えるとオープンモデルが多くのプロダクトに乗るレベルで使えるのはまだ先な気がする。
0
0
2
『コードについて』
Github上にすでに公開されており，pipと実行スクリプトも用意されるので一瞬で試すことができる．チェックポイントのダウンロードにはフォームによる申請が必要．
3/n
1
0
2
『データセットについて』
Chinchilla, PaLM, GPT-3とは違い公開データセットのみで学習を行っている．したがってモデルの重み自体を公開することができている．(他のモデルは規約により公開できていない)
2/n
1
1
2
@naoko__69
まだ似たようなのはあると思います。基本行政の人もベイエリアの慣習やエコシステム(使い古された意味でなく本物の)を理解していないのと、税金投入するから謎のやった感を出さなければならず、セットアップが強引になりがちです。現地VCもお金もらってるし真面目に聞いてやるか、みたいな感じです。
1
0
2
@scshKWGQiixEWgD
@MizumotoAtsushi
予算を取る人、授業をする人、事務をする人、研究をする人、しっかり役割分担させてPIがちゃんと研究できる環境を用意させないとなにも変わらないですよね。
0
0
2
その違いとは，基盤にしているモデルが『ソースコードで学習されたかどうか』という点です．InstructGPTはテキストデータのみで獲得されたdavinciを基盤にしており，コード学習は含まれていません．
(4/n)
1
0
2