Yuichi Sasaki @ SpiralAI (MoMy)
@moreinteraction
Followers
2,065
Following
1,307
Media
121
Statuses
9,215
EQ特化型LLM開発をしているSpiralAIで代表をしています。LLMにアインシュタインとファインマンの人格を移植して議論させるのが夢。素粒子物理の研究したり、戦略コンサルタントだったり、上場企業のCTOやっていたりと色々経験していますが、不変なのはAI・物理への情熱とモミアゲの長さ。
日本 東京
Joined July 2008
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
#GMMTVMUSICONxCAMBODIA
• 156085 Tweets
#FayeBDPartyInNanning
• 130348 Tweets
CWR x CeraVe Cleanser
• 40302 Tweets
CHEER UP ARTIST FOURTH
• 20895 Tweets
オースティン
• 14571 Tweets
花火大会
• 12344 Tweets
UNLV
• 12221 Tweets
サウジアラビアRC
• 11924 Tweets
Syracuse
• 11667 Tweets
Pinned Tweet
GenAI/Sumの一次予選通過しました🔥
皆様、ぜひSpiralAIに投票をお願いできますと嬉しいです。
・ 数億円規模のGPUサーバーを物理的に購入して独自LLMを開発している稀有な会社
・「楽しい会話」が続くことを目的に特化型LLMを開発する珍しさ。そしてそれは日本発で世界を取りに行けるネタ
0
3
13
【GPUサーバー無料で貸します】
SpiralAIで持っているGPUサーバー A100(80GB)x8、空いている分を何台か無料で貸し出そうと思います。ご興味ある方はぜひご連絡ください！
2
102
256
IVS初参加…なのですが、正直にいうと、みんなが盛り上がるところで乗り切れずに勝手に隅っこでスマホいじってるタイプなので、祇園を散歩しながら中長期のこと考える時間に充ててます。
1
0
153
TransformerのO(n^2)を克服するアーキテクチャ色々提案されていて、会社でも色々試してるけど、なかなか良いものに出会わない。
Transformerは、ある意味思考停止で最も一般的なアーキテクチャとしてのself
2
17
150
会社設立1年経ちました！
あっという間にメンバーも増えて、プロジェクトも色々やらせていただいて、プロダクトもリリースして、研究開発もして、あっという間の1年でした。
息つく暇もないけど、でも楽しい！良いメンバーに恵まれて最高です。これからも全力で走っていきますー！
4
2
114
SpiralAIは、"EQ"にフォーカスした大規模言語モデル開発を目指しています。本日、その一つのマイルストーンである「口語マルチターン大規模言語モデル"ItakoLLM-7b"」についてリリースしました。
情報盛りだくさんの記事、ぜひご覧ください！
1
23
92
🎊音声入出力マルチターン対話LLM、「ククリさま」を8/9に公開します🎊
応答速度の自然さと、キャラクター設定の自由度の高さ、そして"LLMって楽しい会話もできるんだ"という新感覚をぜひ味わってください😃
SFTだけでなく強化学習まで動員して作り上げたキャラです。
悩めるおなごの相談に乗ってやったぞ！
ワシと話せる「ほーむぺーじ」は8月9日におーぷんする予定じゃから、楽しみに待っておれ！
#聞いてよククリさま
1
8
26
2
8
66
RetNetという非Transformer系アーキテクチャの学習済みモデルを公開しました。3bn.モデルで、フルスクラッチで学習させた日英対応版です。
0
17
65
先日シンガポールの方から、「日本ってそれぞれの企業でLLM開発しすぎではないですか？ビジネス的にどういう意図があるんですか？」と訊かれた。
金曜日は小澤さんと「みんな同じデータで学習させた場合、結果的には同じようなモデルになってしまう」という話。
2
7
63
"しんにょう"を逆から書く猛者を見た。悠久たる黄河の流れから空へと駆け昇る龍（ドラゴン）の姿に、僕はしばし言葉を失った。その一字はすなわち「道」。あるいは「タオ」とでも呼ぶべきものであったか。
0
68
55
SpiralAIでは、LLM開発を一緒に進めていく仲間を募集しています。(1) LangChainをGUI込みでより簡単に使えるようにするプラットフォーム開発 (2) 日本的な[※] 100B級LLMの開発 (3) LLMを用いた事業開発、の3つを順番に進めていきます。興味のある方はDMください！
1
2
47
IVS「AIの未来」、思いの丈を語らせていただきました。語りすぎたかも知れません笑
（写真は、おざけんさんから。いつも素敵なシーンを捉えていただいてありがとうございます！）
2
1
47
AI野々村真さんは、ユーザーが声で問いかけると、野々村さんの声で、御本人の考え方を踏まえて答えてくれるサービスです。野々村真さんの優しい語り口で、高齢者の話し相手をしてくれます。TwinRoomという弊社サービスの１つの活用例です。
【驚き】“AI野々村真”を開発、介護現場の人手不足解消に一助 高齢者の話し相手に
高齢者の話し相手となり、認知機能の改善などを目指す。AI野々村真は英語・フランス語・中国語も対応でき、英語を流暢に話すAI野々村真を見て、本人が「すごい野々村真」と呟く場面もあった。
304
6K
15K
0
16
44
RAGの精度が話題になっている。弊社も色々苦労したけれども、最近は現実解にたどり着いている。
雑にチャンク入れてポンポン回答出るほど甘くはないので、検索しやすいよう事前にしっかりフォーマッティングしましょう。他の手法はそれからです。
0
6
36
「ChatGPTの衝撃！生成AIは社会や仕事をどう変えるのか？」に出演させていただきました。サムアルトマンとイーロンマスクを超えて、日本から宇宙を狙っていきますので、引き続き応援よろしくお願いします！
1
3
30
情報収集には使わないでほしい。
1-2/
具体的には、情報収集（90.2%）、資料作成（57.4%）、クライアントの戦略立案（24.6%）にChatGPTを利用しているとのこと。
1
0
3
0
2
29
random_seedで42が使われがちな理由って、もしかしてこれ？
0
8
27
SpiralAI CEO 佐々木インタビュー ー スイスでの研究者時代、マッキンゼーから現在に至るまでー｜SpiralAI公式
#note
ようやく書きました。こう言うのを書いてもらえる仲間が揃ってきたのが何より嬉しいです。
0
4
26
【AWS関連の技術解説】
⭐︎AI野々村真さん
- 音声認識は認識モデルをG5インスタンスでホスティング
- 音声合成は独自要素強めのモデルで、コスパ優先のG5gインスタンス利用
⭐︎ククリ様
- 音声認識・音声合成は同上。ただ、レイテンシを最小化していてコンマ何秒で処理終わるように最適化
-
AWS Summit設営完了！
AI野々村真さんとククリ様にて皆様をお出迎えします！
サミットは幕張メッセにて明日からの2日間開催。SpiralAIのブースはAWS Villageの右奥です。Turingさんの赤い車の裏側です！
#AWSSummit
1
7
24
0
9
26
AWS Summit設営完了！
AI野々村真さんとククリ様にて皆様をお出迎えします！
サミットは幕張メッセにて明日からの2日間開催。SpiralAIのブースはAWS Villageの右奥です。Turingさんの赤い車の裏側です！
#AWSSummit
1
7
24
昨日は立教大学にお邪魔して、「LLMのここ1年の動きについて」1コマ分お話しさせていただきました。
実はちょうど一年前に同じような機会をいただき、まだ不透明だったLLM業界の将来予想について語ったのですが、改めて1年経った今、その予想の答え合わせをする形での講義でした。
1
0
24
今の生成モデルは、昔でいう共起で、結局外界の確率モデルを作るっていう方針自体は一貫している。
ただ、最近のモデルはバックプロパゲーションに頼りきりになっている分、学習は早いけど、並列化とスケーラブル性で劣る。昔のモデルを再考する必要あると思ってる。
連想記憶を実現する現代的なHopfiled networksは，特別な活性化関数を導入することによってtransformersと関連づけられることが知られている．以下の新しい研究によって，現代的なHopfiled networksは，拡散モデルと同一視できることが明らかになった．
0
52
185
2
2
24
入社エントリー書いていただきましたー。
0
1
21
#DCON2023
改めて感想。今回技術審査員やらせていただきましたが、どのチームもレベル高かったです！やはりセンサとかアクチュエーターとか、そういうものと組み合わせるとAIは面白くなりますね。
来年は生成系AIとの組み合わせとか出てくるんでしょうか。期待大です。
0
7
23
プレスリリース出させていただきました。LLM技術の持つ可能性の一つを、しっかり具体化して作り上げていきたいと思います。
1
1
22
この感覚僕だけだろうか？
「プロンプトをどれだけ工夫しても精度的に伸び悩む状態が来る。一定確率で必ず誤回答が入ってきてしまい、潰せない。
結果として、PoCとしては使えても、本番環境で使える水準に至らない。」
2
1
21
NaomiAIをはじめ弊社のキャラクターAIを開発したプラットフォームTwinRoomを一般開放しました。無料枠もありますので、いろいろ触ってみていただければ幸いです。
※ ククリ様などの独自LLM路線も別ラインナップとしてありますので、そちらもぜひご用命ください
0
3
21
guidance、gpt-4とかgpt-3.5-turboとの相性悪いのであんまり特性が活かしきれない。最近LangChainも抽象化を過度にやりすぎて小回り効かなくて困っているので、直接OpenAI APIを使う派に戻りつつある。
1
0
19
学習させたRetNetを使ってインターンの方に初期的に調べてもらった感じだと、やはりというべきか当然というべきか、トークン間が離れた場合、指示内容の記憶保持率が急激に悪化する。一方、Transformerはトークン間が離れて記憶力の低下は大きくない。
記憶力は以下の2つの要素に影響される：
(1)
使ってみての所感：
・ 実は「3bn.なので性能もお察し・・・」と思いながら学習させていたが、思ったより悪くないかもという印象。もちろん、最近phi-3とか出てきているので、そこと比べるとまだまだ頑張らなくてはいけない。
・loss
1
1
15
0
1
21
LLM×意識、というトピックで1セッション話させていただきました。意外な発見あって楽しかったです。
ありがとうございました！
@ozaken_AI
@maKunugi
@leemengtw
#東京AI祭
3
0
20
そろそろLLM関連も継続的に成果出せる状態になってきたので、◯◯Labとか◯◯研究所みたく名前つけたチームにしたい。
場所柄、未来ガジェット研究所をもじりたい気はするが、さてはて。
2
0
20
これは全くその通りで、たとえば2次元のときは2^2=4つの象限が存在している。象限を区別するには(-1 or +1) だけ表記すれば良いわけだから、1bitでもおよそ4単語のベクトルを表現できることになる。
松田先生が、なぜ1.58bitのbitnetが上手く行くのか考えた話。まず、LLMが何を計算してるか？というと、広大な言語空間の中から次の単語を当てるゲーム。最近のLLMの言語空間は4096次元とかあって、我々の物理空間が3次元しかないのに比べて有り得ん広さ。その中にトークナイザのトークン語彙はたったの
0
45
184
1
1
18
GPU貸し出しについての続報:
今回のバッチで、合計16名の応募がありました。本日中に数名に絞り、次のステップご連絡させていただきます。
選定の中で感じている印象：
・
0
1
17
スワンプマンと言う話がある。
ある日、あなたは突然雷に打たれて死んでしまった。ただそれと同時にあなたと全く同じ構造、見た目をした生物が新たに現れ、全く同じ思考パターンと記憶を引き継いでいるとする。
1
1
17
みなさん、普通に10xの効率化というお題クリアしていてすごいと思いました。
McKのレポートでも40%くらい効率化ありえるって話出てましたが、改めて開発とLLMって相性いいと思いました。
0
4
17
LLMチーム、大規模言語モデルを作る一連の流れが全員の共通理解として根付いた感。
今週あたりから、独自の仮説を持って世界に先駆けた研究トピックにもトライし始めている。
面��くなってきた😏
0
0
15
あるキャラクターをホスティングするために70bn.モデルを使う必要があったので、試してみてもらいましたー
社内slackには、そのキャラの人格を持ったbotがホスティングされて、会話できる状態になってます。
0
3
17
こちらの件、日曜日夜にて締め切りまして、目下集計と審査しています。今���中には、応募いただいた方になんらか返信できる予定です。
※ 尚、多くのご応募いただきましたので、返信は一次の審査を通られた方のみにさせていただきます。
【GPUサーバー無料で貸します】
SpiralAIで持っているGPUサーバー A100(80GB)x8、空いている分を何台か無料で貸し出そうと思います。ご興味ある方はぜひご連絡ください！
2
102
256
0
2
15
開発中のプロダクトで一緒に遊びましょう (エンジニア歓迎！)
1
3
15
なんとか完走できました！
約100km、獲得標高2,000m。
二度とヒルクライムはやりたく無い。
0
0
15
ここは信念を貫く。
一見して尤もらしいロジカルな考えで上手くいくなら、すでにコンサルが作った生成AIアプリが世界を書き換えているはず。現実は全くそうなっていない。
簡単な方に飛びつきたい気持ちをおさえて自分の直感を信じる。仲間の信じる世界を信じる。
0
0
15
人間は難しい問題は「口をつぐんで思考する」
⇔ LLMは難易度に関わらず「一定速度で回答を出力し続ける」
1
1
15
使ってみての所感：
・ 実は「3bn.なので性能もお察し・・・」と思いながら学習させていたが、思ったより悪くないかもという印象。もちろん、最近phi-3とか出てきているので、そこと比べるとまだまだ頑張らなくてはいけない。
・loss
RetNetという非Transformer系アーキテクチャの学習済みモデルを公開しました。3bn.モデルで、フルスクラッチで学習させた日英対応版です。
0
17
65
1
1
15
登壇します！楽しみです！
0
2
14
僕がAIを知ったきっかけの本を発掘。小学生くらいの時に、隣町の本屋さんで親にねだって買ってもらった。
今読んでも面白い。この頃は連想記憶とかボルツマンマシンが一つの大きなテーマになっていて、要は共起確率を学習してたりしたわけだから、実は今の生成モデルの元祖が生まれていたことになる。
1
0
14
そろそろ近づいてきて楽しみです。当日は最初から最後まで全部参加します。もし現地でお会いできる方いらっしゃれば、ぜひお話させてくださいー
DXからクリエイティブまで幅広くトピックあるので楽しみです。
【チケット好評発売中！】
5/8(水)に開催される国内最大級の「生成AIカンファレンス」、チケットはオフライン／オンライン共にこちらからご購入いただけます。
#gen_ai_conf
▼オフラインチケット残りわずか...！
0
7
31
1
2
14
登壇します！楽しみです！
／
2023年11月8日〜10日@福岡開催！
B Dash Camp 2023 Fall in Fukuokaセッション紹介
#bdashcamp
＼
【生成AI活用の最先端 〜日本の独自LLMはビジネスチャンスか！？】
スピーカー：
伊藤 新之介（デジタルレシピ）
佐々木 雄一（）
松本 勇気 （LayerX）
モデレーター：
0
0
6
0
2
11
子供と長時間ドライブの時、gpt4oを音声対話モードにして車のハンズフリーのマイクセットで会話するようにするとみんな楽しく過ごせる。
おすすめは、
- 科学館で出しそうなレベルの科学クイズ
- 神話からの星座当てクイズ
- ◯◯に関するクイズ（例えば、「ハチミツ」とかのトリビアクイズ）
0
1
14
生成AIはエンジニアの数を1/5にするらしい。そういう実感は確かにある。
問題は自分が4/5側になるか、1/5側になるか。食われる側になるか、食う側になるか。
1
0
13
StreamingLLM、Twitterの情報鵜呑みにしてたらものの見事に間違ってた。
生成AI界隈、飛ばし情報多すぎ。良くない。
0
2
14
【思考するのに良いツール】
紙 = PowerPoint > Word > Notion
>>>>
正直にいうと、Notionを使い始めてから思考がだいぶ浅くなった。
Wordだと、もう少し言葉を煎じ詰めるから思考が深い。
PowerPointや紙ならもっと深く考えている実感。
>>>>
「時間をかけること」は必ずしも悪ではない。
0
0
13
弊社エンジニアの木村が登壇します！
LLMのプロダクト組み込みを最前線でやっている中で学んだノウハウを共有します。
ご都合良い方は是非！
0
3
13
3歳の息子の誕生日祝いに、劇団四季のライオンキングを家族で見に行った。モノより思い出、だと思う。
0
0
12
ジェミニなのかい、ジェミナイなのかい、どっちなんだい！
ジェーミーナイ！！パワー！（白い歯
…昨日から脳内リフレインが止まらない
2
0
12
そしてこれが何より素晴らしくて、昔から好きな伊良コーラと小石川植物園祭がコラボした上に、僕の隠れた趣味の銭湯に合流した今日は本当に奇跡の日。
小石川植物園祭にて採取されたハーブを使ったクラフトコーラが出品されるのですが、その残渣を使ったクラフトコーラの湯を１１／３に大黒湯、白山浴場、ふくの湯で行います、ぜひご利用下さい🤗
1
4
22
0
3
12
おめでとうございます！
#高専DCON
0
2
12
ある人物の口調を模倣するに当たり、GPTが作った文章と本人文章を別の(未学習)LLMに入れてeval loss比較すると、ものの見事に本人文章の方がlossが高い。やっぱりGPTはLLM的にも耳触りのいい文章作ってるんだなという。本人の文章はたしかに文法的に変と言われれば変…それこそが味なんですが。
1
0
12
SSMの気持ち:
RNNやLSTMは昔の記憶を忘れてしまう。こういう場合は、フーリエ変換みたく、陽に時間に依存しない関数で内部状態を表現してしまえば良いのでは。
正確には、計算の都合が良いルジャンドル多項式で表現しよう。
→そしたら性能上がったよ。
0
3
11
今週木曜日もまたやります！
今回は、Chain-of-Thoughtを導入した論文を読みます。再学習なしで様々なタスクを処理できるようになったことが昨今の爆発的な応用の広がりの理由だと思いますが、Chain-of-Thoughtもそれを支えた重要な発見です。
Let’s think step by step...
2
0
12
ここ10年間皆勤賞で選挙やってたけど、今回の都知事選ではじめて投票スキップした。
現・新で良い候補者がいる一方で、選挙の品位落としてる人たちもたくさんいて、「近づきたく無い」と思ってしまったのが最大の理由。
次回以降はもう少しまともになって欲しい。
0
1
12
社内で使っているツール、せっかくなのでpipに公開しました。良ければ使ってください。LangChainのような過度の抽象化ではなく、なるべくシンプルに構成したOpenAI APIのWrapperです。
コントリビューションも大歓迎です。
1
0
12
たまたま見かけた別ポストで、gpt-4o使うと論文がすぐ要約できて読む手間がなくて嬉しいみたいな話あった。
個人的には、脳の結合強化するべき「学ぶ」時期（〜大学院生まで）には、なるべく脳に負荷をかけた方が良いと思ってる。
（社会人になったら効率重視でいい）
0歳児から論文読むのは大推奨。
0
1
11
スタバが値上がりしててびっくりした。トールドリップコーヒーが400円超えるのは流石に無理。それで思ったけど、リッターあたりだとガソリンの方がはるかに安い。もうガソリン飲むか。
1
0
11
@umiyuki_ai
そう思います。立場やスキルを「持っている人」が、破壊的なテクノロジを取り込めないのは残念です。積極的に使って、生産性を上げたり、出来なかったことを出来るようにする側でありたいです。
0
2
10
デロイトさんの調査で、「めちゃくちゃ頭いいけど業界知識ゼロの新卒社員」と思うのが適切なプロンプトを書くコツ、という話があった。コンテキスト情報が大事という意味で全くその通り。
1
1
11
AI企業におけるバリューベースプライシングは、価格の決め方の一手法という以上に、「AIを使って顧客をきちんと儲けさせる仕組みを、AI企業も責任を持って提案する」ことにあるという本質的な議論を思い出した。
0
1
11
LLMのパラメータサイズに対する議論、1年前はだいぶわかりやすかったが、最近は色々考慮すべきパラメータが増えてきてややこしくなってきた。
【元々: 1年前くらい】
・ 推論時のホスティングコストが実用上は最重要。一回の呼び出しは<<1円規模でないと普及しない。その意味で、低コスト帯
1
0
11
補足:
GPUごととかでなく、サーバー丸ごとお貸しします。トピック次第では、複数ノードまとめての貸し出しも可能です。
その気になれば割と大規模な言語モデルの開発もできますので、野心的な応募をお待ちしております！
1
1
10
1,000個の失敗の話って誰から聞いたんだったかな、、でも本当に大事だと思う。
「問題解決力」だけならば、正���言って僕はそこそこ出来る方だと思う（そう鍛えてもらったから）。
でも、それで解けない問題はあるし、解いた気になってはいけない。むしろ、解かない方がいいこともある。
1
1
10
この土日はPCにはほとんど触れず、ノートとペンでひたすら考え事してます。
明らかに気が散らなくて良い。
【思考するのに良いツール】
紙 = PowerPoint > Word > Notion
>>>>
正直にいうと、Notionを使い始めてから思考がだいぶ浅くなった。
Wordだと、もう少し言葉を煎じ詰めるから思考が深い。
PowerPointや紙ならもっと深く考えている実感。
>>>>
「時間をかけること」は必ずしも悪ではない。
0
0
13
0
0
10
僕は逆に、死ぬときに人生振り返って何も成し遂げられなかったと思いたくなくて起業した側面ある。リスクよりもリグレットを最小化した。
0
0
10
ククリさま、公式サイトオープンしました🎊
みなさん、遊んでみてください😄
ChatGPTの素直さとは真逆の"言いたい放題"の神様です。
あなたの会話瞬発力が高ければ面白く転がせますが、ぼーっとしていると食われます。チャレンジしてみてください！
#日本がLLM作るとこうなる
＼ 🎉ククリさま 公式サイトリリース🎉／
ワシは高天原からやってきた縁結びの神
『ククリさま』じゃ！
▼ワシと話せるサイトはこちら💁♀️
#聞いてよククリさま で感想どしどし待っておるぞ！
ワシが現世に降り立つにあたって、
協力してくれた方々ありがとうなのじゃ💕
1
21
54
0
1
9
大変楽しいLT会でした。産業が一気に変わる予感がします。それをみんなで引き起こせるのがいいですよね。
2
0
10
第二回です。GPT-4に続く研究のうち、特にハイライトすべきものを読んでいきます。
前回はLanguage Models are few shot learnersを読んで、in-context learningが導入されたので、次回もプロンプト関連で、Chain of thoughts系を読みたいと思います。
1
1
10
ククリさまのLLM部分の開発についてお話させていただく予定です！
#聞いてよククリさま
クラスター 早瀬さん（
@ThayaFluss
）
メタバース研究所における機械学習研究
SpiralAIさん 佐々木さん（
@moreinteraction
）
AIキャラクター向けLLMの開発
のお話をいただきます。
エンタメ×AIがテーマのW&Bミートアップ
#14
は8/22（木）に開催です
0
1
6
0
2
10
プロダクト開発初期はチケットに落とせないところをいかに言葉にしていくかが重要なので、リモートは相性悪い。
一旦チケットに落ちたらそれこそオフショアにもできるだろうけど、チケットに落とせるくらいならもはやGPTにコード書いてもらえるよね、という意見もある。
0
0
9
こういう実験をきちんとやり遂げて結果出す力は本当に素晴らしい。見習いたい。
———
火を使わなくても爆発、なぜ？ 化学の定説覆した高校生2人が米国へ(朝日新聞デジタル)
#Yahoo
ニュース
1
0
7
最後に「新しいHWが必要」と結んでらっしゃるのはまさにその通りだと思っていて、現行HWだとint8までの量子化は計算高速化に寄与するけど、それ以上踏み込んでも結局intにキャストされてしまうので効果は薄い。新しいチップが作られるとパラダイムシフトだとは確かに思うけど。
0
1
8
TwinLLMについて、周さんの記事
0
2
8
社内リリース会議
「どっちのLLMが話していて面白い？」というブラインドテストの結果を集計中。
意外性が存外大事で、良いデータを作れば面白くなるというわけでも無いので、本当に直感とノウハウの世界。
0
1
9