goto
@goto_yuta_
Followers
13,792
Following
2,238
Media
460
Statuses
2,690
LLMをよく触る。最新AI(生成AI)関連のツイート多め。 模索中。大喜利/隠れYoutuber/京大情報卒
Youtube
Joined July 2020
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
Kendrick
• 294191 Tweets
Super Bowl
• 253672 Tweets
Defense
• 232734 Tweets
Ronaldo
• 184954 Tweets
Drake
• 167583 Tweets
Patriots
• 137258 Tweets
Giants
• 114541 Tweets
Steelers
• 105468 Tweets
Bears
• 104848 Tweets
Wayne
• 102484 Tweets
Bengals
• 78959 Tweets
Cowboys
• 76589 Tweets
Dolphins
• 66848 Tweets
Panthers
• 65937 Tweets
Browns
• 62319 Tweets
Falcons
• 55273 Tweets
Titans
• 51436 Tweets
JISOO AT NYFW WITH TOMMY
• 49476 Tweets
Colts
• 43358 Tweets
Texans
• 39916 Tweets
Raiders
• 34095 Tweets
Seahawks
• 31408 Tweets
Daniel Jones
• 30369 Tweets
Broncos
• 29925 Tweets
Chargers
• 28036 Tweets
#Sinner
• 25817 Tweets
Caleb Williams
• 25593 Tweets
Josh Allen
• 24380 Tweets
Baker
• 20979 Tweets
#深澤辰哉
• 19973 Tweets
Cleveland
• 19906 Tweets
#わたしの宝物
• 19617 Tweets
Bryce Young
• 19332 Tweets
#GHDBT1
• 18912 Tweets
Tom Brady
• 18733 Tweets
Forbes
• 17502 Tweets
TJ Watt
• 16464 Tweets
Deshaun Watson
• 12923 Tweets
Kirk Cousins
• 11313 Tweets
Zeke
• 11277 Tweets
Aubrey
• 10915 Tweets
Will Levis
• 10439 Tweets
Pinned Tweet
meta翻訳についてQiitaで記事にしてみました。
個人開発で高精度な機械学習サービスをリリースすることについて主に書いています。
3
161
861
三島由紀夫が中学の卒業式に登壇して「大人をカッコ悪いと思ってるだろうが、それは君達が見てる大人がカッコ悪いだけで社会にはカッコいい大人がいっぱいいる。大人を舐めるな」って演説して堂々と暗に中学教師を揶揄した話、尖りすぎてて好き
93
4K
50K
デジタル庁が公開してる「ChatGPTを業務に組み込むためのハンズオン」、読んでみたけど、論文が引用されてたりしてて無知の公務員が書いたものではなく、専門の人が一般人に分かるように書いた分かりやすい資料という感じだった...！！
9
1K
8K
マイクロソフトが発表したBitNet、やばすぎて半信半疑ながらも真実ながら凄すぎて期待してしまう。
行列の中身を1ビット(0 or 1のみ)にして、行列演算に乗算が必要なくなって高速化させてるらしい。
高速化する理屈はわかるけど、論文によるとなぜか精度も向上してるらしい。
やばすぎて一旦様子見。
15
2K
7K
Googleが深層学習のノウハウを公開して話題だけど、実際読んで想像以上に価値を感じた。
例えば「バッチサイズはバリデーションセットでの性能に影響
せず、むしろバッチサイズを下げてサンプルがばらついて正則化の効果を持ったりする」みたいの詳細知識が満載だった...
1
496
3K
マイクロソフトがChatGPTとかのAIを全製品に盛り込むらしい。
強すぎーwwwwww
9
630
3K
このサイト、自分の声の発話モデルが無料ですぐ作れてしまう。
日本で同じことを有料でやってる会社知ってるけど、AI業界はどんどん色んなことが無料で出来てしまう焼け野原になっていくのか！？
4
476
2K
Metaが公開した巨大言語モデルであるLLaMAベースのモデルをChatGPTと同じRLHFでより効率的に学習できる「ChatLLaMA」のが早くもgithubで公開されてる...！！(しかも超簡単)
性能はさておき、誰でも簡単に自分だけのChatGPTを作れる！！
2
416
2K
昨日発表された世界最高レベルの高精度日本語音声認識モデル、ReazonSpeechのデモサイトで、コッテコテの方言話してみたけど完璧な解答が来た...！！
ワンセグ放送の録画データを学習に使用してるらしいけど、ワンセグなんかガラケー時代以来初めて聞いた。
4
443
2K
2023年最も学ぶべき領域と言われているプロンプトエンジニアリングのまとめがGithubにあった。
普段ノリで入れてるプロンプトを体系立てて難易度別に学べるようになってて中々の神資料な気がする。
0
252
2K
Metaが巨大言語モデルLLaMAをオープンソースで公開したらしく、Githubを見に行ってみると実行まで簡単すぎてビビった。
ありがたいwww
2
263
1K
どうやら自分の声を10秒くらい録音するだけで複製できるやばい時代が来てしまったらしい。
家で試そう。
1
238
1K
自分が学生の頃のAIの研究はブルーオーシャンで夢に溢れていたけど、最近はStable DiffusionとかChatGPTとか、勝てるわけがないのが自明すぎて夢がなさそう
1
190
1K
AI業界で「札束で殴る」ってフレーズ、少し前は自分も勇気を振り絞ってお金出して8GPUとかで学習したりしてたけど、最近はGoogleが300億投資とか言い始めてて完全な他人事になった
1
259
1K
GAFA、openAI、MSとかが凄まじいAI開発戦争を繰り広げる中、NVIDIAがひたすらに裏方でチャリンチャリン儲けている構図、羨ましすぎるが、NVIDIAの事業ってそんなに真似できないものなのだろうか...
14
182
1K
Microsoftが10億トークン処理できるLongNetを発表。
何がやばいって、10億トークンなら人間の記憶以上のトークンを処理してるんじゃね？って感じで、ChatGPTよりも更に人間みたいなAI出来てしまう気がする。
コア技術の「dilated attention」の計算量がO(N)で上手くいくのもすごい。
5
258
1K
最新のサイバー攻撃はまじでヤバくて、SMSを送った相手の位置情報をかなりの精度で特定できるらしい。
しかもソースコードも公開されている↓
2
171
1K
Githubに実装も公開されてて、アーキテクチャ図もあるけど、Transformerの部品にBitってつけてビット加算にしてるだけでやってること��まじで同じそう。
なんで精度上がるんや...
マイクロソフトが発表したBitNet、やばすぎて半信半疑ながらも真実ながら凄すぎて期待してしまう。
行列の中身を1ビット(0 or 1のみ)にして、行列演算に乗算が必要なくなって高速化させてるらしい。
高速化する理屈はわかるけど、論文によるとなぜか精度も向上してるらしい。
やばすぎて一旦様子見。
15
2K
7K
1
251
1K
京大の情報学科でのプログラミング系の課題のラスボスは、コンパイラを書くことだった。
とにかく作業量がえぐく、いつか役立つと思ってたけど、未だにその知識が役立ったことはない。
6
155
1K
このツイート神すぎる
・まず人気ゲームの中身が見れるだけで神
・プログラミング初心者でもなんとなく書けそうに思える雰囲気作りが神
・なんとなく自分が今読んだだけで分かる可読性が神
全部神
ちなみに、龍が如くは「C++」という「プログラム言語」で書かれているのですが、ここで実際に龍が如く8で使われているプログラムをほんの少しお見せします😎
意外とシンプルなので、C++の基礎をしっかりと学んでいれば十分龍チームで働くことができると思います。就活生の皆さん、お待ちしています🙇♂️
62
5K
14K
4
196
988
NVIDIAが姿勢推定でブレークスルーを起こした理由を簡潔にまとめてる記事。
既存の技術だと物理法則を無視した推定結果が多かったことを踏まえて損失に物理制約を盛り込んで定式化して精度を跳ね上げたらしい。
0
209
976
Googleの実用的すぎる神論文。
言語モデルの学習を効率化する為に、学習データから似たものを排除する手法を提案し、少ない学習ステップで同等以上の精度のモデルを学習できることを示した論文。
ソースコードも公開されている:
3
147
953
初心者向けでPythonについて発信してる人がanacondaを勧めてるのを見かけることが多いけど、まじでやめてあげて欲しいし、発信者のレベルにもかなり疑念を抱かざるを得ない
14
146
918
Pythonの作者がPythonを5倍高速化するって話、実際にどうパフォーマンスを上げていくかについての具体的な計画がgithubに載ってたことを今知った
0
139
856
RetNetが発表された。
Transformerの後継者と題されてるだけあってメモリ効率とか精度とか凄い。
こういうの見ると、今更ながらTransformerの計算コストって無理あったんじゃないかって思わされる笑
0
194
852
話題のopenAIのAPIのリポジトリ、非エンジニアにも是非見てもらいたい内容だった...
APIを叩くだけで難しくないから、これを機にプログラミングを始める人が増えてほしいから是非広まってほしい。
0
125
805
1000年ぶりにQiitaを更新しました。
meta翻訳を開発してから、機械学習をどうやって勉強しているか聞かれることが増え、個人的にはtwitterでインプットすることが多いので、オススメのアカウントを40個ほどまとめてみました。
2
115
802
最近の衝撃だった話はGoogleがTransformerに特許をとっている件。
TensorflowでTransformerをサービスに利用しても大丈夫だけどPytorchでサービス化するとアウトらしい。
3
176
783
ChatGPTは確かにそれっぽいことを言うけど、嘘が混ざってる。
それを補う為に、Wolfram Alphaという計算知能を組み合わせると神ツールになるらしい。
下の画像で言うと東京からシカゴの距離をChatGPTに聞いても間違った情報が返ってくるけど、Wolfram Alphaからは正確な情報が返ってくる。
強すぎ
0
165
772
いかに凄いAIを作れるか競争する時代から、いかに上手くAIを操るかを競争する時代に転換しようとしてる今、学生にchatGPTの使用を禁じたりするのナンセンスすぎる。
AIが前提の時代にAI抜きの縛りプレイを強要するなら納得の行く説明が欲しい。
6
155
721
今更ながら、LLaMA2の論文が神大作で学習価値が高すぎる。
RLHFに利用してるデータの中身とか、安全性を高めるためのRLHFの前後で出力がどう変化するとか書いてて、とにかくRLHFについて超詳しい。
2
104
737
LLMモデル学習の時に「<pause>」トークンを入れて学習すると精度が上がるって話。(すごすぎん？ww)
いろんなタスクで精度が上がるらしく、じっくり考えさせると精度が上がるって完全に挙動が人間と同じで草
1
152
731
生成AIが抱える有名問題に"1本のバナナ問題"なるものがあるらしく、"1本のバナナ"とプロンプトを入れても思い通りにいかないらしい。
これを根拠にAIは人間と同じように考えれているわけじゃないって演繹もされてる。
ちょっとおもろいな。
8
198
653
Sakana AI の「The AI Scientist」、現時点の最高峰エージェントなのにGithubのリポジトリ公開されてる。
読んで勉強しよう
2
87
660
Dreamix凄いな・・・
個人的にはChatGPTより衝撃。
文章と画像or動画を入力したら、その画像をベースに文章通りの動画が出来る。
既存の技術の組み合わせだけでここまでできてしまうことが衝撃。
1
110
624
meta翻訳開発初期、「GPUを1000枚使って学習」みたいな「個人開発には全く参考にならない論文」を多く読んだ中で、
・個人開発の許容範囲内で
・有名サービスに対抗できるように
どのようにmeta翻訳のアーキテクチャ選定を行ったかを技術記事に書きました。
0
98
635
MITの深層学習の教科書、網羅し過ぎていて学習効率低いと感じたと同時に、こういう細部まで腰を据えて学習できる学生という身分最高やな。
(自分はそういう利点を活かせない学生だった)
1
78
608
モデルが学習する時にいつ「記憶」が「汎化」に切り替わるかを分析してる話。
分かりやすい話で言うと、weight decayが小さすぎると過学習に寄って行き、そこから大きくすると学習データとテストデータの損失が近づいて汎化、大きすぎると何も学習しなくなる、みたいな話をしてる↓
1
133
610
最近pandas使うこと多くて、自分はデータサイエンティストとかじゃないから自信なかったけど、ふと見つけたpandasまとめ画像のメソッドくらいは把握できてたし最低ラインはできてると思えて安心した。
専門的に使うわけじゃなければ、このくらい一通りできたら必要十分と思っておこう。
1
77
602
深層学習の訓練中に学習率を自動で調整するD-Adaptationっていう手法がpipでインストールできるようになってる！
Adamって書いてるところをdadaptation.DadaptAdamって書き換えるだけで使えるっぽい。
0
84
603
GPT3とGPT4の比較図。
パラメータ数が生物でいう所のニューロンの数なら、人と猿よりも遥かに差があるけど、これ以上どんな凄いAIが生まれるというのか...
5
101
586
AIが人間より賢いという事実が固まりつつあるのと同時にAIの思考プロセスも明らかになっていく中で、実は人間の思考ってそこまで複雑で理解不能っていうのは人間の思い上がりだったんじゃないかと感じてきてる
15
157
574
最近のLLM界隈の哀しき実情どうにかならんのかね...
・巨大企業→さらに巨大なLLMを1から学習
・ベンチャー→LLMをチューニングor小さめなLLMを1から学習
・個人→1から学習は論外、チューニングするも途中でベンチャーが同じことをして抜かされて水の泡
3
105
569
ふと思ったけど、LLMって次の単語を予測するだけの機構であって、それが超正確にできるだけで人間を超えたとか超えてないとか議論が巻き起こってるあたり、人間ってそこまで賢いわけではないんやろうな...
3
90
539
Youtubeの中の推薦アルゴリズムの変遷についての記事だけど、深層学習使ったり強化学習したり色々してる・・・
結局XGBoostが最強みたいな話もあるし、Googleですら泥臭く試行錯誤してるんやな・・・
0
86
534
自動手書きか...
もはや手書きとはなんぞやってなるww
3
199
516
合成データで学習したLLMをひたすら競争させて、勝ち残ったLLMから新たな合成データを作って学習させて、さらに競争させて...ってループを繰り返すとモデルもデータも高品質になるらしい。
この考え方自体に斬新さはあまり感じないけど、「アリーナ学習」っていう厨二感は好み。
2
83
519
ChatGPTがpythonで使えるようになって一見便利そうなPyChatGPT、説明文を読むとイカれたことが書いてある。
特に
・I solve the captcha for you
って書いてあるのはやばい。
1
104
508
産総研、東京工業大学 岡崎研究室、横田研究室が出した最高精度の日本語LLMの知見の記事読んだけど、Activation Checkpointingで計算効率を上げたり、loss spike対策について触れるだけでなく、スプシで学習管理してリソースを最大限有効活用したり、リアル過ぎて神だった。
1
90
508
最近chatGPTに遅れを取ってる印象のGoogleがAdamより高速で高性能なLionっていうOptimizerを提案！！
最近流行りのDiffusion系モデルとか巨大言語モデルの学習でも結果が出ててこれからのスタンダードになっていきそう。
1
91
502
Redreamやばすぎ
ついにAIが動画界に本格的に乗り込んできたなという印象。
0
77
478
ChatGPTで流行のRLHFが簡単にできるtrlxってライブラリ、導入から使用の部分まで簡単すぎる。
これから先、プログラミングって不必要になるんじゃないかってくらい簡単...
0
95
471
LLaMA2の公開から約2日、autotrain-advancedというライブラリが公開され、ローカルでfine-tuning可能に。
2
95
468
自分で作った翻訳サービスの開発工程についてまとめていこうと思い、技術記事を書きました。
読めば誰でも同じ翻訳サービスを作れるような知見をここに書いていこうと思います。
0
64
447
Transformerの最前線
TransformerとMLP系の最近のアーキテクチャは本質的には同じで、"Attention is all you need"ではないって話がメインの神資料。
0
56
448
LoRAの登場でfine-tuningへの敷居がやばいくらい下がり、今度はReLoRAの登場で事前学習の敷居もやばいくらい下がりそう。
モデルサイズが大きくなる程、ReLoRAの効果も良くなる点もめっちゃ良い。
0
86
451
一昔前までseq2seqとか言ってたのに今やscreenshot2htmlとか言ってるんか...
「そんくらいできるやろな」って思って驚かん世界観も冷静にやばい。
2
59
450
状態空間モデルと深層学習を掛け合わせたH3っていうアーキテクチャを採用して、2層のAttentionだけでGPT-Neo-2.7Bより優れているらしい言語モデル作ったという話。
RNNとCNNの良いとこどりみたいなものを状態空間モデルが担ってるっぽく、それで精度が出てるらしい。
1
74
447
tensorflowがjaxに置き換わって行ってるのは当然の事として、pytorchがfunctorchなるものに侵略されて行ってるというのは衝撃すぎる
0
100
440
機械翻訳モデルの開発してて思うけど、最近のニューラルネットの性能が上がりすぎてて、質の悪いデータが学習データに混入してると、少量でもそれを露骨に反映したりする。
昔以上にデータの質が求められてる気がする。
5
78
419
アリババの最新論文。
画像認識関連で、USIっていう訓練スキームを提案してるけど、汎用性高くてかなり凄いやつな気がする。
しかもgithubも公開されてる。
1
45
414
lazypredictめちゃ便利やな
0
55
405
openAIが新しい埋め込み発表した。
既存の発想だと、精度が上がるとモデルが重くなり、値段も上がるはずなのだが、今回もopenAIらしく、精度が上がり、値段は安くなり、そして、次元調整可能(そんなんあり？w)になった...
0
68
401
Transformerに対する既存のカスタマイズを包括的に実験・評価した論文。
大半は無意味とぶった切っている。
真に有効なカスタマイズはハイパーパラメータに依存せず、大半はただ運の良いパラメータだったとしている。
それを踏まえて、一般性能を向上させる方法について言及。
1
71
389
Googleが、小さいサイズのドメイン特化モデルとattentionを接続してLLMのドメイン知識を強化できるって論文を出したらしい。
ChatGPTみたいな基盤を用意してあとは必要に応じてドメイン特化モデルを用意すれば世にある大体のタスクは片付くってことか...良い思想だ...
2
46
387
pytorchから最新M1 MacのGPUサポートが発表されたらしい！
M1のCPU性能の凄さに触れながらも、結局はいくらM1がハイスペックと言えど、深層学習には適してないとのこと...残念。
1
95
377
この記事が、某大手企業の社報的なもので取り上げていただけたみたいです。
感謝。
0
44
361
ChatGPTが出てきて、個人じゃLLMは作れないと思ってたけど甘かった。
RMKVを試せば分かるけど、クソ速い高性能LLMがリリースされたりしてる。
1
42
357
DeepMindが強化学習を使ってシュトラッセンのアルゴリズムより高速な行列積のアルゴリズムを発見したらしい。
無言でPytorchとかに組み込んどいてほしい。
0
53
354
Transformerを用いた機械翻訳において、「encoderが入力を解釈、decoderが翻訳する」という通説が間違いと指摘。
decoderの下位層がほとんど機能していないと分析し、encoder層を増やし、decoder層を減らすことで、翻訳性能・スピードを共に上げることができるという話。
1
47
351
プログラミング経験ない人が「今更自分がやった所で出遅れてるし意味ない」って思うのめちゃくちゃ共感するけど、そんなこと考えずに一旦学習開始する人は総じて優秀なイメージがある
3
31
345
ChatGPTについて概要を理解したいなら間違いなくこれっていうスライド発見
(論文が出てる訳ではないから正確性は保証できない)
0
55
338
LLMベースのエージェントに関するサーベイ論文が話題になってて、論文内にあるリンクに超膨大に関連論文が載ってるリポジトリーのURLがあって見に行ったら、エージェントだけあってRPGぽくて面白そうだったけど、さらに読み進めると信じられんくらいの参考論文が記されていた...
2
46
333
今大学に入ってAIの研究を志している学生に是非とも知っておいて欲しいのは、Scaling Lawという考え方。
どれだけ研究して技術を工夫したりするよりも、金を注ぎ込んだ方が優位性が高い、という夢のない現実...
1
55
324
Kaggle界隈では複数シードのアンサンブルとかにまつわる話。
CV界隈でのランダムシード数と精度の関係を分析する論文。
シード数によって生じる精度の差は有意と言える物で、多くの研究がラッキシードによるものではないかと著者が懐疑的な姿勢を示している。
2
51
325