yu4u
@yu4u
Followers
8,613
Following
1,083
Media
1,167
Statuses
24,036
General Manager at GO Inc. / Ph.D. in Eng. / Kaggle Competitions Grandmaster / …
Tokyo
Joined December 2009
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
Israel
• 5383105 Tweets
Iran
• 3331517 Tweets
Vance
• 1896840 Tweets
Vance
• 1896840 Tweets
The VP
• 307802 Tweets
Moderators
• 247074 Tweets
Minnesota
• 114027 Tweets
Pence
• 109899 Tweets
Margaret
• 100618 Tweets
Tampon Tim
• 89128 Tweets
#WWENXT
• 79690 Tweets
Tiananmen Square
• 58251 Tweets
からくりサーカス
• 51014 Tweets
ケンタッキー
• 42352 Tweets
Knucklehead
• 39733 Tweets
#原神KFCコラボ
• 32735 Tweets
Megyn
• 31692 Tweets
महात्मा गांधी
• 31545 Tweets
#GandhiJayanti
• 29560 Tweets
Amber Thurman
• 28620 Tweets
गांधी जयंती
• 26644 Tweets
लाल बहादुर शास्त्री
• 25735 Tweets
Obamacare
• 23331 Tweets
Timmy
• 21538 Tweets
Aces
• 21197 Tweets
ブリーダーズカップ
• 20130 Tweets
Shapiro
• 16878 Tweets
#マックのコーヒー記念カキコ
• 15816 Tweets
ニンテンドーミュージアム
• 15027 Tweets
Gago
• 14876 Tweets
ネットオーダー
• 13922 Tweets
Homely Shelter
• 12743 Tweets
宮崎空港
• 11872 Tweets
原神コラボ
• 10492 Tweets
Pinned Tweet
Kaggle Grandmasterになれたので、これまでのKaggle人生を振り返りました。最近の参加スタイルを紹介しつつ、後はひたすらこれまで参加したコンペの思い出語りです。長文注意！引き続きよろしくお願いいたします！
5
63
525
愛に必要なのがGODIVA、AIに必要なのがNVIDIA
深い関係に必要なのがGODIVA、深い学習に必要なのがNVIDIA
カフェもやってるのがGODIVA、CaffeもやってるのがNVIDIA
マカダミアを使うのがGODIVA、アカデミアが使うのがNVIDIA
14
3K
4K
素晴らしすぎてワロタ。立ち上げからしっかりとコンスタントに成果を上げる仕組みを構築して実行しているお話（立ち上げるだけより圧倒的に重要）
モバイルゲーム会社とあるが機械学習系の研究開発組織どこでも参考になりそう。技術スタック部分も一般論として参考になる
0
165
1K
深層距離学習 (deep metric learning) について、どうせ結局contrastive/triplet lossを使うんだろと思っていましたが、今回KaggleでArcFaceを利用してその学習の簡単さと性能にびっくりしたので解説しました。手法自体も納得性が高いです。
#Qiita
4
157
705
半教師あり学習、弱教師あり学習、教師なし学習、Active Learningについての概要説明と、最新のDNN系の手法の紹介資料を公開しました。突貫工事感あふれる資料ですが、MixMatch, ReMixMatch, FixMatch, AugMixってそれぞれどれだっけーみたいなときにもご利用下さい
3
139
665
Pythonからpptxが作れるライブラリpython-pptx。面白＆便利そう。AutoShapeも作れるからプログラムから直接図を作れそう / “Pythonでパワポの説明資料（報告書）を生成する - Qiita”
3
255
603
AIに仕事奪われるよ派
├人間の仕事がなくなっちゃうよ派
├人間は働かなくて良くなるよ派
├AIが人類を絶滅させるよ派（スカイネット派）
└仕事やめたいよ派
AIに仕事奪われないよ派
├クリエイティブな仕事に集中できるよ派
├シンギュラリテは来ないよ派
└AIのほうが単価高いよ派
5
189
472
昨年末にプログラムからベクタ画像を描きたいとつぶやいたら、
@gou_koutaki
先生からSVGを直接吐けばいいじゃないとコメントを受けてチマチマ作ってたら楽しくなってしまって、Keras風にモデルを書くとアーキテクチャを図示してくれる謎ツールができてしまった
0
169
473
ハゲタカジャーナルが話題で、なら被引用数じゃねみたいな議論がありますが、この論文とかすごくて、87ある引用のほとんど（全て？）が自己引用で、研究会の日本語論文なのにわざわざarXivに上げてあったりして徹底してる（NTT研究所の論文ですが…）
2
254
468
過学習のここがスゴイ！
・精度を100%にできる
・学習データが少なくて良い
・交差検証が不要
・正則化が不要
過学習のここがダメ！
・過学習
0
193
442
畳み込みニューラルネットワークに関するサーベイ論文（with
@takayosiy
先生）が電子情報通信学会論文誌に採録されました。早期公開版のPDFおよびベースとなった研究会の発表資料も公開しておりますので、是非御覧ください！
#DeNA_AI
0
140
446
これ的な雰囲気を感じてしまったｗ
scikit-learn vs.tidymodels というより Python vs. R という話に飛び火してしまいそうだ
機械学習をするための有名なパッケージとして，Pythonはscikit-learn，Rはtidymodelsが挙げられます
これらは何が違うのでしょうか？
scikit-learnとtidymodelsの比較をしてみました！
1
80
329
0
108
430
今日の登壇資料を公開しました！参考になる・面白いリンクをそれぞれつけているので後でゆっくり見てみてください！ / 競技としてのKaggle、役に立つKaggle
#Kaggle_TechLovers
1
71
431
今日の日本ロボット学会 ロボット工学セミナーの講演資料です。画像認識のための深層学習について、主にモデルアーキテクチャ観点での歴史や最新状況を紹介しています。枚数が大変なことになった…
0
121
412
めっちゃ面白かった。ResNetをモダン化、Transformer要素を入れSwinを超えた
- RSB-ResNet的にAdamWや強力なデータ拡張
- 各解像度毎のブロック数の変更
- 最初のstem convをパッチ化
- ResNeXt化
- inverted bottleneck
- 7×7 depthwise conv
- BN廃止、LNとGELU利用
- 2x2 stride2 convでdownsample
A ConvNet for the 2020s
abs:
github:
Constructed entirely from standard ConvNet modules, achieving 87.8% ImageNet top-1 accuracy and outperforming Swin Transformers on COCO detection and ADE20K segmentation
11
209
968
1
52
379
画像コンペはtimmでpon! だったりmmdetでpon! が多いです（諸説あり）が、系列コンペはモデリングが勝敗を分けるケースが多い印象です。
これまでの系列データを扱ったKaggleコンペティションを振り返りながら、系列データの深層学習モデリングを俯瞰してみました。
0
44
376
資産運用的な話を見るたびに「普通の人が資産運用で 99 点をとる方法とその考え方」で終了してるだろ！って思ってるのだけど、なにげに新NISAの話がアップデートされてた
0
52
373
CVPRっぽい論文のまとめを有志が行ってくれているのですが、それの人物認識系のまとめです！予習にどうぞ〜 / “コンピュータビジョンの最新論文調査 Human Recognition編 - Technology of DeNA”
0
79
347
Google BrainとMicrosoftが同時期（と言うには時間差がある）にほぼ同様の提案をしている、レイヤ内に保持している複数の畳み込み（全結合層）のパラメータの線型結合により、入力に応じて動的に畳み込み（全結合層）のパラメータを生成する未来を感じる手法の紹介です
0
60
343
CNNの学習が遅いと感じるとき、まずはzerosとかで固定のテンソルをひたすら吐き出すDataLoaderで、バッチサイズをなるべく大きくして学習してみる。これがほぼ速度の上限になるので、この状態の速度と大きく乖離があるならDataLoader部がオーバーヘッドと分かる
1
56
341
深い関係に必要なのがGODIVA、深い学習に必要なのがNVIDIA
カフェもやってるのがGODIVA、CaffeもやってるのがNVIDIA
マカダミアを使うのがGODIVA、アカデミアが使うのがNVIDIA
0
249
325
本日のステアラボ人工知能セミナー講演資料です。畳み込みニューラルネットワークの進化と、畳み込みの分解や枝刈り等の軽量化技術の網羅的な解説です！ / 畳み込みニューラルネットワークの高精度化と高速化
0
107
327
4月1日よりDeNAから株式会社Mobility Technologiesへ移籍となりました。本当は「退職しました」みたいなネタエントリをやりたかったのですが、怒られが発生しそうだし、4月1日を過ぎてしまったので、夜なべしてこの2年位マネージャーになってからの振り返りポエムを書きました
1
53
331
現職でBizやHRの人が技術を理解してくれようとしているのを感じる度に、前職研究所の営業っぽい人が、「俺たちは営業なので素人。お客さんも素人。俺たちが理解できないことはお客さんも理解できないので、俺たちが分かる説明を考えろ。俺たちは素人なので考えない」的なことを言っていたのを思い出す
5
97
310
素晴らしい。俺たちは雰囲気でmatplotlibをやっているからの脱却！ / “早く知っておきたかったmatplotlibの基礎知識、あるいは見た目の調整が捗るArtistの話 - Qiita”
0
87
313
データサイエンティスト協会のスキル定義
しっかり作ってあって凄い参考になるのだけど、その策定プロセスのほうに興味あったりしたのだけど、ちょうどそういう活動報告の資料があった。常にアップデートしていかないといけないので大変である
0
21
296
なんかPCAの基底見てたら、時系列データをsliding windowで切り取ってkmeansしてパターン見つけるみたいな手法あるけど、それやると正弦波になって意味ないでみたいな話を思い出した。すっかりdeepでponな脳みそなっちゃったけどこういうの面白いよなぁ…
0
36
285
Transformerの改善系が広くまとまっていて面白い。Vision Transformerでも、当たり前だけど元々のNLPでの改善が元となっていることも多いので見ておくべきですね！
0
35
280
何故か突然昨日deep fakesについて調査したくなり、夜なべして資料を作り今日社内の輪講で発表した資料を公開しました。Deep fakesの種類やその検出法の紹介をしています（時間なかったのでIntroレベルですが） / Deep Fakes Detection
0
51
281
画像じゃない信号に対してCNNを適用するときに、画像とみなして〜みたいなことが言われるけど、画像とみなせるかが本質ではなくて、畳み込みパラメータが位置（シフト）に対して不変で、かつ畳み込まれる範囲が局所的であるという前提が筋が良いかですよね…
1
58
272
うおおお！MobileNetの新作！ちゃんとGoogle作！
Inverted Bottleneck内のdepthwise convの有無を最適化するUIB、K/Vをhead間で共有するMQA、Spatial Reduction Attentionの利用、NASも頑張った
MobileNetV4 - Universal Models for the Mobile Ecosystem
2
43
280
DeNAとMobility Technologiesの合同メンバーが200ページ強の参加報告をしてくれました！
0
56
272
畳み込みニューラルネットワークの研究動向のサーベイについてPRMU研究会で発表しました（with
@takayosiy
先生）CNNの歴史及び最新研究を紹介しつつ、様々な実装の一覧や同一条件での比較結果を載せています。
#prmu
#cvsaisentan
1
95
268
子供と一緒に実験
モデルを二つそれぞれ学習
片方のモデルにはバカと書いて、もう片方のモデルにはありがとうと書く
ありがとうモデルには60epoch毎に「ありがとう」と言い、学習率を下げる
180epochでこんな感じになりました
個人的にはもっと差がでると思ったけど、子供達は不思議がってました
0
87
262
Microsoftから動的にConvの重みを変えるDynamic Convolutionの提案。重み自体を出力するのではなく、複数のConvの線型結合の係数を出力する（Attention)。実はGoogleからもCondConvという同様のアプローチが提案されていて（NIPS'19）熱い！
0
50
267
きょうトップカンファレンスで娘が心底嫌そうな顔で「お父さん、これ気持ち悪い…」と指さした光景。自分が諦めた手法が完全な論文として発表され、ひたすら研究者の興味を集める悔しさは想像できるし、その実装をGitHubに公然と並べる抑圧はほとんど暴力だよなと改めて思う。
0
78
257
いや本当さ、DNNでSOTA出したいって言ってる奴ら。
ゼロからDeep Learning作ってみ？
既存モデルちゃんと理解してみ？
Optimizerちゃんと変えてってみ？
そうやってfinetuneから初めてさ、データ拡張もやってさ、一気にモデルを複雑にしないように
そうやってDNNの気持ちになってみろよ。nan吐くから
0
70
260
ほぼ同時期に深層距離学習の研究発展についての批判的な論文が出ていて面白い
ちゃんとチューニングしてフェアに比較すると、contrastive lossからまるで成長していない…論文
ちゃんと（略）contrastive/triplet loss系じゃなくてCEでええやん論文
2
66
255
本質的な基礎研究もしたいし、儲かる応用研究開発もしたいし、キャッチーな応用もしたいし、Kaggleもしたいし、競プロもしたいし、OSS開発もしたいし、お金も欲しいので人生は大変
0
47
253
本日の発表資料です。ICCV'21 Best Paperである、みんな大好きつよつよバックボーン、Swin Transformerを完全に理解するためにふんだんに余談を盛り込んだ資料となります。余談のせいで実験結果は犠牲になりました
#japancv
0
31
251
Swin Transformer関連で界隈を俯瞰しょうと思ったら、こち亀の「全部同じじゃないですか！？」「これだからしろうとはダメだ！」みたいな気持ちになった
0
20
250
全日本コンピュータビジョン勉強会（前編） CVPR'20読み会の資料です。特徴点マッチングの手法なのですが、結果もすごいのですが、モデルアーキテクチャの納得感高く、実装もシンプル、GNN、BERT的なMulti-head Attentionも入っていて面白いです
#japancv
1
76
249
社内の輪講で近年の汎用バックボーン的なVision Transformerの紹介をした資料を修正していたらサーベイになってしまった。完全に趣味だけど面白かった。是非ご覧ください！
0
37
240
Google AIの落書きコンペ（？）の可視化で、日本人だけ六角形を反時計回りに描き、円を時計回りに描くというのが面白い。円の描き方が違うみたいな話は見たことあるけど、六角形が逆になるのか。漢字の書き順で縦棒が先だからかなぁ…？
3
153
231
ついに2桁に突入！！！！！！！！！！！！！！！！！！！！！！！！
YOLOv10: Real-Time End-to-End Object Detection
0
49
236
中部大学 山下先生
@takayosiy
と共著の論文が2019年度 電子情報通信学会 論文賞を受賞しました！
日本語論文の意義として、分野への貢献を意識したサーベイ論文で、その観点で評価して頂いたのだと思い、とても嬉しいです。
論文：
関連講演資料：
13
43
234
ROC曲線とPR曲線の違いの考察。面白い。個人的には論文とかの精度指標としてはAUCは意味あるけど、実用上は結局曲線上の1点の位置が重要なのでAUCはどうでも良い感覚 / ROC曲線とPR曲線の違いについての考察
1
50
230
ニューラルネットの「中間層とか畳み込み層」…ってよォ～
「中間層」ってのは、わかる…スゲーよくわかる。
実際に存在するノードだからな…
だが、「畳み込み層」って部分はどういうことだああ～っ！？
フィルタの重みが層なのかっつーのよーッ！
ナメやがってこの言葉ァ、超イラつくぜェ～ッ！
1
47
221
僕は基本的にディープラーニングを全く信用していません。物体検出はViola-Jones、HOG。音声認識はMFCC+HMM…。翻訳は統計翻訳、分類・回帰はrandom forest。すべて1000年以上前からあるものばかりだ。テクノロジーはぜんぶまがい物です。
1
57
216
30分で画像検索の全てが分かるを目指して作成した（やっつけ）資料です。なお発表時間は足りなかった模様。 / “Image Retrieval Overview (from Traditional Local Features t…”
0
49
218
……きこえますか…きこえますか…卒研生の…みなさん…
先輩の研究・手法をベースラインにしてはいけません…
当該分野のデファクト・State-of-the-Artの手法をベースラインにするのです…
1
83
210
素敵！ / “コンピュータビジョンの最新論文調査 Single Image Super-Resolution 前編 - Technology of DeNA”
0
51
215
論文の中身を見なくてもなんとなく見た目で論文のアクセプト・リジェクトが判定できるというPaper Gestaltというジョーク論文がありましたが、個人的な胡散臭い論文の特徴量
0
56
197
PyTorchの画像認識モデルのデファクトたるtimmライブラリのTIPS集のようなものが何故かfastaiにあった。モデルをカスタマイズするときとかに結構自分で調べてやってる部分とかも載ってて良い
0
24
202
セカンドペンギンの話を思い出したけど、改めて読むとここの部分草
> ファーストペンギンって狂ってるので、すぐ飛び込むんですよ
0
64
199
久しぶりに深層学習モデルの高速化について社内勉強会で発表しました。FLOPs vs. 精度は良いけど実際の速度が遅そうなVision Transformerも最近はモバイルでも早いモデルが存在するよう。HybridでほぼCNNな感じだけど
MobileOne (CNN) vs. EfficientFormerV2 (ViT) ﾌｧｲｯ
1
30
196
ぬーびーにはXGBoostの小ネタ以降の話がめっちゃ参考になる / “Santander Product RecommendationのアプローチとXGBoostの小ネタ // Speaker Deck”
0
18
197
転職して1年たったので、クッソ面白くないポエム書きました / 研究者からエンジニアに転生して1年経ちました
0
55
190
提案手法が既存手法と比較して精度が0.5低い！
→ほぼ同等の性能を達成した
提案手法が既存手法と比較して精度が0.5高い！
→既存手法を上回る性能を達成した
0
29
191
何とも言えないタイミングでポエム記事が公開されました。最近はR&Dにおける組織や仕組みづくりと、プレイヤーとしても生きていきたいジレンマに日々悩んでいます。同じような悩みを持つ方と話してみたかったり
2
50
188
畳み込みニューラルネットワークをKeras風に定義するとアーキテクチャを図示してくれるツールを作った
1
49
184
下記のサーベイ論文の正式版が公開されました。和文Dのサーベイ論文は無償公開論文として公開されるようなので、誰でも閲覧頂けます！
畳み込みニューラルネットワークに関するサーベイ論文（with
@takayosiy
先生）が電子情報通信学会論文誌に採録されました。早期公開版のPDFおよびベースとなった研究会の発表資料も公開しておりますので、是非御覧ください！
#DeNA_AI
0
140
446
0
46
182
.
@conta_
さんのアノテーション効率化の研究サーベイ、めちゃくちゃまとまってて感動した（が実際この手法は良いとかあるのだろうか。個人的にはアノテーション簡単にするより、どれをアノテーションすべきか、hard exampleを見つけてくる、みたいな方が重要だと思っている）
1
39
183
Kaiming Heさん新作。
CNNは元々階層構造があるので複数解像度の特徴が必要な物体検出でもpretrainバックボーンが使える
ViTは解像度一定、階層構造を持たせたSwin Transformer等は個別にpretrainを行う必要あり
これに対しViTでも物体検出で性能出せるようにやっていくぞ論文
1
24
182
楽しかった！参加＆コメントいただいた方ありがとうございました！安定の
@ikki407
さんモデレート！
どうやって勝つかみたいなところは下記のスライドでも色々書いていたりするので是非参照いただければと思います！
#kaggle_findy
0
14
183
ｲｨ…
リモートワーク化のミーティング・プロジェクト・組織マネジメントのベストプラクティス的な資料
GitLabのあの資料と合わせて読みたい感じ
というかこの資料が2020年というのが凄い
2
19
177
深層学習系の解説資料がシリーズ化してきた。アップデートしていきたいな
CNNのアーキテクチャ
CNNを利用した物体検出
CNNの高速化
0
42
168
ｼｬｰで教えてもらったけど、ついにGoogle公式のPyTorchからTensorFlow Liteへの変換ツールが生えた（てた）らしい。
ONNX2TFがしっかり参照されてて凄い。
これtflite縛りのコンペも楽ちんですね？
0
35
169
良ブログ感が溢れているがどなたが書いているのだろう…
0
15
163
いっけなーい🔪殺意殺意💦私はデータサイエンティスト！毎日分析業務に励んでいるの✨でもある日「GBDTに丸投げしてるだけだし不要」ってクソ記事が現れてもう大変💦タスクに落とす過程で様々なことを考えているんだぞ💣💥次回「その前処理で特徴量にするお前の仕事のほうが不要じゃね？」お楽しみに💕
0
56
165
🐳コンペ反省会の資料です。主要kernelの説明、top solutionの解説等。このコンペ、上位がそれぞれ異なるアプローチだったり、シンプルなシングルモデルで精度が出てたりと、良コンペだったのではと思っています。
2
19
166
CNNの最新事例がポイントを抑えて解説されてる。ボリュームしゅごい。イリノイ大の講義資料？ / Advanced CNN Architectures / “Advanced CNN Architectures Akshay Mi…”
0
32
162
物体検出サーベイ
Object Detection in 20 Years: A Survey submitted to PAMI
Deep Learning for Generic Object Detection: A Survey submitted to IJCV
Recent Advances in Deep Learning for Object Detection;
ﾌｧｲｯ
0
39
162
今更だけど細かい話まで触れられていてFaster R-CNN系を理解するのにとても良い資料だ / “Object Detection and Classification using R-CNNs – Telesens”
0
32
161
やってる事自体はシンプルですっきり / ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発した論文を読んだ
0
51
161
本日のSSIIオーガナイズドセッション「深層学習の高速化 〜 高速チップ、分散学習、軽量モデル 〜」の講演資料「モデル高速化百選」の資料です！深層学習モデルを高速化手法を6種類に分類しそれぞれ解説しています（こっそり公開してたのに何故か既に16DLされてる…）
0
55
159
deep learningが筋悪そうな対象に対してdeep learningを比較対象にしていくスタイル / “富士通研究所：正解が少ないデータでも高精度に学習するAIの新技術「Wide Learning」を開発｜MotorFa…”
0
54
156
息子ちゃんが「にゅーとらるねっとわーくかいた」というので見たら、ニューラルネットワークだった。人工知能がうんちゃらという本を図書館で借りたらしい。
0
26
160
G2NetのLBがfinalizeしてGMになることができました！これまでチーム組んで頂いた・対戦して頂いた方ありがとうございます！
2020年、2021年は組織が別会社に承継されたり、下の子が生まれたりでほぼkaggleできなかったので、2022年は（こっそり）真面目にGM目指していたので嬉しい限りです！
5
5
161
読んだ。ShakeDropは、272層という深いネットワークで、出力をランダム変更されたり、勾配の正負を逆にされたり、訓練画像がマスクされたりする劣悪な業務環境で、1800エポックという長時間労働をさせられる鬼畜極まりない手法です
0
54
153
Kaggleのコンペでちょっとやってみた、3次元の回転角をクラスタリングするという誰にもニーズがなさそうな話を書きました。そこで利用している回転角（クォータニオン）の平均を求めるとかはまた使う機会ありそうですが… / 3次元の回転をクラスタリングする
0
26
155