pao
@pppaaaooo
Followers
3,541
Following
1,179
Media
218
Statuses
8,215
Kaggle Grandmasterだったり、atmaCupとかkaggle days championship得意だったり、麻雀好きだったり。息子が可愛すぎてすばら！
名古屋
Joined January 2010
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
HAPPY TWENTY FOURTH
• 397103 Tweets
Chelsea
• 113810 Tweets
Liverpool
• 101178 Tweets
#ブルアカらいぶおーたむSP
• 100940 Tweets
#光る君へ
• 69400 Tweets
ルメール
• 59099 Tweets
#虹7th_day2
• 48331 Tweets
ピーコさん
• 35998 Tweets
ジャイアンツ
• 32341 Tweets
BUILD TEAM FJR
• 28374 Tweets
おすぎとピーコ
• 22750 Tweets
リラックマ
• 20076 Tweets
#ホロDTBトーナメント
• 19316 Tweets
日本シリーズ
• 17977 Tweets
オッドストーリー
• 17063 Tweets
#海に眠るダイヤモンド
• 15905 Tweets
ベイスターズ
• 14271 Tweets
ANG GALING SA STELLBOUND
• 13954 Tweets
堂島の龍
• 13740 Tweets
CHOOSE TO BE KA-TROPA
• 12699 Tweets
双子の弟
• 12451 Tweets
Transformer・強化学習の仕組みからRLHFまで、ChatGPTの中身詳しく解説してるｼｬの記事が出ました！
前編後編あって、めちゃ細かくすごい....
0
132
820
DeepGBMという手法について論文公開前だけど鮮度重視でまとめました。
簡単にいうとLightGBMの筆者がGBDTをNNで蒸留することで良いとこどりしようというもの。
要注目？DeepGBM: ニューラルネット+GBDT（速報…
0
130
525
弊社の新卒ツヨツヨKaggle Masterの弱教師あり学習 x LightGBM記事です！
弱教師あり学習おもしろい！
0
39
398
GPTモデルの取り組みの中身について書きました！
あまり世に出てない話だと思うので、出来る限りオープンにしたいと思い、ブログにしました。
今回は全体的な話で続編も準備中です！
0
88
389
（1日半経ったしもういいよね）
Kaggle Grandmasterになれました！！
Kaggleを始めて6年....金取れたコンペもそうでないものも含め一つ一つの積み重ねなので感慨深いです。
これまでチームを組んでくださった方々のおかげでもあります。ありがとうございます！
8
8
389
コンペも終わったので、転職エントリーついに書きました！（なんだかんだトゲのない優しい記事になりました）
はてなブログに投稿しました #はてなブログ
転職エントリ ~大企業と育児と年齢とKaggleとキャリア~ - Paoの技術力を…
0
59
345
先月末でｼｬのマネージャーを終え、プレイヤーに戻ることになりました！
せっかくなので、珍しくキャリアについての話とか振り返りとか書いてみました。スペシャリスト？マネジメント？とかキャリア色々悩んでいる方いたら読んでもらえると嬉しいです！！
4
60
337
Langchainとかで、RetrievalしてLLMでQAとか(いわゆるRAG)するの実際結構課題あるよねとかこんな対策もあるよね的な記事書きました！
1
48
298
EDAに関してのブログを書きました！
可視化の方法とかじゃなくて、データをどう見るか的な話です！
0
28
295
某コンペにも使える....かも?
というか普通に勉強になる良記事です！
0
25
243
優勝賞品でもらったPCスペック確認したらこれでした....やべぇこんなラップトップあるんか
(A5000入ってないとか何人かに言ったけど嘘でした)
0
8
204
ここ最近、VSCodeでの日本語入力バグってめっちゃストレスだったんだけど、これだった。神記事....
0
40
194
LLM用日本語コーパスをCommon Crawlから作る前処理の過程をブログにてまとめました！
地味で大変な作業でしたが、割と細かく書いたつもりなので、よければ読んでみてください！
0
43
193
というわけで、巨大GPTモデルを作りました！！
色々と大変でしたが、ちゃんと学習できました💪
ABEJAでは最大130億のパラメーター数を持つGPTモデルの学習を行いました📢✨一部モデルについては公開予定です！
取り組みや技術的詳細について、弊社TechBlogにて公開する予定です！お楽しみに😊
#SIX2022
1
61
235
1
20
190
麻雀の強化学習試したときがまさにこれが大事だった。いきなり和了を報酬にしても難しすぎるので、3シャンテン、2シャンテン、、って段階踏むと学習できる。
ちゃんとそういう分野があったのか。
学習しやすい順番でタスク/データを与えていくカリキュラムラーニングについての解説記事。Elman先生による最初の提案から始まり、近年の研究までが手法ごとに分けて紹介されている。
0
20
150
1
37
182
tqdm, 処理速度がまちまちなループのとき終了予測時間がぶれるんだけど、smoothingってパラメータあってこれを0にしとけばいいのか！（全体平均になる）
0
15
184
欠損とか不規則な時系列データでも微分方程式でゴニョゴニョすればゴニョゴニョなるらしい！
0
34
180
LightGBMでの学習率動的に変える話が少し前に話題になってたけど
・learning_ratesってパラメータで学習率をround毎のリスト指定できる
・KDDCup2019のautoml優勝チームがそれ使って学習率を減衰させている
というのを知って衝撃を受けている
1
22
166
タイトルがストレートw
そして少しLangchainにContributeした身としてもわかりみ（批判とかではなく）
そして自作ライブラリ作ってみたり中身はちゃんとしている良記事です！
0
27
166
今年発表された生成AI系のモデル追いつけなかったあなたにオススメ！（ブーメラン
0
20
161
GENIACの取り組みの中で構築した商用利用可能な400B token超えの大規模日本語コーパス「ABEJA-CC-JA」を公開しました！！
mC4やCC100、OSCARなどの既存コーパスよりも大きくて新しくて、（多分）きれいです！！
1
35
161
Kaggle Days Championshipで優勝した話を、ブログに書きました!!
コンペ自体の話もイベント全体的な話も書いていますので、よければ覗いてみてください!!
0
24
146
GPTのブログ第三段です！
PaLMとかの論文を参考に、大規模モデルのアーキテクチャ工夫したり、その実験結果について書いています！
パラメータサイズそのまま大きくしただけではないよ！って話です！
0
20
134
Mixtral8x7bの日本語向け継続事前学習を実施して、モデルとMegatron-LMでのソースコードを公開しました！
（モデルはPost-training前なのでご注意ください）
0
18
122
最近息子が可愛くなり過ぎてて、しばらくKaggle引退しようか考えてる。Kaggleやってる時よりやってない時のほうが、息子と戯れてる時間が幸せに感じれるんだよな...
2
0
119
分子コンペ3位ソリューション。BERTで学習。分子構造でBERTって、まじか。
0
26
118
3~4年前にNVIDIA株買っていた自分を天才かと思ったけど、何故か一般口座で買ってて確定申告訳分からんことになっているのでただのアホだった
1
2
111
公平性難しいなあ。
（社のPRML読める弁護士による記事）
0
16
114
8
1
117
天鳳で10段までいって話題だったMicrosoftの麻雀AI「Suphx」の論文。
深層強化学習をベースとしていて、麻雀向けに様々な工夫をしている。
軽くしか読んでないので間違えてるかもですが、内容は以下のスレッドで
1
26
110
データサイエンティストとは何か？
よくtwitterで盛り上がっているので書きました！LGTMお願いします！！
0
8
110
シャの今日のアドベントカレンダーなんですが、こんな記事書けるのにデータサイエンティストじゃなくてバックエンドエンジニアなんですよね....どうなっているんだ笑
0
15
107
最近マネージャー業務でコード書く時間も取れないし、kaggleもチームメイトにかなり助けられてたり、atmaCupも結果出なかったりで、もう限界なのかな....って思ってたところだったので、ほんとに嬉しい
2
0
104
ざっくりDSB 10th Solution書きました！
色々試したけど、結果的にはシンプルなほうだと思います！
0
12
102
シャのアドベントカレンダーですが、超解像とかFlowとか日本語解説あまりないのでありがたい
0
9
100
いつまでもmalwareコンペのことを忘れないように、、Public1位まで行ったのに技術的な話全然出てこないkaggle日記です！
#はてなブログ
【kaggle奮闘記】malwareコンペ〜天国と地獄〜 - Paoの技術力を…
1
18
96
転した会社、2回しか出社してないうちに、オフィスがWeWorkに移転する。
コスト減ってビール飲めるようになるとか優勝では？
【プレスリリース】
株式会社ABEJAは、Withコロナ／Afterコロナの時代に即したフレキシブルな働き方をより一層推進すべく、2020年9月1日（水）より、the ARGYLE aoyama 内「WeWork」に本社オフィスを移転いたします。
0
5
17
3
4
91
１位とか滅多にないので、せっかくなので書きました！
はてなブログに投稿しました #はてなブログ
atmaCup
#2
（オフラインコンペ）で優勝しました - Paoの技術力を磨くブログ
0
21
91
もはやIT業界は、警察にサイバー関連で不当に補導・逮捕された学生に対して、その前科をポートフォリオとして、採用優遇したらいいのではないか。
だいたい優秀な気がするし、その芽を摘まないように。
今娘と話をしてたんだけど、中学校のPCが先生が中央コントールできるようになってるんだけど、タスクマネージャ開いてあるプロセスを殺すとコントロールできなくなることに気づいたと言っており、これはほうっておくと兵庫県警に補導されそうなので気をつけなればと思った。
35
4K
7K
0
47
88
AdventCalendar書きました！
こないだ話題になった好きなアニメのやつでランキングしたりWord2Vecした遊び記事です🤗
2
16
91
@faridyu
私はkaggleと呼ばれる世界規模のAIのCompetitonに参加しており、そこで優勝するために使います。
さらに優勝後、日本のAI技術の発展に貢献します。
GPUはディープラーニングと呼ばれるAI技術に必要なものであり、スペックの良さ・数が大きく影響し、2080ti2台というのはそれに見合うものです。
0
22
89
優勝賞品として、なんか良さげなモバイルワークステーションとA6000もらいました☺️
0
0
90
Kaggledays Championshipで優勝したときの話と短期間でのモデル構築の話を来週させていただくことになりました！
興味ある方いたらお越しください！
0
5
87
久々の麻雀x機械学習ネタです！
はてなブログに投稿しました。 #はてなブログ
麻雀の危険牌を予測する part1 ~解釈性を添えて~ - Paoの技術力を磨くブログ
2
9
86
転職考えるにあたって、カジュアル面談先探してます。
データ分析・機械学習扱っている会社で、うちの会社どうですか？等あればDMください。
kaggle&小さな子持ちに理解ある会社希望です。
※拡散までは希望しません！
7
4
83
モデル自体の公開もありがたいけど、Llama2ベースに日本語追加事前学習でかなり性能出ることをオープンに示してくれたことにすごく価値があると思う
【お知らせ】Llama 2をベースとした商用利用可能な70億パラメータの日本語言語モデルを公開しました。ブログにて特徴や性能について紹介しているほか、推論用コード、性能評価用データセットとその評価結果もすべて公開しています。（1/3）
7
379
1K
0
5
80
土地探しを頑張るアドベントカレンダー記事書きました！
2年前に書いた引っ越し記事の続編(？)です
1
9
80
DSうんぬんの話。色んな会社が自社のそれっぽいポジションにデータサイエンティストという名前つけてるだけなので、当然会社によって求められるスキルも違うし、皆言うこと違うのはそれはそう
0
12
76
マイナーコンペですが、Quevicoの給料予測コンペ1位フィニッシュしましたー！
急にPrivateLBが現れたり、審査で落とされる可能性もあるので確定ではないです🙏
2
4
75
時系列問題の多くが、短期間では安定せず長期間での評価が望ましいが
・時間でTrain/Testに分けるとTest期間のTarget情報を与えれない
・だいたいの場合、直前のTarget情報は大事でこれ使えないと、精度も下がるし実問題で解きたいものと変わってしまう
続く
1
9
69
今月Unlimited登録してたので、kaggleのEDA本（kaggleで上位に入るための探索的データ解析入門 ）さっと目を通してみた。
変にKaggle名乗らないほうが良本だったかも
2
2
70
やっていき💪
ABEJAのLLM開発事業案が、経済産業省所管のNEDOの公募に採択されました。ABEJAは計算リソースにおいて助成金を受け、日本語LLMや周辺技術の開発を行います。ABEJAは開発したLLMやソースコード、開発ノウハウなどを適宜公開し、LLMの社会実装を推進してまいります。
1
25
109
0
0
68
GPTモデル作成に関するブログ第二弾です！
今回は大規模モデルの学習を支える並列学習についてのお話です！🖥️🖥️🖥️
GPTに限らず大規模モデルを学習する際に活用できる内容かと思います！
1
4
64