HB
@levelfour_
Followers
2K
Following
8K
Statuses
4K
gradually attempting emigration to https://t.co/Uj3oDOwSRj
Joined March 2010
RT @SakanaAILabs: “TAID: Temporally Adaptive Interpolated Distillation for Efficient Knowledge Transfer in Language Models” has been accept…
0
28
0
Worked out 2 papers on invopt in #AISTATS2025! This is achieved after long-time discussions with @shinsaku_sakaue during past 2 yrs. Quick summary: 1) loss function in invopt ≒ Fenchel-Young loss 2) ill-posedness of invopt is lifted by prediction market
Excited to share that we have two papers accepted at #AISTATS2025🎉🎉 Both tackle inverse optimization—one through online learning, the other via prediction market. See you in Phuket!
0
0
17
RT @shinsaku_sakaue: Excited to share that we have two papers accepted at #AISTATS2025🎉🎉 Both tackle inverse optimization—one through onlin…
0
3
0
🧗♂️Why GD converges beyond [step size]<2/[smoothness]? We investigate loss functions and identify their *separation margin* is an important factor. Surprisingly Renyi 2-entropy yields super fast rate T=Ω(ε^{-1/3})! (collab w/ @shinsaku_sakaue @YukiTakeza)
0
5
30
RT @HakubiProject: 小俣ラポー日登美 特定准教授（人文科学研究所）、包含 特定助教（情報学研究科）、松本徹 特定助教（理学研究科）、佐藤駿 特定助教（理学研究科）がシンポジウムを行います。 【日時】2025年3月8日（土） 13：30～17：30 @Hakub…
0
6
0
微力ながらも共同研究させていただきました。TAID は生徒が自分自身を教師とする自己蒸留（self-distillation）にちょっと似ているのですが、個人的興味としてはなぜそれがモデル崩壊を起こさないのかという点は興味深く、自己蒸留との対比で分析しました。
この度、新手法「TAID」を用いて学習された小規模日本語言語モデル「TinySwallow-1.5B」を公開しました。 私たちは、大規模言語モデル（LLM）の知識を効率的に小規模モデルへ転移させる新しい知識蒸留手法「TAID (Temporally Adaptive Interpolated Distillation)」を開発しました。この手法では、小規模モデルの学習進度に合わせて大規模モデルの知識を転移させることで、効果的な知識転移を実現します。この研究は機械学習分野の国際会議ICLR 2025に採択されました。 論文: GitHub: そして、TAIDを用いて32BパラメータのLLMから約1/20の大きさの1.5Bパラメータの小規模言語モデルへ知識転移を行い、同規模のモデルの中で最高性能となる日本語モデル「TinySwallow-1.5B」を作り出すことに成功しました。 小規模サイズである「TinySwallow-1.5B」は、外部APIなどを介さずお手元のスマートフォンやPCで完結したチャットが可能です。下記のウェブアプリのリンクから、ブラウザ上で動作するチャットアプリをお試しいただけます。 デモ: GitHub: モデル:
0
11
75
RT @SakanaAILabs: この度、新手法「TAID」を用いて学習された小規模日本語言語モデル「TinySwallow-1.5B」を公開しました。 私たちは、大規模言語モデル（LLM）の知識を効率的に小規模モデルへ転移…
0
670
0
RT @iwiwi: ICLR'25に採択された知識蒸留の新手法「TAID」を公開しました！教師モデルの力を活用し小規模モデルにギチギチに知識や能力を詰め込む事ができます。そして実証を兼ね東京科学大学のSwallowチームと共同開発した日本語小規模言語モデル「TinySwall…
0
111
0
RT @myamada0: Are you exploring SSL including SimSiam or BYOL? Why not consider PhiNets? PhiNets is a brain-inspired SSL method that d…
0
2
0
#ICLR2025 Thrilled to share our edgy SSL arch, Φ-Net🔱 We identify similarity bw BYOL/SimSiam & hippocampus model (CA1/CA3), leading to a new neuro-inspired arch with dynamics analysis. Joint work with Satoki (Science Tokyo), Makoto (OIST) & Yuki (KyotoU).
内嗅皮質、海馬、新皮質の関係性に基づいた表現学習手法(PhiNet)を提案しました！ 従来の表現学習手法に比べ、ハイパラ(weight decay)に頑健であることや継続学習に適している特徴があります。東京科学大の石川さん、京大の包さん&竹澤さんとの共著です。#ICLR2025
0
2
28
RT @myamada0: 内嗅皮質、海馬、新皮質の関係性に基づいた表現学習手法(PhiNet)を提案しました！ 従来の表現学習手法に比べ、ハイパラ(weight decay)に頑健であることや継続学習に適している特徴があります。東京科学大の石川さん、京大の包さん&竹澤さんとの…
0
9
0
RT @myamada0: 研究室運営して8年くらい経ったので、山田がどのような研究室運営をしているかまとめました。あまり参考になるかよくわからんけど、少しでも誰かの研究室運営の参考になるといいな！
0
33
0
RT @koh_t: 梅谷 俊治 (リクルート) @shunji_umetani will give a talk “A tutorial on metaheuristics for combinatorial optimization problems” at Kyoto…
0
5
0
RT @sho_yokoi: バンクーバー着弾しました。#NeurIPS2024 に現地参加の皆さん、ぜひ色々お話しましょう〜！ とくに NLP や表現学習、あるいは言語そのものにご興味がある皆さん、共同研究の機運を高めるご飯など行きましょう 🍚
0
2
0
RT @sho_yokoi_: Arrived in vibrant Vancouver, the host city of #NeurIPS2024 🛬 Excited to present intriguing links between word frequency (Z…
0
6
0
来週 12/5 (木) 13:30〜 に深層学習理論で精力的に活動しているプリンストン大学の Jason Lee 氏が京都に来るのでセミナーしてもらうことになりました。皆さま奮ってお越しください。
0
8
46
RT @sho_yokoi: 光栄にも #IBIS2024 の最優秀プレゼンテーション賞をいただきました🏆 クレバーな共同研究者各位のおかげです。聞きに来てくださった皆さんありがとうございました！ 表現学習は機械学習としても自然言語処理としても大変面白いトピックですし、今後も分…
0
26
0
RT @Yuki_arase: #IBIS2024 でのチュートリアル資料を公開しました．言語処理の外からは見えにくい，言語処理が（時に暗黙的に）前提とする構造や仮定を明示して数理的なモデルとリンクするように構成しています． ※わかりやすさを優先して一部説明はざっくり＆抽象化し…
0
47
0