FQC🤗
@FQCme1
Followers
488
Following
7K
Statuses
3K
某エイアイベンチャー→SB Intuitions/ pytorch / SecHack365 '20 / 文埋め込みが好き /※ 個人の見解です/ RAGの基盤技術開発をしています
東京勤務
Joined January 2019
RT @bclavie: More ModernBERT! @sbintuitions's intern, @hpp_ricecake led a project to train a 🇯🇵Japanese ModernBERT, and it seriously delive…
0
14
0
RT @hpp_ricecake: 日英4.4T tokensで学習した日本語ModernBERTを公開しました！！ 系列長8192、語彙数は日英10万、パラメータ数130Mながら既存largeモデルと同等以上の性能があります 12データセットによる既存BERT系モデルの網羅…
0
87
0
SB IntuitionsのRAGチームの最強インターン@hpp_ricecake -sanが学習した日本語BERTが公開されました!! MITライセンスなので、ぜひ"令和最新版"のModernBERTをみなさんのデータでファインチューニングしてご活用ください!!
／ 📢 130Mパラメータの高性能・長系列対応BERTモデルを公開しました‼️ ＼ 📝 モデルの特徴 ・2ヶ月前に公開されたばかりのModernBERTアーキテクチャを採用 ・これまでの最良モデルと同水準の性能を1/3のサイズで達成 ・一般的なモデルの16倍の長さの文章を処理可能（日本語最長） 詳細はこちら⬇️
0
5
39
おおおおおお！ 制度利用していきたいぜ！（中の人）
／ 📢 社会人ドクター進学支援制度 導入のお知らせ ＼ SB Intuitionsは働きながら博士号取得を目指す方を支援する「社会人ドクター進学支援制度」の導入を決定いたしました。 詳しくはこちら⬇️ #SBIntuitions #社会人ドクター #進学支援
0
0
11
@hpp_ricecake @63556poiuytrewq 繰り返し検索をするとコンテキスト長がネックになりそうなので、関連度の高い文書のみをrerankingで絞っていても不思議じゃない気がします（知らんけど）
1
0
2
アプリケーションレイヤーのプレイヤーの技術的な勝ち筋として、（汎用モデルを使った）LLMエージェント + ドメイン/企業特化小規模モデル の可能性を感じた。ニューラル検索モデルであれば、100M < パラメタでもドメイン特化基盤モデルで十分な精度が出るので学習に対するROIが高いので。
0
1
11
RT @hotchpotch: Ask! NIKKEI RAG検索技術の深層という内容で #nikkei_tech_talk で話しました！検索システムは、クエリ展開・ハイブリット検索(日経SPLADEモデル)、2ndフェイズの日経Judgeモデル(LLMの評価スコアを学習)と…
0
55
0
先日公開したテキスト埋め込みモデルSarashina-Embedding-v1-1Bのテックブログの後半を公開しました。 （たぶん）あまり知られていない埋め込みモデルの学習データ量のスケーリングについて実験しています。 埋め込みモデルにもスケーリング則はありま………↓
／ 📢SB Intuitionsテックブログ 新着記事のお知らせ‼️ ＼ 『Sarashina-Embedding-v1-1B』解説の基本編に続き、発展編を公開しました✨ 学習方法や埋め込みモデルに大規模データ学習させた効果について解説しています✍️ #SBIntuitions #SBIntuitionsテックブログ
0
7
42
RT @yuisudo24: 本日付でSB Intuitionsに入社しました。 社会人14年目にして初めての転職で慣れないことばかりですが、引き続き音声をメインに面白いことができるよう頑張っていきたいと思います！
0
10
0
RT @umiyuki_ai: そう言われると、たしかにOpenAIなんかに年間4500億円も払うくらいなら基幹エージェントAIくらい自社でDeepSeek-R1とかをベースに開発すりゃいいじゃねえかって気がしてくるし、他社だってCristalに4500億円払うより自社開発する…
0
31
0
RT @SakanaAILabs: この度、新手法「TAID」を用いて学習された小規模日本語言語モデル「TinySwallow-1.5B」を公開しました。 私たちは、大規模言語モデル（LLM）の知識を効率的に小規模モデルへ転移…
0
676
0