satsuki
@nsakki55
Followers
938
Following
2K
Media
12
Statuses
348
Software Engineer / MLOps / Recommend / AWS / blog: https://t.co/teJoYqkRlD GitHub: https://t.co/rDH3VXi6Ut
Joined June 2019
外資ITのSoftware Engineer - Machine Learningのオファーをもらうために自分がやったことを記事にまとめました。.外資を考えてるML/DS職の人の参考になれば幸いです。. 外資IT企業のSoftware Engineer - Machine Learningのオファーをもらうためにやったこと.
4
56
778
2024年度のCyberAgent AI事業本部のMLOps新卒研修「基礎編」の資料を公開しました。. CyberAgent AI事業本部2024年度MLOps研修基礎編/.
0
76
499
2022年に話題になった「Machine Learning Operations (MLOps): Overview, Definition, and Architecture」の要点をまとめました。.
0
44
283
読んだ。Hugging Faceを活用してTransformerを扱う実装がまとまっていて、手を動かして理解できるのがよかった。.日本語訳をしてくれて感謝です。. 機械学習エンジニアのためのTransformers.
2
17
224
Microsoftが公開してるMLOpsに関するホワイトペーパーの要点をまとめた記事を書きました。.DSとエンジニアの関係に着目してるのが面白かったです。. MicrosoftのMLOpsホワイトペーパー「Breaking the Wall between AI and DevOps with MLOps」要点まとめ.
0
25
183
ML監視に取り組んだ記事を、会社のテックブログで書きました。 MLOpsにおける監視についてまとめて、具体的な取り組み方について紹介しています。. DynalystのML監視の取り組み事例 | CyberAgent Developers Blog.
0
25
172
Googleが公開してるMLOps実践のためのホワイトペーパーの要点をまとめた記事を書きました。.MLOpsの要素と全体像を知るのに良い資料でした。. GoogleのMLOps実践ホワイトペーパー Practitioners Guide to Machine Learning Operations (MLOps) 要点まとめ.
0
22
170
データエンジニアリングの基礎を読んだので、各章の感想を書きました。本文中で指摘されてるように、データエンジニアと他データ系職種の境界線は曖昧になっていくので、手元に置いておく価値のある一冊だと思いました。. データエンジニアリングの基礎を読みました.
0
10
161
「Data Engineering Study #23 Data orchestration 特集」の発表資料です. ワークフローオーケストレーション入門. #DataEngineeringStudy.
0
29
160
ワークフローツールを題材として技術選定のHowを言語してる記事。.技術選定のための思考のフレームワークを持ててなかったので学びが多い。.
0
17
151
MLのテストについて丁寧に紹介してる記事. Effective Testing for Machine Learning (Part I).
1
8
126
基盤モデルの運用に関わる周辺トピックがまとめられてて勉強になった。AWSサービス知らなくとも読める汎用的な内容だったので、AWS使ってない人も勉強になると思う。.
0
7
115
MLプロジェクトにアジャイル開発が適していないことを記述した記事.CRISP-DMという手法を初めて聞いた。. Why Agile Methodologies Miss The Mark For AI & ML Projects.
0
12
103
実サービスの機械学習システム設計について書かれた「Machine Learning System Design Interview」を読んだので、本の内容を紹介した記事を書きました。. 機械学習システム設計に特化した本「Machine Learning System Design Interview」を読みました.
0
6
96
AWSが公開してるMLOpsに関するホワイトペーパーの要点を一部まとめた記事を書きました。.CDの原則をMLに応用したものとして、MLOpsを捉えています。. AWSのMLOpsホワイトペーパー「MLOps: Continuous Delivery for Machine Learning on AWS」一部要点まとめ.
0
9
91
Gooleが公開してるMLOps実践のためのホワイトペーパー. Practitioners Guide to Machine Learning Operations (MLOps).
0
4
79
社内で発表したスライドを公開してもらいました！. 秒間数十万クエリをさばく機械学習モデルを継続的に再学習し稼働させる | CA BASE CAMP 2021
0
12
58
あとで読む. Data-centric MLOps and LLMOps Explore generative AI, RAG and more.
2
4
51
MLOpsのSaaSやOSSってこんなにあるんだ。国内の導入事例を自分が見たことがないのがほとんどだった。/ MLOps Landscape in 2023: Top Tools and Platforms.
0
7
51
LLM Agentワークフローを構築するためのControlFlowを試してみた記事を書きました。.まだまだ開発段階ではあるものの、外部ツール連携したLLM Agentの開発ハードルが下がりそうです。. LLM AgentワークフローツールControlFlowを動かしてみる.
0
6
51
データ基盤の全体像の中から、よく聞くツールの立ち位置が分かっていい記事だった。.データエンジニアリング関係のツール多くて、それぞれが達成したいことがあやふやだったのでありがたい。.
0
3
49
Pythonのテスト環境作成ツールNoxについて記事を書きました。.テスト環境作成ツールは、INIファイルで設定を記述するToxが有名ですが、NoxはPythonファイルで柔軟に設定を記述できるのが特徴です。. pythonのテスト環境作成ツールNoxを使う.
0
5
46
こちらの勉強会でワークフローオーケストレーションツールについて話します。.ワークフローツールのトレンドや、Airflow・Digdag・Argo・Prefect・Dagster・StepFunctionsの比較について話します。.
0
5
44
オブジェクト指向プログラミングのノウハウが詰まった本「現場で役立つシステム設計の原則」のサンプルコードをPythonで書いてみました。.
0
11
36
定期的に読み返したくなる.Rules of Machine Learning: Best Practices for ML Engineering.
0
4
31
「プロダクトマネージャーのしごと」を読んだ記事を書きました。 .プレイヤーとして働いてる人も一読すると、視座が上がるいい本だと思いました。 . プロダクトマネージャーのしごとを読みました.
0
3
32
AlacrittyというRust製高速ターミナルについての記事を書きました。. ターミナルをiTerm2からAlacrittyに変更した.
0
6
30
MLの予測確率値の評価はcalibrationが重要という記事。自分がいる広告業界ではよく取り上げられるけど、calibrationでモデル評価してますという記事はあまりみない印象。. The Unofficial Google Data Science Blog: Why model calibration matters and how to achieve it
0
1
31
読みました。AWSでラムダアーキテクチャのデータ基盤を設計する例が取り上げられていて勉強になりました。200ページなので気楽に読めるのが嬉しい。. クラウドでデータ活用！データ基盤の設計パターン.
0
2
31
Kestraのデータエンジニアの人が書いた2024年のデータエンジニアリングのトレンドについての記事.ソフトウェアエンジニアがAI技術にも職務範囲を広げてる影響から、データエンジニアの役職がより曖昧になっていくと指摘してる。. 2024 Data Engineering Trends.
0
3
28
Prefect 3.0が出てた！.2.0が出た時は1.0のサポートが終了したから、今2.0使っている人が今後対応する必要が出てくるか心配. Introducing Prefect 3.0
0
9
26
dotfiles管理をいい感じにできる方法を調べてたら、chezmoiというツールが良かったので記事にまとめました。.読み方はフランス語で「シェモア」らしいです。. dotfiles管理をchezmoiに移行する.
0
0
23
MLOps Advent Calendar 20日目に記事を投稿しました。 PrefectでワークフローをKubernetesで動かす方法を解説しています。 . PrefectワークフローをKubernetes Jobで実行する.
0
2
22
どのオーケストレーションツールを選択すればよいか書かれたPrefectの記事.現代のワークフローツールの比較要素はどこになるか参考になりそう.Prefect推しが強すぎるのでそのまま鵜呑みにするのはよくないかも. Orchestration Tools: Choose the Right Tool for the Job.
0
4
22
「入門 考える技術・書く技術」を読んだ記事を書きました。.文量が少ないため、ライティング技術を体系的に学んだことがない人の初めの一冊として丁度いい本だと思いました。. 入門 考える技術・書く技術を読みました.
0
1
21
Pythonプロジェクトのディ��クトリ構成一覧.用途ごとに意識的に構成を分けてなかったから勉強になった. Python Application Layouts: A Reference.
0
3
26
Prefect 2.0から3.0に移行する際に、必要な対応項目をまとめた記事を書きました。.1.0から2.0へのメジャーアップデートの時より仕様変更が少ないですが、対応必須な要素があるのでPrefectユーザーは注意が必要です。. Prefect 3.0のアップデートで必要な対応項目.
0
4
17
本番環境の機械学習モデルの監視について調査した記事。2020年の記事当時と今を比べると、IaaS, SaaS各社の努力のおかげでML監視の導入ハードルは低くなった印象がある。.
0
3
17
ドキュメント運用、勉強になる. Platform Engineering Kaigi 2024 で「開発者向けドキュメントの改善」をテーマに登壇してきました.
0
0
17
こちらのイベントでML監視の取り組みについて話します！.
12月のMLOps勉強会のイベントページを公開しました！.@tamaki_730 さんによる「モバオクでのリアルタイムレコメンドシステムの紹介」と @nsakki55 さんによる「DynalystのML監視の取り組み事例」になります！.是非イベント登録お願いします🙏.#mlopsコミュニティ.
0
3
16
LocalStackでエミュレートしたS3環境を使って、AWS Glue Jobをローカル実行・テストする記事に書きました。. LocalStackのS3環境を利用したAWS Glue Jobローカル実行・テスト方法.
0
1
14
> アウトプット(結論)を先に書く.自分は言語化や作文に対する苦手意識が強いので、文章構造で分かりやすさを取り繕ってる節がある。.2021年に世に出て、未だ色褪せない良記事。. 質の高い技術文書を書く方法.
0
1
14
今更だけど考える技術・書く技術を読んだ。相手の立場にたって考える重要性は、自分がずっと大事にしていた考え方だった。168Pとコンパクトなのが地味に助かる。. 入門 考える技術・書く技術――日本人のロジカルシンキング実践法
0
2
12
Prefect2.10から機能追加されたWorkerをKubernetesにデプロイする方法をブログ記事にしました / Prefect WorkerをKubernetesにデプロイする - 肉球でキーボード.
0
4
12
NLP入門書として評判な、自然言語処理の基礎を読みました。.出版時の2022年のtransformerベースのモデルに至るまでの周辺トピックが取り上げられてて読んでて面白かった。.
0
0
11
データに関する仕事をしてる人は手元に置いておくべき一冊だと思います。.
告知です！ . 私と同僚の金子さんで共同で執筆した書籍『Pythonで学ぶ効果検証入門』が、来月5月にオーム社さんより発売されます！🎉📚 . 内容としましては効果検証/因果推論に関する入門書です。発売まであと少しですが、ぜひ本書を手に取っていただければ幸いです📖 .
0
0
11
今話題のPrefectでMLワークフローツールを構築する記事を書きました。.Airflowからの移行を検討してる方の参考になれば幸いです。.
0
2
11
technical preview中だったPrefect 3.0が9月3日に正式リリースされることが決まったみたい。.Prefect Cloudの料金体系の変更は今のところなさそう。.
0
1
9
応用編の内容は、こちらの基礎編とセットとなっています。.
CyberAgent AI事業本部の2023年度新卒研修MLOps基礎編のスライドを公開しました。.
0
1
9
NTTのModern Data Stackホワイトペーパー.良いこと書いてある.> Modern Data Stackは進化し続けるトレンドであり,アーキテクチャが完成することはありません 自社の目指す姿をとらえ,今の実現できる技術と先を見据えたアーキテクチャを検討して改善を続けることが求められます.
0
1
8
GlueJobでのicebergテーブル操作のtestについての記事を書きました。Glueというよりは、ほぼpysparkに関する内容です。. GlueJobのicebergテーブル処理テストをローカルで実行する.
0
0
7
Prefectを経てからDagster触ってみた所感として、公式のドキュメントとサンプルコードが整備されていて、ECS ・k8sでワークフロー動かせるようになるまでの初速が全然違くて衝撃だった。.
0
1
7
SageMaker Endpointの推論速度改善の簡単な実験をした記事を書きました。.レイテンシーを最小5msまで下げられることを確認しました。.
0
0
6
不要やカラムや値が入ったcsvを自動で整形してくれるpython ライブラリ.Excelから出力したcsvから、余計な空白を除く作業をやることがあったので地味に嬉しい.
0
0
7
snowflakeに追加された 「group by all」という書き方、非常に便利。group by のカラムを毎回書き直してた手間がなくなった。 .
0
1
5
私の大学のAI分野とされ出る専攻での機械学習演習は、PFNのネットの資料をGoogle colaboratoryでコピペして動かすというものなのだが、他大学の授業形式が気になる.
0
0
3
SageMaker で独自スクリプトを用いた学習ジョブを実行する記事を書きました。3rd party・自前ライブラリで公式の学習ジョブ環境を拡張する方法をまとめています。.
0
0
4
AWS Certified Machine Learning - Specialty試験を受けたので、AWS上で開発してるMLエンジニアが受ける必要がある試験か意見を書いてみました.
0
0
4
推論速度改善のベストプラクティスの一つとされる、PrivateLinkを介してSageMaker Endpointへのリクエストを送るまでの手順をまとめました.
0
0
4
藤田さんの説明、めっちゃわかりやすい.事業立ち上げにデータサイエンティストは必要なのか？ | CA BASE NEXT - CyberAgent Developer Conference by Next Generations #ca_base_next #session_5
0
0
3