AI・機械学習チームのブログリレーも9日目になりました。同チームの横本@yokomotodです。 本日はJavaとGoを題材に並行プログラミングまわりの自由研究をしたお話をしてみたいと思います。 3部構成で、パート1では発端となった「排他制御」について、パート2では「メモリの可視化」について、それぞれJavaとGoを比…

はじめに はじめに dbt はそもそもツールとして何を行なうか ELT における Transform について dbt が担っている機能 dbt は技術的にどのようにして Transform を実現しているか Jinja テンプレートによる SQL の生成 各種データ基盤に向けたデータ変換の手続きの抽象化 生成された …

はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある …

はじめに はじめに データ基盤におけるバッチのオーケストレーション 移行時の課題 Helm を活用した dbt 実行基盤の構築 Helm の採用理由 Helm ���よる dbt を実行する template の記述 Helm による k8s Job の実行 実行時の冪等性を確保する dbt の工夫 さいごに DRE&ML…

はじめに はじめに 移行前のデータ変換処理の仕組み 移行時の課題 移行時デグレの検知の仕組み CLI の整備 変更内容の検知 パラメーターの生成 GitHub Actions の整備 Continuous Integration (CI) plan-catalogs audit-catalogs Continuous …

はじめに DRE Team の hyamamoto です． 皆さん，Spark は利用されていますか？ Gunosy では Digdag + Athena によるデータ整形が増えてきており，徐々に Spark の利用は減ってきています． 思い返すと，昨年入社後の OJT も Spark から Digdag + Athe…

What's Changed Features feat: Implement update condition for merge strategy by @svdimchenko in #431 feat: add config for s3_tmp_table_dir by @hiro-o918 in #434 Fixes fix: wrong num_retries c...

こんにちは。今回から数回にわたり先日紹介した『Gunosy 第10期上半期締め会』の表彰式で受賞した社員へのインタビューをお送りします！記念すべき第一回は「日々の地道な改善を行なうことで持続的な...

はじめに 既存の A/B テスト管理基盤の課題 新規 A/B テスト管理基盤 方針 構成概要 Go 言語による A/B テスト管理基盤の作成 validation 機能の整備 A/B テストの定義コードの自動生成 private package として A/B テストの定義コードを公開 A/B テストの設定の履歴管理 …

今回は mypy plugin を利用して、型安全に対応していないライブラリを型安全にする方法を紹介します！ 具体的にはエムスリーが開発する機械学習パイプラインツールである gokart を対象とし、mypy plugin を用いてどのように型の課題を解消したかについて解説します。 対象読者としては、既に gokart…

こんにちは, プロダクト開発部の今村です. ここ一年ほど, 主にグノシーのプッシュ通知基盤の部分的なリプレイスや機能追加をしていました. この記事ではプッシュ基盤の構成を紹介したいと思います. 概要 FCMのAPIを呼び出す部分 サーバーのスケーリング 送信対象の読み込み 送信の流れ その他の工夫 重複配信の防止 パフ…

はじめに こんにちは、DR&MLOps チームの hyamamoto です。 もうすぐ新居への引っ越しを控えていてバタバタしながらも、期待に胸を膨らませています。 さて、今回は Redash のクエリを検索するツールを OSS として公開した話をします。 はじめに 背景 技術仕様 画面例 アーキテクチャ コンポーネント…

本記事は、Gunosy Advent Calendar 2020 11 日目の記事です。 前回は Shohei Hida さんの「Argo RolloutsによるKubernetesでのCanary Deploy」でした tech.gunosy.io はじめに はじめまして．20 卒で GTL 所属の山本です． 入社し…

こんにちは、hyamamoto、TksYamaguchi、imamura、m-hamashita です。 今回の記事は、4/20, 4/21 の 2 日間に開催された AWS Summit Tokyo 2023 に参加してきたので、その参加レポートになります。 Gunosy によるコンテンツ Gunosy 社では、AW…

はじめに こんにちは、 Gunosy Tech Lab 所属の m-hamashita です。僕はほとんど全てのエンジニアブログのレビューに参加しているのですが、アドベントカレンダーの時期は大変ですね。 この記事は Gunosy Advent Calendar 2022 の 12 日目の記事です。 11 日目の記事は楠…

バンダイナムコネクサスは、バンダイナムコグループの中でも最大規模のデータ分析チームを抱えている会社で、ゲーム分析を始めとしたバンダイナムコグループのエンタメ領域全般のデータ分析を幅広く手掛けています。ここでは、バンダイナムコネクサスの齊藤一織氏が、実際のゲーム分析の流れや事例などを紹介しました。

はじめに こんにちは、DR&MLOps チームの hyamamoto です！ 最近犬と一緒に生活するようになり、Slack やら Twitter やらで犬のことばかり書いています。 今回は AWS profiles のコンテキストマネージャーを作成したので、会社のブログを使って宣伝したいと思います。 github.co…

Gokart solves reproducibility, task dependencies, constraints of good code, and ease of use for Machine Learning Pipeline. - m3dev/gokart

はじめに 導入の背景 Bazel とは Bazel の特徴 比較対象 GNU Make Pants 導入の流れ 導入時に得た開発上の Tips Bazel の出力フォルダ構成 --sandbox_debug オプションでデバッグ Starlark に慣れる GitHub でコード検索 sandbox 環境であることを理…

こんにちは、 m-hamashita です。 最近、広告のスコアリングサーバをフルリプレイスしました。 今回はフルリプレイスした背景と設計、Istio を用いたサーバ移行について紹介します。 背景 広告のスコアリングサーバとは なぜスコアリングサーバをフルリプレイスしたのか スコアリングサーバのアーキテクチャ Isti…

はじめに こんにちは、DR&MLOps チームの hyamamoto です！ こちらの記事は Gunosy Advent Calendar 2021 の 6 日目の記事です。昨日の記事は楠さんの『SaaS Redash 終了に向けた対応と分析の民主化（方針編）』でした。 今回は前回記事の続編になるので、ぜひ前編から読ん…

Related: #7887 Description I found that uploading build context to kaniko pods sometimes stacks when copying build context on same conditions. I inspected a pod on stack and found three things. i...

ASIAN KUNG-FU GENERATION · マジックディスク · 曲 · 2010

What implement mypy plugin for gokart.TaskOnKart This plugin checks the following when all the parameters are typed: The parameters passed by the constructor are valid type There are no missing p...