@data_analyst_
知ることに強い興味があり、うまくやるのが多分得意。フリーランスで活動する「データを使いやすくする人」たまに「データを分析してインテリジェンスを提供する人」。その実態は謎のデータ分析業界ウォッチャー。最近のテーマは「もっとうまくやる」こと。
@015_7793_727
@cherche_une
@ACEIndonesia
@memo_spm
@Michael68764131
@turk_ifsa2019
@EtherealLilacs
@RobRamirez52
@TransportMv
@bxeannaa
@iceColdCaKe
@starznx12
@sr4ngD2v4gHirE1
@VenturAnonymous
@HK_MR_J
@GordonQuinn18
@PresidentABO
@ginzakuzaku
@OuterHebs
@SNKRSCHAMP187
2022/04/07 初版公開 お問い合わせ先 Twitter:@data_analyst_ メールフォーム:https://bit.ly/37orRqa 執筆者:しんゆう ブログ:データ分…
「分析をどうやるか」は重要、「なぜ分析を行うのか」も同じぐらい重要 手法やツールで「分析をどうやるか」の話はたくさんあるが、「なぜ分析を行うのか」についてはなぜかあまり触れられていない。 「日本では家では靴を脱ぐ」ぐらい当たり前だから誰も語らないということあれば杞憂だった、で済むがそうでもないらしい。 「分析」を行う際に考えておくべきこととして、「なぜ分析を行うのか」をできるだけ簡潔に説明す...
なぜいらないダッシュボードを作らないようにしなければならないのか いらないダッシュボードとは、作っても見返りがないか、見返りがあっても非常に少ないダッシュボードのことである。作っても最初から誰も見ていないのは論外であるが、そうでなくてもいらないダッシュボードがたくさんある。 作ったが最初だけで今は誰も見ていない 意思決定の役に立たない 作るのにとても手間がかかる 維持管理にコストがかかりすぎる...
未経験からデータサイエンティストを目指した「分析少女」に起きた悲劇とは。一部の怪しいデータサイエンティスト養成スクールへの警鐘を鳴らす物語。
作成者 :しんゆう@データ分析とインテリジェンス ブログ :https://analytics-and-intelligence.net/ Twitter:https://twitter.com/data_analyst_
まずやってみるのはいいけれども限度はあるはず。それはどこだ サッカーに興味があるならば、ルールブックを熟読するよりも先にとにかくサッカーをやってみるのがいい、ということに反対する人はあまりいないと思う。 とはいえ全く何も知らないのではゲームが成立しなくなってしまうので、最低限知っておくべきことはあるはずだ。例えば、どうなったら得点になるのかは必須だろう。あとはゴールキーパー以外は手を使っては...
データ分析の失敗にもいろいろある 「データ分析」といっても範囲は広い。ある意思決定のためのプロセス1つだけでもたくさんのフェーズがあり、それぞれにまたたくさん失敗する要因がある。 そんな中でも「プロセスを始める前に失敗が約束されているデータ分析」になる要因は共通していると考えられるので、まとめてみる。 こんな「データ分析」では始める前から失敗している 決めてから始める 行動した後に始める...
意思決定と分析のプロセスをデザインする データを処理する手法やプログラミングは以前から話題には登っており、ここ数年ではデータ基盤の構築にも注目が集まりつつある。一方でデータ分析やデータ活用の全体像の議論はあまりされていないと感じている。 そこでデータ活用の全体像を考える、としたいところではあるがあまりに広い領域なのでまずはデータ活用の中心となる「データ分析」から取り掛かることにする。では何が...
「仮説」を気軽に使っているけど、大丈夫? データ分析では「仮説」が良く話題にのぼるが、筆者は仮説という言葉があまり好きではない。 なぜならば、「仮説」というのは今そう思うことやすぐに思いつくこと、あるいはそうなって欲しいことになりがちだからだ。 「仮説を証明する」とか「〇〇がうまくいったか調べたい」なんてよく言われるが、これは仮説の間違えた使い方だ。仮説も考えるための道具であり、正しく使わな...
データ分析の最初に必要なのに足りていないのでは 「データ分析」といってもその範囲は実に広い。全てを同時に視野にいれようとすると収拾がつかなくなる。そこで「データ分析を行うにあたり、最初に必ずやらなければならないことは何だろう」を問うてみた。すると以下の2つに行きついた。 目的を明確にする データ分析は決める前にやる 目的を明確にする データ分析の目的とはつまり知ることである。なので「知りたい...
「効果測定」だけが一人歩きしてませんか データの仕事をしていると、知らないところでいつのまにかに行われた施策について「効果測定をしてほしい」と言われることがたびたびある。 とりあえず施策を行い後で振り返えればいいや、と考えている人が多いようだがこれでは正しい検証はできない。検証ができないから次の施策を決める時もまたとりあえず施策をする、が繰り返される。 これではいくら「効果測定」を行うために...
作成者 :しんゆう ブログ :データ分析とインテリジェンス https://analytics-and-intelligence.net/ Twitter:https://twitter.com/data_analyst_
「データ分析」を整理する 「データ分析」と言ってもその仕事にはいくつかの種類がある。しかし、その違いが整理されておらず各自に思い思いの「データ分析」があるために認識がずれる。 これだけ頻繁に使われている言葉なのにその内容に大きな違いがあることにあまり意識が向いていないらしい。良い状態だとは思えないので、まずは「データ分析」について整理してみようと思う。 「データ分析」の仕事 「データ分析」と...
それでも「データ分析」で仕事をしたい人のためのデータ分析業界長期予とこれからの選択肢について 白金鉱業 Meetup Vol.8 https://brainpad-meetup.connpass.com/event/131670/ 作成者 :しんゆう@データ分析とインテリジェンス ブロ…
何となくデータを見ることで目的など生まれない 何かいいことが見つかるかもしれないからと何の目的も無しにデータを見るのは時間の無駄である。 データ分析は意思決定のために行っているはずだ。であれば何らかの意思決定という目的が無ければどんなに数字をいじくりまわしたところで「それで?」で終わるだけになる。それは時間の無駄としか表現のしようがない。 なおここでいう「データ分析」とは手元にあるデータを何...
Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」https://forkwell.connpass.com/event/182769/ 作成者 :しんゆう@データ分析とインテリジェンス Twitter:https://twitter.com/d…
「データの依頼のやり方」はどう学んでいるのか まとめられた知識がないので、個人の経験に基づいて行っている場合が多いだろう。しかしそれでは社会全体で考えると非常に効率が悪いと考えている。そこで、データの依頼のやり方についてまとめている。 しかし、完成にはまだかかりそう。なのでまずデータの依頼のやり方を知るべき理由について記事にした。 なぜ「データの依頼のやり方」を知る必要があるのか...
日本企業がデータの分析・活用に苦戦する理由とは。20年以上データ分析の仕事に携わっているしんゆうさんに聞きました。
自分の思考を文章化してみる SQLを使い始めてちょうど10年になった。その間には随分たくさんのクエリを書いてきたが、ちゃんとした師匠がいたわけでもなければ同じような仕事を同じレベルでやっている同僚もほとんどいなかったのでほぼ全部独学でやってきた。 これでいいのか未だにわからないので、自分がSQLでデータ抽出をしている際の思考や行動を文章化して公開してみる。是非いろいろと突っ込んでいただけると...
※基本、酩酊状態でクソみたいな与太話を思いついたまま書き捨ててるだけなのであまり真に受けないようにどうぞよろしく。 僕がここ最近ナリワイとしているのは、大企業でデータ利活用を推進している or しようとしている現場に潜り込んで、データ分析周りの諸々の課題を主に技術面で解決する、という役回り。 といっても、自分が主戦場と…
データ基盤は令和の箱物行政にしないために どうもデータ基盤を作ったりするのに比べると、データを使う話、特に意思決定のための分析について語られることが少ない。 もちろん単純に比較できるような話ではなく、データ基盤が不要だという話でもない。それにしても偏りすぎであり、この10数年(どころかずっと前から)かわらない。 その理由の1つには「データ基盤を作ってデータを集めておけば、あとはデータが活用で...
July Tech Festa 2018 @産業技術大学院大学[D10] で発表した際の登壇資料です。 参考文献や細かい記述などを今後修正する場合があります。
「データ分析の門をたたいて2年が経ちました」 s-dev talks 〜サービス開発勉強会〜「定量データ分析」 https://s-dev-talks.connpass.com/event/128911/
「データアナリスト」はもはや意味を成していないのでは? 最近はデータ活用の意識が高まり始め、ここ数年は「データアナリスト」という職名もよく聞くようになってきた。 ところが、この「データアナリスト」もその定義や使い方が人によって違い混乱が見られる。それも名乗っている当人達を含めて曖昧になっていると見受けられる。 そこで、この記事ではなぜ「データアナリスト」について混乱が生じているのかを考察する...
第2回 データアーキテクト(データ整備人)を”前向きに”考える会 https://analytics-and-intelligence.connpass.com/event/161997/ 作成者 :しんゆう@データ分析とインテリジェンス ブログ :https://analytics-and-…
「データ分析の基本をまとめてみる」の前置き(いくつか書いたら別に目次作ってそちらに移動します) スポーツをするにもシュートの打ち方やバットの振り方といった技術を知らないと何もできませんが、それに加えてサッカーでは「手を使ってはいけない」、野球だったら「打ったら一塁ベースに向かう、ベースから離れている間にタッチされたらアウト」というような基本的なルールについても知っておく必要があります。...
PyCaretとはつい先日Announcing PyCaret 1.0.0という記事を拝見しました。面白そうなライブラリだったため、この記事では、実際にPyCaretの使い方を解説していきます。PyCare…
意思決定に寄与しないならばダッシュボードを見るだけ時間の無駄 大前提として、分析を行うためにデータを収集する目的は意思決定にあり、目的無きデータ分析は無駄である。ダッシュ��ードは収集するデータの一部であるので、やはり意思決定に繋がらないならば意味がない。 いらないダッシュボードを作らないようにしようとするのが一番であるが、必要だと思って作ったダッシュボードも使い方を間違えれば無駄になるどころ...
データ整備のパフォーマンスが上がらない理由を考える データ整備は「データを使いやすくする」役割であり、そのパフォーマンスを定量的にかつ客観的に計測することは非常に困難である。だが困難だからといって課題を把握もせずに放置すればパフォーマンスが上がるはずもない。 そこで、整備のパフォーマンスに大きく悪影響を及ぼしているだろうと思われる要因をアンチパターンとして考察する。今回はまず「データ整備を認...
日本で最初にデータサイエンス学部を創設した滋賀大学。先駆者の想いと現実を学部長の椎名洋教授が語る。
On the heels of Google buying analytics startup Looker last week for $2.6 billion, Salesforce today announced a huge piece of news in a bid to step up its
第3回 データアーキテクト(データ整備人)を”前向きに”考える会 https://analytics-and-intelligence.connpass.com/event/174369/ 作成者 :しんゆう@データ分析とインテリジェンス ブログ :https://analytics-and-…
英系人材サービス大手のヘイズ・スペシャリスト・リクルートメント・ジャパン(東京・港)は21日、世界の人材需給に関する2019年版の調査結果を発表した。データサイエンティストなど高いスキルを持つ人材を確保する難易度を表す指標で日本は調査対象の34カ国・地域でワースト2位だった。18年の最下位からは脱したが、依然として深刻な人材のミスマッチが続いている。「人材ミスマッチ」の項目で日本は9.8点だ