六本木で働くデータサイエンティストのブログ

元祖「銀座で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木

ビジネス

実務の現場においてモデリング(統計学的・機械学習的問わず)を行う上での注意点を挙げてみる

気が付いたら僕がデータ分析業界に身を置くようになってそろそろ5年近くになるんですね*1。この5年間の間に色々勉強したり業界内で見聞してきた経験をもとに、「実務の現場においてモデリングを行う上での注意点」についてだらだらと書いてみようと思います。…

興味がない時には沢山見かけるがいざ欲しい時に限って見つからない:日本のデータサイエンティスト&機械学習エンジニアブーム

我らが業界の雄*1、てつろーさんが新たなweb連載記事を始められたようです。このタイトルが、流石は業界経験の長いお方だけあって非常に鋭いところを突いているなと個人的には感じています。で、完全に奇遇ながら実は6月8日に旧知の友人の依頼でプレイベート…

「人工知能」ブームに乗り遅れた!という方々に捧げる人工知能(機械学習)まとめ記事

(Photo credit: A Health Blog via Visual Hunt / CC BY-SA) 「人工知能」ブームが本格化してまだほんの数ヶ月だと思うんですが、気がついたらTV含む大手メディアが皆こぞって毎日のように「人工知能」を取り上げ、あまつさえ政府や与党の諮問会議でまで「人…

「闇雲にPDCAサイクルを高速に回す」と場合によっては過学習して逆に怖いかもというお話

3年前にこんな話を書いたわけですが、皆さんご記憶でしょうか。 この当時は「平均への回帰」という言葉にその不毛さを託したわけですが、前回の記事に着想を得てもう少し今時っぽく論じることが出来るんじゃないかと思ったので、ちょっと書いてみようかと思…

クラウド機械学習の進歩で「プラモデルのように機械学習システムが作れる」時代が到来しつつある

こんなブログ・プレスリリースが出ていました。TensorFlowベースで実装されたクラウド機械学習アプリケーション、"Cloud Machine Learning"だそうです。以前から既に取り沙汰されていたCloud Vision APIに加えて、Cloud Speech APIさらにはCloud Translate A…

データ分析の「7つの進化のステップ」を今一度おさらいしてみる

2016年最初の記事ということで、もはや1月下旬に差し掛かりつつありますがこちらでは改めて、あけましておめでとうございます&本年もよろしくお願いいたします。 で、新年一発目のお題は。。。実は似たようなお題で過去にも記事を書いていますが(笑)、年…

まがい物のデータサイエンティストは滅びゆく:USのトップ5データサイエンティストたちが語る2016年の展望

(Photo via VisualHunt.com) 僕も会員になってるData Science Central*1に、こんな面白い論説が載っているのを見つけました。 Data science and statistical modeling will be further automated, with better black-box products Frontiers between data sc…

フルオートで何でもやってくれるデータ分析ツールが登場したら、データサイエンティストは本当に失業するのか

先日、とあるデータ分析フレームワーク*1の営業をうちのチームの人たちが受けたそうで、後で色々話を聞きました。 何でもそのプロダクトは名立たる国際データ分析コンペ*2上位入賞者という猛者たちが作った代物だそうで、宣伝文句やデモによれば「データの前…

海の向こうでも日本でも「データサイエンティスト」は雌伏の時

「データサイエンティストはつらいよ」、注目職種も求人が多くない理由 なかなか刺激的な翻訳記事が出ていたようで。ちなみに本家版の原典記事はこちら。 Data science jobs not as plentiful as all the hype indicates 大体こういう話をするとよく炎上する…

同じデータセットに対するアプローチの違いから見る「データ分析のステージ」

追記 (2015/02/21) いくつか抜けてるところがあったなぁと思ったので、後から追記や加筆修正してみました。最初のオリジナル版から少し内容が変わっているところがありますがご了承ください。 ちょっと前の記事でこんなネタをやってみたわけですが。 UCI機械…

レバテックタイムの12/24付対談記事で話し切れなかったこと

データサイエンティストが生き残るために必要なのは「本質を見抜く力」|小川卓氏x尾崎隆氏対談 レバテックタイムさんのお招きで、そして正確にはこちらの記事で田宮直人さん(id:naototamiya)から誘われまして(笑)、こんな対談を先日小川卓さん(id:ryuka0…

杜氏のいない蔵元が示した「データ分析さえすれば職人の技を職人抜きでも再現できる」という事実の凄み

先日、とあるコンサルの社長さんとお酒を飲みながらお話していて出てきた話題が「畢竟データ分析って何の役に立つんだろう?」というものだったんですが、そこで僕が思い出して紹介したのが「獺祭」で世界進出を成功させている旭酒造のエピソードだったので…

相変わらず海の向こうのData ScientistたちはPh.D.が多いらしい

お盆休みということで僕も今週はずっとお休みなのですが、こんな記事がWSJから出ていたと知りました。 ビッグデータ活用に向け需要増す「データサイエンティスト」 - WSJ 以前HBRのDavenport論説についてコメントしたかと思いますが、あれから2年経ってどう…

施策の「レイヤー」とその規模に合わせて、データ分析の方向性を決める

これまで色々なデータ分析案件を自ら持ち(持たされ)、また色々な他所の現場のデータ分析の実態を聞いてきたわけですが、意外と未だに統一された共通認識が形成されてないのかなぁと思うのが「施策レイヤー&規模とデータ分析の方向性とのベストマッチ」。…

2015新卒就活戦線におけるデータ分析者候補生争奪戦を眺めてみて

(※このエントリで述べている内容はあくまでも業界全体の状況を表す一般論であり、弊社をはじめどこか個別の企業を指したものではありません) 最近は技術系のネタばっかりなので、たまにはデータサイエンティスト(死語)にまつわる与太話でもしてみようか…

「ビッグデータ」「データサイエンティスト」後のデータ分析業界はどうなっていくのか

先日の合同企業説明会でご来場いただいた就活生の皆さんにこの話題をだいぶ話したので、続きの意も込めてちょっと書いてみようと思います。実はその時お話した内容について、後日データ分析者同士の飲み会を開いた時に色々議論になったもので(笑)、そのフ…

そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか

データサイエンティストブームが去りつつある一方で、データ分析ブームそのものはじわじわと広がり続けている感じのする昨今ですが。最近また、色々なところで「本当にビジネスやるのに統計学って必要なの?」みたいな話題を聞くことが増えてきたので、何と…

『ビッグデータの使い方・活かし方』はビジネスの現場におけるビッグデータの実像を知るのにベストの一冊

思いがけず、ALBERT様からこちらの本をご恵贈たまわりました*1。 ビッグデータの使い方・活かし方―マーケティングにおける活用事例作者: 朝野煕彦出版社/メーカー: 東京図書発売日: 2014/01メディア: 単行本この商品を含むブログを見る いわゆる「ビッグデー…

2013年の「データサイエンティスト」狂想曲と個人的なあれこれとを振り返る

早いもので、2013年も過ぎようとしているこの年末ですが。一応ブログのタイトルに「データサイエンティスト」と入っているので(笑)、せっかくなのでこの1年間のデータサイエンティストにまつわる狂想曲と、僕自身の今年のヒストリーとを簡単に振り返ってみ…

「前処理」のフォーマット共通化やOSS化はできないんだろうか

ビジネスの現場のデータ分析における理想と現実 from Takashi J Ozaki 先日Zansaの会でお話してきたんですが、その際にShannon Labの田中社長からこんなコメントをいただいたのでした。 「実際のデータ分析の現場ではデータの前処理にかかる技術的・金銭的コ…

アルゴリズム実装=定量的ソリューション、アドホック分析=定性的ソリューション

これは先日うちの教授氏と話していて出てきた話題なんですが、 データ分析とは「データドリブンなソリューション」を提供すること アルゴリズム実装=定量的ソリューション アドホック分析=定性的ソリューション だよね、という。これは結構一般的なコンセ…

「日本型データサイエンティストの登場を契機に活用が進展」記事について二言三言

先日、Twitter上&FB上にこんな記事が出回っていたので読んでみました。 日本型データサイエンティスト、CDO、CAO:日本型データサイエンティストの登場を契機に活用が進展、野村総合研究所が予想 - ITmedia マーケティング データ分析をビジネスに活用する…

データサイエンティストはこうやってデータ分析の仕事をしている(自分の経験と見聞談をもとに)

誰かの参考になるかもしれないと思って、僕の前職時代の取り組み方や他の現場で僕とよく似たアドホック分析系の仕事をされている方から聞き取った内容をもとに、適当にまとめてみました。 ということで、これは正確には「アドホック分析系データサイエンティ…

データサイエンティストがビジネスに貢献するために心得ておくべき「4つの定石」

この三連休にはてブで盛り上がってたこちらの記事、なかなか面白く拝読しました。 「あいつ・・・なにやってるの?」データサイエンティストを殺す4つの環境 - dataminer.me データサイエンティストを殺すための4つの環境 データサイエンティストの評価者が…

たとえ有償でも絶対に引き受けてはいけないデータ分析依頼の3タイプ

id:dscaさんのタダでは引き受けてはいけないネタが大ブレークしてるみたいですね。 データの分析をタダで引き受けてはならない10の理由 - ネガティブにデータサイエンティストでもないブログ 受託系便利屋的なポジションの悲哀が大変よく透けて見える良記事…

データ分析を「させる(依頼する)」側に最低限知っていて欲しい4つの分析コンセプト

回帰・分類・推定・予測

データサイエンティストがこっそりこぼす8つの愚痴(海外記事紹介)

ちょっと前の記事なんですが、面白かったので紹介します。 Confessions of a Data Scientist データサイエンティストのConfession(告白)というよりただの暴露談義なんですが、もっと言ってしまうとこれって「データサイエンティストあるある」ですよね(笑…

『データサイエンティスト完全ガイド』を読んでもデータサイエンティストのことは分からない

何かすっかりRと計量時系列分析の話と書評とデータサイエンティスト論以外何も書かないブログになりつつある昨今ですが(笑)、たまたま職場の図書コーナーに置いてあるのを見つけたので懲りずにまた書評を書いてみようと思います。このムック本です。 デー…

ポジショントークかもしれないし、ちゃんとしたデータもないけど、「今後数年間のデータサイエンティストの雇用情勢」を根拠なく書いてみる

先日の記事で散々「世の中のデータサイエンティスト論はことごとくポジショントークだ!」と煽っておいて何ですが。。。(笑) 色々なメディアを見ていて、あまり現実のデータサイエンティスト人材の雇用情勢って語られないものだなぁと思ったので、ひとまず…

さらば「ポジショントークとしてのデータサイエンティスト論」

我らがVapnikマン氏(@sla)が「データサイエンティストの○○」シリーズ完結編をslideshareにupされてました。 さらば!データサイエンティスト Vapnikマン氏の筆致もあっていつも通り大変面白く読ませていただいたんですが、このスライドへの反響を見ていて「…

Web系サービス運営でKPIを決める時に気を付けるべき3つのポイント

そろそろ新職場にも慣れてきましたよ、ということでちょっと与太話でも。少し前のTokyoWebminingでも話題になっていた、「KPIの決め方」についてです。 ところで、現場によってはKPIが何故か売上高とか営業利益とか「目標そのもの」になってしまっているケー…

ネタとして秀逸どころか実際に大いに使える『データサイエンティスト レベル表』(記事紹介)

はてなIDコールから突然Twitterにリプが飛んできたので、何かと思ったら以下の@shakezo_さんの記事で言及されていたのでした。 データサイエンティスト レベル表 - shakezoの日記 これがですねぇ、もうこれ以上ないくらい大変面白かった!ので是非とも紹介さ…

「データサイエンティスト」「ビッグデータ」狂想曲の裏で何が進んでいるのか

ついに「データサイエンティスト」「ビッグデータ」の語が、お茶の間にやってくる日が来たようです。 数字のカラクリ・データの真実 ~統計学ブームのヒミツ~ - NHKクローズアップ現代 ノイズとシグナルの狭間で - スタッフの部屋 ワールドビジネスサテライ…

「施策を打ったらKPIが上がった!」だけで満足するのは危険

ソーシャル(特にソシャゲ)界隈の業界では未だによく聞こえてくる話が、 「毎日毎週施策を打つたびにしっかりKPIが上がってるのは見えてるのに、半年後とかの数字見るとなーんか芳しくないんだよね。何でだろう?」 という不思議な愚痴。このブログを初期の…

改善施策の効果検証はどうやるべきか?

最近「効果検証」というキーワードを見聞きする機会が増えてきたので、僕のこれまでの経験に基づいてちろっと書いてみます。

データを「科学」しないならデータ「サイエンティスト」でなくても良いのでは?

「データ分析に対する3つの勘違い」も紹介。「大量のデータや高度な統計分析に価値を置く」「分析力だけでビジネスを変えようとする」「KKD(勘と経験と度胸)を軽視する」ことに対しては、警鐘を鳴らした。そうではなく、データ分析に携わる人は「ビジネス…

データサイエンティストを「口説ける」か?

私は、数学や計量経済学をやってきたような地頭のいい人材に、是非我々のマーケティングコミュニケーションの世界に入ってきて欲しいと思っている。こうしたことが出来る頭脳は、従来の広告屋を鍛えてどうにかなるレベルではなく、「データ取扱い者免許」み…

「n日間移動平均」+「±2σ境界線」をExcelでプロットしてお手軽にKPIの異常値をチェックする(厳密ではないけど)

僕の得意分野は計量時系列分析(Econometric time series analysis)なんですが、実際にソーシャルwebサービス企業でデータ分析に取り組む上ではそんなに細かいことやる必要はない、というかそこまで正確な分析をする前に実務上色々やるべきことがある、という…

「データサイエンティスト」と一括りにせず、Quantitative Analyst / Engineer / Researcherの3カテゴリに分けよう

この話題もだいぶ長引いてきましたが、そろそろこの辺で「決定版」ということにしたいと思います。 実はTwitterでも色々議論した話なんですが、やはり「データサイエンティスト」(Data Scientist)という語は曖昧過ぎて、色々混乱は生むし、あまつさえバズワ…

「第4回サイバーエージェントMarketing & Analytics勉強会」でお話してきました

少し前の話ですが、第4回サイバーエージェントMarketing & Analytics勉強会の講演者としてお話してきました。おかげさまで当日は大盛況! お越しになられた皆様、まことに有難うございました。以下slideshare。

ビジネスにおける「ビッグデータ」「データサイエンス」は要するに「データドリブン」なのでは、というお話

データドリブン - いまんとこの最適解 ビッグデータといったときに、広義・狭義の定義とは別に「大量のデータを扱う」ということと、「データドリブン(僕はデータに基づいて意思決定、アクションを廻していくという理解です)」が混在しているように思う訳…

似非データサイエンスと似非データサイエンティストを斬る(海外記事紹介)

Fake data science (by Vincent Granville) - AnalyticBridge ちょっと前の記事で恐縮なんですが、物凄く面白いネタを見つけたので紹介します。Forbes本誌が選ぶ「最も影響あるビッグデータ専門家トップ20人」にもリストされている、Ph.D. Data ScientistのV…

「データサイエンティスト」イコール「機械学習・データマイニング・統計学の専門家」とは必ずしも限らない

各種メディアを見ていると、いよいよ日本も「データサイエンティスト元年」が来ちゃったんじゃないかと思ってしまうほど、これでもかというくらいデータサイエンティストに関する記事が出まくってる感が半端ない昨今なんですが。