渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

データ分析

2014年を振り返る:Stan, KDD, RでDeep Learning, 初の自著出版, そしてデータ分析業界のあれこれ

魂の限界まで前処理をし続けている間にもう年の瀬が来ちゃいました。。。ということで、昨年末同様に今年もざっくり振り返ってみようかと思います。 柔軟な統計モデリングを目指してStan導入しました BUGS/Stan - 銀座で働くData Scientistのブログ これは1…

杜氏のいない蔵元が示した「データ分析さえすれば職人の技を職人抜きでも再現できる」という事実の凄み(追記あり)

先日、とあるコンサルの社長さんとお酒を飲みながらお話していて出てきた話題が「畢竟データ分析って何の役に立つんだろう?」というものだったんですが、そこで僕が思い出して紹介したのが「獺祭」で世界進出を成功させている旭酒造のエピソードだったので…

シリーズUseful R『戦略的データマイニング』『金融データ解析の基礎』ご恵贈いただきました

戦略的データマイニング (シリーズ Useful R 4)作者: 里洋平,金明哲出版社/メーカー: 共立出版発売日: 2014/08/23メディア: 単行本この商品を含むブログを見る金融データ解析の基礎 (シリーズ Useful R 8)作者: 高柳慎一,井口亮,水木栄,金明哲出版社/メーカ…

相変わらず海の向こうのData ScientistたちはPh.D.が多いらしい

お盆休みということで僕も今週はずっとお休みなのですが、こんな記事がWSJから出ていたと知りました。 ビッグデータ活用に向け需要増す「データサイエンティスト」 - WSJ 以前HBRのDavenport論説についてコメントしたかと思いますが、あれから2年経ってどう…

ハッカーズチャンプルー2014に参加してきました

7/11(金)-13(日)にかけて、沖縄で開催されたハッカーズチャンプルー2014にゲストスピーカーとして参加してきました。弊社の公式エンジニアブログにも同様の内容で記事を書くことになっているので、こちらでは個人的なお話を。 Hackers Champloo これは沖…

施策の「レイヤー」とその規模に合わせて、データ分析の方向性を決める

これまで色々なデータ分析案件を自ら持ち(持たされ)、また色々な他所の現場のデータ分析の実態を聞いてきたわけですが、意外と未だに統一された共通認識が形成されてないのかなぁと思うのが「施策レイヤー&規模とデータ分析の方向性とのベストマッチ」。…

今の職場にやってきて1年が経ちました

「もう5年ぐらいいるのかと思った」とか部長から言われるくらいデカい態度で完全に溶け込んでしまっている昨今ですが(汗)、前回の退職エントリの後で今の職場にやってきてから、今日でちょうど1年が経ちました。 ということで、今回の記事ではこの1年間に…

第7回DCC・第64回EIP合同研究発表会で招待講演してきました

昨日、下記の研究会から招待講演にお招きに与り、お話してきました。 第7回DCC・第64回EIP合同研究発表会-情報処理学会 「データサイエンティスト・ブーム」後の企業におけるデータ分析者像を探る from Takashi J Ozaki 内容はまぁ、完全に見た通りです(笑…

2014年春版:初心者にお薦めする「本当にゼロから統計学と機械学習の基礎を学ぶ」ための6冊

前回リストの記事から半年ぐらい経ちましたよー、ということで初心者向けに関しても書籍リストをアップデートした最新版のリストをお送りします。あまり中身が変わってないかもしれませんが、かぶっている本は良い本だということで(笑)。 ところで、昨年秋…

2014年春版:ビジネスにおけるデータ分析のプロを目指すなら揃えておくべき12冊

さて、前回リストの記事から半年ぐらい経ちましたよーということで、それ以降に発刊された書籍などを吟味した上で更新したリストをお届けしたいと思います。といっても引き続き今回のリストにも入っているものが多いので変わり映えしないかもですが。。。 前…

社会人が統計学や機械学習を学ぶなら「落下傘方式」で

今日何気なく呟いたツイートが、見ていたら結構RT&favされていた模様で。 社会人が統計学とか機械学習を独習するには、いわゆる「落下傘方式」が良いと思う。必要な時にその項目だけ学んで実践する。その繰り返しで学問体系のマス目が埋まっていけば良し。あ…

「ビッグデータ」「データサイエンティスト」後のデータ分析業界はどうなっていくのか

先日の合同企業説明会でご来場いただいた就活生の皆さんにこの話題をだいぶ話したので、続きの意も込めてちょっと書いてみようと思います。実はその時お話した内容について、後日データ分析者同士の飲み会を開いた時に色々議論になったもので(笑)、そのフ…

そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか

データサイエンティストブームが去りつつある一方で、データ分析ブームそのものはじわじわと広がり続けている感じのする昨今ですが。最近また、色々なところで「本当にビジネスやるのに統計学って必要なの?」みたいな話題を聞くことが増えてきたので、何と…

『ビッグデータの使い方・活かし方』はビジネスの現場におけるビッグデータの実像を知るのにベストの一冊

思いがけず、ALBERT様からこちらの本をご恵贈たまわりました*1。 ビッグデータの使い方・活かし方―マーケティングにおける活用事例作者: 朝野煕彦出版社/メーカー: 東京図書発売日: 2014/01メディア: 単行本この商品を含むブログを見る いわゆる「ビッグデー…

「前処理」のフォーマット共通化やOSS化はできないんだろうか

ビジネスの現場のデータ分析における理想と現実 from Takashi J Ozaki 先日Zansaの会でお話してきたんですが、その際にShannon Labの田中社長からこんなコメントをいただいたのでした。 「実際のデータ分析の現場ではデータの前処理にかかる技術的・金銭的コ…

アルゴリズム実装=定量的ソリューション、アドホック分析=定性的ソリューション

これは先日うちの教授氏と話していて出てきた話題なんですが、 データ分析とは「データドリブンなソリューション」を提供すること アルゴリズム実装=定量的ソリューション アドホック分析=定性的ソリューション だよね、という。これは結構一般的なコンセ…

NIPS 2013に参加していました

12/4~12/9(現地時間)の日程で、当地米ネバダ州タホ湖で開催中のNIPS 2013に参加してました。内容的にはdeep learning, online learning, active learningまわりを軸に、朝一番のオーラルではビッグデータやビジネス展開の話も出るなど*1なかなか面白かっ…

『データサイエンス超入門』は統計学&機械学習の入門書としてはお薦めできない→データ分析に特化したビジネス書としては良書

発売から間もなくその内容についてTwitter上で妙な伝聞やら伝言ゲームが飛び交っていたこの本。実は僕もその伝言ゲームに巻き込まれた*1もので、だったら現物を読んで書評してやろうじゃないかということで有楽町の三省堂で買ってきたのでした。それがこちら…

データ分析の現場で頻出のセリフあるある10選

何だかふと思い付いたので、つらつら書いてみました。10個全てを口走ってしまったことのある人は要注意ということで(笑)。 「データサイエンティストなんてただのバズワード」 誰でも言って構わないセリフとして広く認められています。ただし、これを言っ…

現職場の公式テックブログ始まりました

ちらっとTwitterでもコメントしましたが、現職場でも公式ブログ始まりました。テックブログ45選という記事には間に合わなかったのが残念ですが。。。 RCO アドテクLabブログ もうタイトル見たまんまです(笑)。基本的には社内エンジニアによるテックブログ…

たとえ有償でも絶対に引き受けてはいけないデータ分析依頼の3タイプ

id:dscaさんのタダでは引き受けてはいけないネタが大ブレークしてるみたいですね。 データの分析をタダで引き受けてはならない10の理由 - ネガティブにデータサイエンティストでもないブログ 受託系便利屋的なポジションの悲哀が大変よく透けて見える良記事…

データ分析を「させる(依頼する)」側に最低限知っていて欲しい4つの分析コンセプト

回帰・分類・推定・予測

何も考えずに線形回帰すると怖いので、計量時系列分析でダメ押ししてみる

何気なく読んでいて、途中で「?」と思った記事がありました。 ITエンジニアのためのデータサイエンティスト養成講座(5):「ビールと紙おむつ」のような相関関係を探る分析手法にはどんなものがある?――データ分析方法についての検討 (1/5) 何をやっている…

単純な集計とデータサイエンスによる分析とで結果が食い違うかもしれない3ケース

一般に、データ分析の大半はそれほど高度なテクニックの類を必要としないものです。僕も常日頃から口に出して言うことが多いんですが、「統計学だの機械学習だのの出番なんてそもそも少なくて当たり前」。工数もかかるし、できればやらない方が良いです。ぶ…

Web系サービス運営でKPIを決める時に気を付けるべき3つのポイント

そろそろ新職場にも慣れてきましたよ、ということでちょっと与太話でも。少し前のTokyoWebminingでも話題になっていた、「KPIの決め方」についてです。 ところで、現場によってはKPIが何故か売上高とか営業利益とか「目標そのもの」になってしまっているケー…

「データサイエンティスト」「ビッグデータ」狂想曲の裏で何が進んでいるのか

ついに「データサイエンティスト」「ビッグデータ」の語が、お茶の間にやってくる日が来たようです。 数字のカラクリ・データの真実 ~統計学ブームのヒミツ~ - NHKクローズアップ現代 ノイズとシグナルの狭間で - スタッフの部屋 ワールドビジネスサテライ…

「数式が苦手でも統計やりたいのでRで試す」は現実問題としてはアリだと思う

むしろ数式が苦手だけど統計を勉強したいという人はRをやるといいかもしれない - Line 1: Error: Invalid Blog('by Esehara' ) ものすごくブコメを集めてるので、読んでみました。で、結論から言うと「四の五の言う人はいるかもしれないけどデータ分析の世界…

改善施策の効果検証はどうやるべきか?

最近「効果検証」というキーワードを見聞きする機会が増えてきたので、僕のこれまでの経験に基づいてちろっと書いてみます。

Webデータ分析&データサイエンスで役立つ統計学・機械学習系の分析手法10選

追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが(笑)、僕が実際に2013年6月現在webデータ分析&データサイエンスの実務でツール・ライブラリ・パッケー…

ビジネスにおける「ビッグデータ」「データサイエンス」は要するに「データドリブン」なのでは、というお話

データドリブン - いまんとこの最適解 ビッグデータといったときに、広義・狭義の定義とは別に「大量のデータを扱う」ということと、「データドリブン(僕はデータに基づいて意思決定、アクションを廻していくという理解です)」が混在しているように思う訳…