データサイエンス

データサイエンティストの阿部です。今年は大河ドラマを毎週見ています。三谷幸喜の代表作として長く語り継がれるのではないかと思っています。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第13話を配信しました。BigQueryでは、JSONを扱う関数がレガシー版とスタンダード版の2種類あります。どちらを使っているかで、ドットを含む場合のJSON Path文字をエスケープする方法が異なるのでまとめました。 動画中に記載したクエリや補足事項を本ブログに掲載しますので、少しでも皆様のお役に立てたら幸いです。 Youtube 関数別のエスケープ方法まと…

データサイエンティストの阿部です。妻に誘われて俳句を始めました。『プレバト!!』でお馴染みの夏井いつき先生が評価してくれるおウチde俳句クラブに加入して楽しんでます。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第12話を配信しました。最近ヤプリでは、手動運用するスプレッドシートをBigQueryに連携してマスタとして活用するケースが増えてきました。そんなとき、ユニーク性を担保するのに便利なQUALIFY句を紹介しました。 動画中に記載したクエリや補足事項を本ブログに掲載しますので、少しでも皆様のお役に立てたら幸いです。 Youtube …

みなさん、はじめまして！今年の4月からデジタルテクノロジー統括部に配属された、倉持裕太と申します。 今年度、テクノロジー本部には計9名、そして、デジタルテクノロジー統括部には、私ともう1名の計2名が新卒で入社しました。 今回からの本シリーズでは、データサイエンティスト職として採用され、デジタルテクノロジー本部に所属された私達が、一体どのような研修やOJTを受けているのかを発信していきたいと思います！ 本記事では、執筆者の私のプロフィールと、現在受けているAWSに関する研修についてご紹介したいと思います。 新卒でデータサイエンティストの仕事を探している就活生の方々、データサイエンティストの育成を…

国内のテックイベント 海外のテックイベント 本記事では、メンバーへのアンケートで興味関心があるキーワード・テーマに沿ったテックイベント、カンファレンスなどを紹介いたします。 ※開催状況は5月30日時点の情報となります。※日程はイベント・カンファレンスの開催国のものとなります。※本記事内の情報は各イベント公式サイトより引用しています。詳細については公式サイトをご覧ください。 国内のテックイベント ■freee Tech Night 「品質を追及するfreeeの守護神、QAエンジニアのお仕事」開催日：2022年6月1日（水）19:00〜20:00公式サイト：https://freee-tech-n…

データサイエンス再入門 昨年自宅マシンをM1 Macにして以降、データサイエンスの勉強がすっかり止まっていた。環境を構築するのが面倒だったからだ。 別途行っていた資格の勉強がひと段落したこともあり、このへんで一念発起して再度データサイエンス関連を学び直そうかと思い、環境を整えることにする。 ちなみにあくまで私の自宅の環境をどうしたかというメモであるため、判断や実施事項が適切でない場合があるのでその点ご了承ください。 環境構築が面倒だった理由 M1 Mac購入当時は Apple Silicon をまだサポートしていない多数のライブラリがあった。徐々にライブラリ側で対応は進んでいったり先人たちの試…

こんにちは、リンクアンドモチベーションのデータチームの野見です。 僕はこれまで、機械学習を活用したPJTのPoC、実導入に関わってきました。なかでもヘルススコアは社内初の機械学習PJTでしたが、今では組織の新たな文化・スタンダードとして社内に定着してきています。 今回は、そのヘルススコアPJTの取り組みを振り返りつつ、PoCの先にある壁が何であるか、また、その壁を乗り越えるために必要だったスキルについてまとめてみます。 PoCの次の壁：「PoC貧乏」「PoC死」 役に立った武器①：プロダクトマネジメント プロダクトを描く 関係者をまとめチーム化する 役に立った武器②：UXデザイン ユーザースト…

増川 直裕 ■今後の平均寿命を予測するには 下のグラフは、男性、女性別に平均寿命を示したものです。 データの出典：図表1-2-1 平均寿命の推移｜令和２年版厚生労働白書－令和時代の社会保障と働き方を考える－｜厚生労働省 (mhlw.go.jp) 平均寿命は、男性、女性とも年ごとに上昇しており、2019年では、女性87.45歳、男性81.41歳となっています。 本ブログでは、年と平均寿命の関係を示すモデルをあてはめ、今後の平均寿命を予測することを考えてみます。

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,838件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

自己紹介 研究の紹介 研修開始時点でのデータサイエンスの実力 クエリを書く、その前にテーブルを見る 概要 SQL研修の目的 SQL研修の背景 テーブルを見るときのポイント 配属一ヵ月の新卒から見たデジタルテクノロジー統括部の印象 はじめまして！デジタルテクノロジー統括部アナリティクスグループ2022年度新卒の安藤と申します。 同期の倉持さんが完璧な導入をしてくださっていますが、このシリーズではデジタルテクノロジー統括部の新卒一年目がどのようなことを学んでいるか、また一年目をどのように過ごしているかというところに焦点を当てています。 今のところ倉持さんと私で交互に書いていく予定です(どうなるかわ…

RについてRによるデータサイエンス(第2版):データ解析の基礎から最新手法まで作者:金 明哲森北出版Amazonをベースに学んでいく。 今回はツリーモデル（PP.179-196）を扱う。 前回 15. ツリーモデル 15.1 決定木モデルの基礎 15.2 パッケージrpartの例 15.3 シミュレーション例 補足 スペック情報 前回 https://power-of-awareness.com/entry/2022/06/29/120000power-of-awareness.com 15. ツリーモデル 回帰分析、判別分析の一種として、回帰問題では回帰木、分類問題では分類木または決定木と呼…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,838件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

（EBMについて説明します） 「エコシステムベースマネジメントと水利権～水の未来（３）」で、EBMについて、若干ふれましたが、日本国内では、よく知られていないと思いますので、補足します。 １）背景（EBM;Ecosystem-based Management ） 「EUの自然復元法の衝撃～水の未来（４）」で述べたように、世界は、自然資本の経済学と生態系サービスに向けて、大きく舵をとっています。 今までの環境保全派の人は、特定種の保存（種の管理）を主張してきました。 これに対して、最近の生態系保全では、EBMが主流です。 （１）種の管理（single-species management、sin…

以前、「非情報系が機械学習を使う研究をしたいとき」という記事を書きましたが、内容の半分はサイボウズ・ラボユースの宣伝だったんで、今回はタイトル詐欺じゃあないことも書きます。いままで機械学習や深層学習に縁のなかった人が、それを使った研究を始めたいとなったとき、共通して直面する大きな課題は「何を優先的に勉強したらいいか」と「実験用の環境(PC)をどのように整えたらいいか」でしょう。 今回は何から勉強する？ という話。 機械学習そのもの(特に自分が使おうとしているモデル)を学ぶのは必須に決まっているので、機械学習を使う上で必要となる前提知識を学ぶ優先順位について考えてみます。機械学習(深層学習を含む…

【自治体通信Online 寄稿記事】統計をつかう～事例で読み解く利活用方法～ #1（総務省 統計行政 若手チーム） 本新連載は総務省 統計行政 若手チーム（脚注参照）による統計の利活用事例レポートです。 “統計のつかいかた”のヒントをお届けします。*脚注：総務省 統計行政 若手チームは、入省3年目までの職員を中心に構成している若手チームです。統計の魅力を伝えたいという思いから結成しました。 統計から転入・転出の“実際”を探りに行く 〈背景〉若者の県内定着施策を模索 〈目的〉推測ではなく正確な現状把握 就業構造基本調査のミクロデータ独自分析の内容 効果及び今後の長崎県における取組 長崎県独自の移…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,833件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

注意書き 当該記事には「Rではじめるデータサイエンス」のネタバレを多数含みます。 自分で回答することが一番の力になりますのでなるべく自力で回答するようよろしくお願いいたします。 1. 次のコードはなぜまずいか。 2. 次のRコマンドを修正して正しく実行するようにしなさい。 3. Alt-Shift-kを押すとどうなるか。同じことをメニューを使って行うにはどうするか。

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,824件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

ビジネス・実用書、コンピューター、その他漫画のセール ナンバーナイン 4コマ漫画フェア Vol．1 無料＆割引 ７月８日 まで ナンバーナイン コミックフェア Vol．1 無料＆割引 ７月８日 まで mangaDOCK合冊版 無料 値引きキャンペーン 無料＆割引 ７月３０日 まで 日経BP月間セール 40％OFF ７月３１日 まで あの女が憎い！『私の顔にさようなら』新刊記念 サスペンスフェア 無料＆割引、その他 ７月１４日 まで 祥伝社 河内遙特集 最大50％OFF ７月１５日 まで ディスカヴァー・トゥエンティワン ビジネス・実用書200タイトル一挙セール 50％OFF ７月２８日 まで …

データを分析する時にはSQLなどで内部のデータを見たりもあるけれど、それ以外の外部のデータにも情報を求めないといけない時があります。例えば・paypayと楽天payを決済手段として使っているが、運用コストを考えると片方だけで良いのではないだろうか？・現在使っているAというサービスの他にもBというサービスを増やして良いのか？という時です。上記のどちらの場合にも大事なのがそれ以外の可能性も満遍なく考えないといけないことだと思います。paypayであればQR決済全体を考えないといけません。もしかしたらベストはLINEpayかもしれないので。 そんな時の調査方法として「外資系コンサルのリサーチ技法」が…