データサイエンス

今回は意外に語られていない（？）テストデータの分割についてのメモです。「特徴量エンジニアリングは終わりがないし、初心者なのでとりあえずモデルに入れてみたい！」とは思うものの、モデルにどうやって入れれば良いかがわかりませんでした。どのタイミングでするの？どういうわけ方するの？みたいなところが最初はさっぱりでして。。そこで参考記事を漁ってみたところ、以下の記事が見やすかったので参考にしていました。https://pythondatascience.plavox.info/scikit-learn/トレーニングデータとテストデータ(https://pythondatascience.plavox.i…

データサイエンティストの阿部です。30㎡の貸し農園で野菜を育てていますが、まさに収穫の秋です。ブロッコリーやキャベツの、一株の大きさには驚きました。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第8話を配信しました。自分は高頻度で利用するクエリを付箋アプリからコピペしています。その付箋に貼っている関数や構文を紹介しました（そもそも付箋アプリじゃなくて、よりよいコピペ用ツールがあれば教えて頂けると幸いです）。 動画中に記載したクエリや補足事項を本ブログに掲載しますので、少しでも皆様のお役に立てたら幸いです。 Youtube BigQuery…

現在パーソルキャリアでは、人事部門とデータ部門の連携による「人事データ活用」についての議論・取り組みが進められています。 直接お客様と接することの少ないバックオフィス部門において、どのようなデータ活用や業務改善に取り組んでいるのか。そしてこれらの取り組みを通して、どのような課題を解決しようとしているのか――取り組みを主導する、人事本部 人事企画部 ゼネラルマネジャーの沖津とデジタルテクノロジー統括部 ゼネラルマネジャーの斉藤に話を聞きました。 人事データをよりセキュアに、より活用しやすい形に 専門性を高めるために必要なのは、データ・事業・人事、各領域の知見の掛け合わせ 仕組みの整備とリテラシー…

このブログについて 最近プログラミングを勉強し始めたので、勉強内容の備忘録としてメモ代わりに記事を書いてみる。 バックグラウンド 使用したことのある言語はC（大学でのプログラミング基礎の授業、卒業研究の補助として）、C++（競技プログラミングを少しかじった時に）、python（少し調べて触ってことのある程度）、VBA（仕事でExcelのマクロを書く）くらいで、知識としては基本的なことができる程度。 仕事はエンジニアとは関係なく、業務効率化のために少しマクロを組んだりしている程度。 ちなみにMarkdown記法も今初めて使っている。このようにコードブロックを書くのは少し憧れだったので、楽しい。 …

Rのdescribe関数を使ってデータの全体像とサクッとみてみます手順 データの読み込み "psych"のlibraryを読み込み describe関数を使用 〜 dat <- read.csv("path.csv",header=TRUE) attach(dat) library(psych) describe(dat) 〜 今回は、虚血性脳卒中のデータをまとめました．(dataにはフェイクを入れてあります) こんな感じ↓↓↓でoutputされるのでexcelへコピペ R describe

増川 直裕 週末（11月5日）に、今のコロナ禍から脱却できそうな希望のニュースがありましたね。米国ファイザー社が開発中の、新型コロナウイルス感染症を治療する飲み薬の臨床試験（第2/3相試験の中間解析）で、重症化するリスクを89%減少させるという結果が報じられました。 本記事では、この飲み薬、パクスロビド（PAXLOVID）が、重症化リスクを89%減少させるとは、どのような結果を根拠に算出されたのかについてお伝えします。併せて、リスクの89％減少というのはあくまで限られた患者から得られた推定値なので、推定に対する信頼区間を算出して考察していきます。 ファイザー社のホームページに記載されているニュ…

データサイエンティストの阿部です。読書の秋ですね。今年読んだ教養書では『統計学を哲学する』、『サピエンスの未来』の2冊が印象深いです。 さて、明日から使いたくなるデータハンドリング術を紹介する "Sexy Tech for You" の第7話を配信しました。魂を込めたクエリやシステム運用するクエリが、ゼロ徐算エラーや型変換エラーで停止してしまったことが、皆さんにもあるかと思います。 BigQueryで、そうしたエラーを乗り越えてクエリ結果を得るために、個人的に愛用している関数を紹介しました。エラーを握りつぶしていいかどうか、というのは別議論としてありますが、取り急ぎクエリ結果が必要な局面を想定…

1. はじめに こんにちは、りんくです。 ツイッターでこんな呟きをしてから早いもので4週間が経ちました。 DS検定に合格してたのでブログ書く。(予告)— りんく (@ymkyssgp33) 2021年11月2日 もう11月が終わってまうやないかい！！ ということで、ブログ書きます。 約束は守るタイプです。よろしくお願いします。 2. データサイエンティスト検定とは 私が今回受験した試験の正式名称は、「データサイエンティスト検定™ リテラシーレベル」です。 一般社団法人データサイエンティスト協会が主催する検定試験で、2021年9月11日(土)～2021年9月30日(木)に初の試験が実施されました…

前に『データサイエンスのための統計学入門』という本を買ったものの、コードがRだったために積読したまま放置していた。 なのだが、この本の第２版ではPythonのコードも追加されているらしい。 そしてその第２版について解説している動画(英語だけど)がYouTubeに上がってたので、せっかくなので第１版だけど動画視ながら読んでみることにした(´_ゝ｀) 結論からいうと、入門レベルすぎて得るものがほぼない。まあタイトルに『入門』って書いてあるしね。 そして動画自体も、リップノイズがひどくて視聴に堪えない(´_ゝ｀) 基礎的なことを知りたい人にはちょうどいいレベルかもしれんが、一度でも一通りこの分野をや…

AIやIoT、VRといった新技術を活用したITサービスが次々と誕生する現在、当メディアの運営会社（株）エスユーエスでも、スキルを高めたエンジニアが次々と最先端領域やリーダー職へと挑戦しています。彼ら彼女らに共通するのは「エンジニアの仕事は学ぶこと」「今の自分が持っている技術だけで勝ち残っていくことはできない」という覚悟。ただでさえ忙しい中なのに、なぜ学び続けなければならないのか。「自主学習」と「年収や残業」との関係性をひも解きながら、エンジニアにとっての学びの大切さを解説します。 目次 先端IT従事者とそれ以外のエンジニアの年収差は約221万円！ 年収差は「学び」の差！先端IT従事者ほど学んで…

さよならテレビ 阿武野勝彦 平凡社新書 かぼちゃの馬車事件 スルガ銀行シェアハウス詐欺の舞台裏 冨谷皐介 みらいパブリッシング アメリカ人に１人はトランプが大統領だと信じている 町山智浩 文芸春秋 これってホントにエコなの？ ジョージーナ・ウィルソン＝パウエル 東京書籍 岸恵子自伝 岸恵子 岩波書店 データサイエンスが解く邪馬台国 安本美典 朝日新書 鎌倉幕府草創の地 伊豆韮山の中世遺跡群 池谷初恵 新泉社 つまらない住宅地のすべての家 津村記久子 双葉社 哀愁 １９６４年東京五輪三つの物語 別府育郎 ベースボール・マガジン社 風が見ていた 上 岸恵子 新潮社

11月8日から開催をしたNVIDIA主催のグローバルイベント「GTC」では毎回様々な新技術の発表をしました。今話題のあの新技術から日々利用している技術まで、幅広いアップデートをご覧いただけます。 www.youtube.com 「NVIDIA GTC」とは 2021 年 9 月 29 日、カリフォルニア州サンタクララを起点に、全世界に向けてバーチャルで開催された、NVIDIA主催のビッグカンファレンスです。 本カンファレンスは、20 万人を越える開発者、イノベーター、研究者およびクリエイターの登録が見込まれ、ディープラーニング、データサイエンス、ハイパフォーマンス コンピューティング、ロボティ…

You tubeで、行動経済学の講演を聞きました。 内容は、7割が、カーネマンのファスト・アンド・スローです。 解説は、おおかまに言えば、 １）システム１（ファストシステム）感情による判断 ２）システム２（スローシステム）理性による判断 という構成で、システム１には、バイアスがあるので、システム２に切り替える必要があるというものでした。 つまり、講師の方は、正しいシステム（システム１）と正しくないないシステム（システム２）があるので、システム２を使うべきであるという解釈でした。 講演のあとオンラインで、「正しいシステムにする方法はあるか」のという質問が出ていました。 これに対する講師の回答は、…

はじめに 2022年度入試を受験する高校三年生は、二年続けてのコロナ禍で本当に気の毒です。 今回は河合塾の「模擬試験の結果から入試動向を分析する会」で聞いた話を著作権の範囲内で引用し、2022年度入試について考察します。第一回は国公立大学です。 ＊予備校は経営上チャレンジを進めるのでそのつもりで聞いてください。 参考 www.keinet.ne.jp 目次 はじめに １ 基本編 ① 受験生を取り巻く環境 ② 入試改革のゴタゴタ ２ 国公立大学編 ① 全体 ② 大学別トピック １）難関10大学 ２）準難関・地方拠点大学 ３）奈良女子大に工学部 ４）新設公立大学 まとめ １ 基本編 ① 受験生を取…

これで最後では？ 3. 液晶タブレットで落書きする pixivとかに出すのは無謀なので、可能性あるとしたらここで？ ていうかまず液タブ買う... 8. データサイエンスで何かする ガチで仕事になってしまいシャレにならん... 13. 写真撮る, 14. 動画撮る なにを？？ なレベル... 25. 何か独学する 独学大全の影響か 以下、思想 ?? 5. 持ち物ゼロ化 と、対局で物欲は一定量必要 6. 物欲設定する 自転車とか時計とかピンとこないのだが、 一年悩んでApple Watchは買ったぞ。（未着） 28. オープンカー 要らないけど、レンタカーとか試乗で乗ってみたいはある 98. 保険…

Kaggleは, 現実の問題解決が持ち込まれるデータ分析コンペティションサイト. チームや個人で参加して, 他の参加者とのディスカッションもできる, 現実のデータ分析と機械学習の実験場. www.kaggle.com 2年生中心の学生さんに, まずはユーザ登録して, チュートリアル問題に解答を投稿してみよう, というところからやりました. 数理・情報科学課程, 電子情報通信課程の学生さんが来てくれました. あとは学生さん同士が情報交換して前進しそう. 樋口はべつに Kaggler じゃないんで*1. 各種手法はデータサイエンスプログラムの多変量解析☆演習や機械学習や(科目名)データサイエンスで…

11月25日（木） 晴天だが、気温は低く、寒い 「太平洋ひとりぼっち」から６０年 堀江謙一さん、太平洋横断に挑戦 「昆虫葬」が静かなブーム 都心のマンション住民増加も一因に 岸田首相の目玉政策、新資本主義「来春までに全体構想」 ドイツ3党 連立政権で合意 新首相にショルツ氏 米 物価 31年ぶり高水準 個人消費支出 朝6時 朝の準備 40分 みんなでいつもの散歩 9時20分 久恵に、ゴルフ練習場に送ってもらう 1篭80球 9時半 久恵、カーブスでトレーニング 1時過ぎ 昼寝 2時前 活動再開、私は柿の落ち葉拾い 4袋分 4時半 みんなでピーコック周辺を散歩 5時 久恵、夕食「オムレツなど」準備…

みなさん、こんにちは！デジタルテクノロジー統括部に入社して二年目の長谷川智彦です。データサイエンス未経験の新卒がどのように成長していくのかをつづっている「データサイエンティストのひよこ成長日記」、今回は最近勉強を始めているTableauについて記事にしていこうと思います！もうすぐ今年も終わってしまいますね、今年は友人と毎年恒例の福袋を買いに行けるのを楽しみにしている長谷川です（昨年はコロナで断念しましたが、今年は行くとしても対策は万全にしますよ！）。さて、最近嬉しいことに仕事でモテ期（モテ期：業務が色々とやってくる状態）が到来しており、作業の高速化を求められています。そこで、分析や可視化につい…