データ収集

はじめに Redditとは？ Reddit APIとPRAWの概要 Reddit APIの設定手順 Reddit APIトークンの発行 PRAWでReddit APIを利用する方法 1. PRAWのインストール 2. 認証設定 サンプルコード 人気投稿の取得 コメントの取得 投票やユーザー情報の取得 投票 ユーザー情報の取得 取得データのパラメータ解説 投稿データのパラメータ コメントデータのパラメータ まとめ はじめに Reddit APIを使うと、Reddit上の投稿やコメントを効率的に収集でき、データ分析や自動化に非常に役立つ。 また、サンプルコードも掲載しているため、プログラミング初心…

私はクラウドソーシングでデータ収集のご依頼を受けることがあるのですが、作業イメージや質問力の甘さを痛感することがあります。 データ収集の方法はクライアントによって異なり、実際作業してみると想定していたよりも大変で、「この価格では安過ぎた」ということもあります。 今まで経験したパターンが下記なのですが、真ん中のパターンが一番多く、一番下のパターンが一番厄介でした。 ・指定のサイトからデータ収集する・検索したい企業名が用意されており、検索して該当項目を取得する・特定のキーワード検索から必要なデータ収集する いずれのパターンであっても「情報を得る項目数」は必ず確認し、数によって単価を上げるという感じ…

テストも終わり、教員採用試験、卒業論文作成に向けて集中して取り組み始めたのですが。 休みに入って、一日のノルマを自分に課しています。 特に、卒業論文のデータ収集に関しては、見るべき動画が多いため、一日見る本数を決めています。 データ収集では、過去のゼミの問答が動画で上がっているため、それらをみて、一旦文字起こしする作業。 文字起こしをする中で、改めて感じること。 ゼミの師は、よくこんなにスラスラと、クリエイティブなことを言えるのか。 文字を起こすスピードが正直間に合いません。 質問に対しての答えが、途切れなく連続してもたらされるからです。 聞いていて、ためになるし、面白い。 ゼミの雰囲気は変わ…

分野が分野なので実用性は前提なのだろう。 ------講義録始め------ 科学的な研究を進める際の方法論に関する詳細な説明です。以下に、主要なポイントをまとめます： 科学的な方法の選択：研究手法の選択は、研究目的に適切かどうかを考慮する必要があります。また、その方法が他の研究者によっても再現可能であるか（信頼性）と、結果の妥当性が求められます。 研究計画の重要性：研究を進めるためには、計画的に取り組むことが大切です。そのために、研究計画書を作成し、それをもとに研究を実施します。研究計画書は、研究の手順や目的を明確にするための道具として重要です。 研究の流れ：研究は以下のステップで進行します…

私も1件単価の設定に苦労しています。 色々検索してみると1件10円～とあったりしますが、これが複数項目での話なのか？がわからず、最初の頃は作業時間に見合わない料金で受けていたということもありました。 そこで思い付いたことが、最初の相談の段階でクライアントの方に下記のように聞くということです。 「もし過去に同じ依頼をされた経験がありましたら、どのぐらいの単価でお願いされていたか？を教えていただければ単価設定の参考にさせていただきます」 特にデータ入力系は他のクラウドソーシングを含め、複数の方に依頼されているケースが結構あるということに気付いたのでダメ元で聞いてみようと考えたのです。 確認してみる…

データ・エンジニアリングでは、人工知能（ＡＩ）でビッグデータを分析して市場動向を読み取るといった「データ・サイエンス」が脚光を浴びますが、それはほんの一部の業務でしかありません。実態はむしろ地道で気長な取り組みが必要です。 ＡＩやデータ・サイエンスを実施する前に、対象となるデータをどうやって集めるのか、という大きなテーマがあります。 企業間の取引きにかかるデータ、モノの生産・製造にかかるデータは、出所が明確で、データ品質も一定程度、安定していると考えていいでしょう。ですが、一般消費者からどのようにデータを集めるか、というのは十分な検討が必要です。 なるほど商品棚やディスプレーにセットしたセンサ…

選択バイアス（Selection Bias）は、データ収集や研究の過程で生じる可能性があるバイアス（偏り）の一種です。選択バイアスは、データの収集方法やサンプリングの選択方法によって引き起こされることがあります。 選択バイアスは、データの収集方法において、ある特定のグループや属性を持つ個体が他の個体よりも選ばれやすい場合に発生します。例えば、ある特定の地域や人口集団からのデータのみを収集した場合、その地域や人口集団に関する結果や特性が他の地域や人口集団に一般化されることができなくなります。 選択バイアスは、研究結果やデータ分析の信頼性や妥当性に影響を与える可能性があります。特定のグループが選ば…