分散処理

このタグでブログを書く

言葉の解説

ネットで話題

分散処理

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

Leverages Tech Blog•1ヶ月前

レバレジーズのアグリゲートサービス開発に飛び込む魅力とは？

こんにちは、ソリューション開発部でフリーランスHubの開発リーダーをしている吉本です。レバレジーズでは様々なサービスを開発しており、その中にアグリゲートサービスがあります。本記事では、レバレジーズで運営しているアグリゲートサービスの「フリーランスHub」と「mikaru」がどのようなサービスなのかを以下の内容をもとにご紹介していきます。アグリゲートサービスとはフリーランスHubとは mikaruとは開発体制についてチーム構成技術スタックやりがい終わりにアグリゲートサービスとはインターネット上には、日々膨大な情報やサービスが生まれています。ユーザーは複数の情報源やサービス…

#アグリゲート#分散処理#AI

ネットで話題

519ブックマーク Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)

techblog.yahoo.co.jp

340ブックマーク Kindle Fire搭載のブラウザ「Amazon Silk」は、クラウドとデバイスで分散処理を行う革新的なブラウザ

www.publickey1.jp

250ブックマークグーグル、分散処理のためにデザインされた言語「Sawzall」をオープンソースで公開

www.publickey1.jp

244ブックマーク大規模分散処理向けの国産“ウェブOS”をRubyで開発中 − ＠IT 2007/11/26 2007年11月24日、「楽天テクノロジーカンファレンス2007」において、Ruby言語の開発者で楽天技術研究所フェローのまつもとゆきひろ氏は、開発中の大規模分散処理基盤「Roma」（ローマ）と「Fairy」（フェアリー）のコンセプトを語った。研究段階ではあるものの、米グーグルなど世界トップクラスのネット企業...

atmarkit.itmedia.co.jp

217ブックマーク『Embulk』に見るモダンJavaの実践的テクニック～並列分散処理システムの実装手法～

www.slideshare.net

190ブックマーク RubyでHadoopをラップ、分散処理ツールキットが登場－＠IT 2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる...

atmarkit.itmedia.co.jp

167ブックマーク Twitterのリアルタイム分散処理システム「Storm」入門

www.slideshare.net

161ブックマーク管理が困難―分散処理の常識はZooKeeperで変わる

atmarkit.itmedia.co.jp

147ブックマーク Jubatus : オンライン機械学習向け分散処理フレームワーク — Jubatus Jubatus : オンライン機械学習向け分散処理フレームワーク¶ Jubatusは「分散したデータ」を「常に素早く」「深く分析」することを狙った分散基盤技術です。 Jubatusの名前の由来は、俊敏な動物であるチータの学術名からの命名で、「ユバタス」と読みます。株式会社Preferred NetworksとNTTソフトウェアイノベーションセ...

jubat.us

関連ブログ

F-nameのブログ•4ヶ月前

有線ネットワーク構築入門（身近なネットワークサービス第7回）#放送大学講義録

ーーーー講義録始めーーーー皆さん、こんにちは。「身近なネットワークサービス第7回」へようこそ。前回は、コンピューターの利用形態について学びました。まず、ネットワークに接続しないスタンドアロンと呼ばれる形態を整理し、その後、利用形態の移り変わりとして、集中処理、分散処理、そしてクラウドコンピューティングについて学習しました。その後、ユーティリティコンピューティング、グリッドコンピューティング、ユビキタスコンピューティングといった、クラウドコンピューティングに関連する利用形態について考察しました。今回の授業では、有線ネットワークに注目します。実際のネットワーク構築において、有線ケーブルを用い…

#放送大学#放送大学講義録#身近なネットワークサービス#ネットワークサービス#ネットワーク構築#クラウドコンピューティング#有線LAN#ルータ#分散処理

PyDocument•2年前

Python Daskによる分散処理入門：ビッグデータの処理を高速化

Pythonで大規模なデータを扱う際、処理速度の遅延はよくある課題です。この問題への対策として、分散処理が挙げられます。Daskは、Pythonで分散処理を容易に実現するためのライブラリです。ここでは、Daskの基本的な使い方と、具体的なデータ処理の例を通じて、その効果を解説します。 DaskとはなぜDaskを使うのか Dask DataFrameの基本操作 1. Dask DataFrameの作成 2. 簡単な集計処理実践：大量のCSVファイルの並列処理 1. CSVファイルの読み込みとDask DataFrameの作成 2. 各ファイルごとの行数カウント 3.【応用】特定の条件を満たす…

#Python#Dask#分散処理#ビックデータ

神戸のデータ活用塾！KDL Data Blog•2年前

【PySpark】Pythonで分散処理を体験してみよう

株式会社神戸デジタル・ラボ DataIntelligenceチームの高木です。今回は、分散処理を用いて大容量のデータを扱うためのフレームワークであるSparkをPythonで扱うPySparkについて取り上げます。（SparkはPython以外にも、JavaやScalaなどの様々な言語に対応しています）分散処理とは？利用データシナリオ環境構築環境概要フォルダ構成 docker-compose.yml 01_initialize.sql 02_create_table.sql main.ipynb 実際に構築分散処理 (1) SparkSessionクラスを定義 (2) CSVデ…

#Pyspark#Spark#分散処理#データ基盤分析#ビッグデータ