C10K 問題

概要 preforkの話。preforkってなんだっけって話から広げていく そもそもTCP通信のフロー LinuxでTCPクライアント/サーバで通信するにはサーバ側は以下の手順を踏んで通信を待ち受ける。 socket() -> bind() -> listen() -> acceps() qiita.com 単一プロセスで動くTCPサーバであれば上記の手順で十分だがクライアントが複数になった際に同時接続をされた際にクライアント1は接続可能だがクライアント2は接続を行うことができない。 複数クライアントの同時接続に対応するため，fork() システムコールを使用する。一番簡単なやり方として親プロ…

はじめに こんにちは、YSです。 今回は、Node.js＋フレームワーク「Express」を使用して作成されたwebアプリケーションで 静的コンテンツをgzip配信できるように独自で対応した件について共有させていただきます。 はじめに 基本知識 Node.jsとは？ Expressとは？ Expressのインストール方法 プロジェクトの作成 Expressの使い方 プロジェクトの構成について 本題 サービスの構成 要件 検討 仕様 サービス起動時の処理 静的コンテンツがリクエストされた際の処理 その他 サンプルコード lib/public_cache.js routes/publicCache…

レイヤとは 通信機能を階層に分割し、独立に開発可能とする。 「開放型システム間相互接続(Open System Interconnect)」、通称 OSI の設計方針に基づく。 L1: 物理層 伝送路 に関する問題を扱う。 どのようなケーブルを使うか、どのようなコネクタが必要か、それに合うインターフェースは？など。 L2: データリンク層 レイヤ 1 で疎通可能となった電気信号を「フレーム」という通信単位で扱う。 L2 スイッチとは MAC アドレステーブルをもとに、物理ポートとその先に存在するネットワーク機器の MAC アドレスを変換する。 この L2 スイッチから直接接続できるネットワーク…

 はじめに ソケット ソケットによるサーバ実装 スレッドプールを利用したサーバ実装 ブロッキングI/Oの課題 ノンブロッキングI/O I/O多重化(multiplexing) バッファ操作 I/O多重化を使ったサーバ実装 非同期チャネル NIO2 によるエコーサーバ まとめ はじめに Java でネットワークプログラミングを行うのであれば Netty を使えば良いのですが、Netty に至るまでの標準APIの変遷についての話題は知っておいて損はない内容だと思います。 いまさら書く必要のある内容では無いかもしれませんが、とりまとまった情報源も乏しいため、Java標準APIを利用したネットワーク…

開発をしていると要求されている処理時間より時間がかかってしまうことがあり、処理を高速化しないといけない場面に遭遇すると思います。 その場合は、まずボトルネックとなっている処理を探し、ボトルネックとなっている場所のアルゴリズムやデータ構造の改善やライブラリの使用による処理の代替を行います。 しかし、それだけでは高速化できななかったり、もっと高速化しないと要件を満たせないことがあります。その時に一つの高速化の手段として並列処理や並行処理があります。 今回はその並列処理・並行処理について解説していきたいと思います。 並行処理と並列処理とは 並行処理 並列処理 ボトルネックとなる処理の種類 CPUバウ…

並行処理と並列処理 並行処理(concurrent processing) 1つのCPU（コア）スレッドを切り替えながら複数のタスクを実行すること。 人間の目には複数のタスクが同時に進んでいるように見える 実行するスレッドを切り替える必要があるのでコンテキストスイッチのコストがかかることに留意（＝スレッドをたくさん作って、それらを並行処理するとコンテキストスイッチによる無駄な時間が多くなりパフォーマンスが悪化する） 並行処理はCPUのアイドル時間をなくすために用いる。 以下のようにCPUバウンドな処理とIOバウンドな処理を繰り返す例を思い浮かべると効果がわかりやすい TASK_A: CPU処理…

プラットフォーム クラウド クラウド種類によるメリット・デメリット プライベートクラウド製品 OpenStack：Iaas、Paasのクラウドを構築できる。 CloudStack：Apache Software Foundation が管理。Iaasを構築できる。 分散処理 Apache Hadoop HDFS：Hadoopのファイルシステム。マスタであるNameNodeと、スレーブであるDataNodeから成る。入力データはDefault128MBのDataNodeに分散配置され、その配置場所を示すメタデータがNameNodeに格納される。NameNode自身もHA構成に対応している。 Ma…

今さら聞けないNode.js C10K問題とは？ クライアント1万台問題のこと． 1万という数字に意味はない． 同時接続数に焦点がある マシンスペック以外の問題 マシンスペックに関わらず，たくさんクライアントが同時接続されると，応答が遅くなってしまう問題 C10Kの問題 原因1 Apache HTTP Serverの駆動方式 １リクエストに対して１プロセスを生成していた そして，OSで起動できるプロセス数が決まっているため，Apacheのprefork方式だとOSのプロセス数以上のクライアントを処理できない！ 原因3 OSが読み書きしているファイルの個数に制限がある Unixではネットワークア…

出典元：https://pixabay.com/ja/photos/%E6%8A%80%E8%A1%93-%E3%82%AD%E3%83%BC%E3%83%9C%E3%83%BC%E3%83%89-785742/ 今とても注目度の高いNode.js。 Webサービスやスマホアプリの開発、IoT開発まで行えるのでNode.js を学べばIT業界での活躍の幅が広がります。 その有用さから有名企業でも続々とNode.jsサービスの適用を開始しています。 時代の波に乗り、求められるIT人材になるためにはNode.jsは今、必須スキルと言っても過言ではありません。 今回はそんなNode.jsを学べるプロ…

フロントエンドのお仕事をすることになりそうなので、お勉強もかねてnginxをインストールしてみることにします。 nginxとは nginxは、Webサーバ、リバースプロキシー、キャッシュ、ロードバランサ、メディアストリーミングといった機能を持っています。 C10K問題の解決のために開発され、イベント駆動型で、非同期アーキテクチャにより、高いパフォーマンスでの動作が可能です。 インストールする 今回は、yumではなくrpmを使ってインストールします。 CentOS7にインストールするため、下記のページからインストールするrpmをダウンロードします。 今回は、最新版の1.16.1をインストールする…

AtCoder Beginner Contest全問解いてみたチャレンジ 今日はさぼり。 今日の学び Electronとは GitHubが開発したオープンソースのソフトウェアフレームワークである。 ChromiumとNode.jsを使っており、HTML、CSS、JavaScriptのようなWeb技術で、macOS、Windows、Linuxに対応したデスクトップアプリケーションをつくることができる。 wikipediaより Node.jsとは サーバサイドのJavaScript実行環境 ノンブロッキングI/Oを用いてC10K問題 (クライアント１万台接続問題)を解決する npmとは Node …