※結論から言うと速くならなかった。

rubyのIO.copy_streamは可能であればsendfile()を用いるが、これは出力先がsocketである場合に限定されていた。

Linux 2.6.33以降ではsendfile()の出力先が通常のファイルでも許されるようになっていた( sendfile(2) - Linux man page )ので、試してみた。

(実行した環境は、Ubuntu 11.10 3.0.0-15-server)

diff --git a/io.c b/io.c
index f404b53..181897f 100644
--- a/io.c
+++ b/io.c
@@ -9424,8 +9424,6 @@ nogvl_copy_stream_sendfile(struct copy_stream_struct *stp)
         stp->error_no = errno;
         return -1;
     }
-    if ((dst_stat.st_mode & S_IFMT) != S_IFSOCK)
-        return 0;
 
     src_offset = stp->src_offset;
     use_pread = src_offset != (off_t)-1;

このpatchをtrunkに適用すると通常のファイル同士のコピーでもsendfile()を使うようになる。

(実際にsendfile()を使っているかどうか確認するにはstraceが便利)

dd if=/dev/zero of=dummy bs=1M count=100

として作成したファイルを使って

require 'benchmark'

Benchmark.bm do |x|
  x.report do
    IO.copy_stream("dummy", "dst")
  end
end

このようなベンチマークを実行した。

それぞれ実行前に

sudo sysctl -w vm.drop_caches=1

した上での結果である。

trunk(r34734) # read() and write()

       user     system      total        real
   0.000000   0.360000   0.360000 (  0.702267)

       user     system      total        real
   0.000000   0.370000   0.370000 (  0.755613)

       user     system      total        real
   0.000000   0.390000   0.390000 (  0.724757)

proposal # sendfile()

       user     system      total        real
   0.000000   0.330000   0.330000 (  0.713097)

       user     system      total        real
   0.000000   0.400000   0.400000 (  0.737590)

       user     system      total        real
   0.000000   0.350000   0.350000 (  0.717704)

速くならなかった。

man pageには

Because this copying is done within the kernel, sendfile() is more efficient than the combination of read(2) and write(2), which would require transferring data to and from user space.

とあるけれど、通常のファイル同士のコピーではそれほど恩恵が得られないようだ。

プログラミング言語クラスに参加した。

講義の内容についてはどこかで見られると思うので、個別課題について書く。

個別課題の内容

rubyのpreludeのprecompileという課題に取り組んだ。

preludeというのはインタプリタの起動時に実行されるRubyスクリプトで、内容は

• MUTEX_FOR_THREAD_EXCLUSIVE(排他制御などに利用する為のVMグローバルなMutex)の定義
• rubygem.rbのrequire
• enc/encdb.so(エンコーディングの定義とそのエイリアス) enc/trans/transdb.so(各エンコーディング間のトランスコーダ)のrequire

である。

preludeのRubyコードはprelude.cにCの文字列として埋めこまれていて、rubyは起動時に毎回このコードをYARVの命令列にコンパイルして実行している。

preludeの内容は一旦ビルドしてしまえば変わらないので、前もって命令列にコンパイルしておいて(precompile)、インタプリタの起動時にはこれを直接実行すれば高速化が期待できるのではないかと考えた。

結果

prelude.cはrubyのビルドプロセス内でtool/compile_prelude.rbから生成されているので、ここを弄った。

まずはpreludeの内容をcompileしてファイルに書き出しておき、rubyの起動時にそれを読んで実行するという手っ取り早い方法を試したが、これではprecompile無しと比較して6%ほど遅い。

そこで命令列をprelude.cに埋め込んでみたが、これでも3%ほど遅くなってしまった。

考察

prelude.cに命令列を埋め込んでもまだ遅いという事は、コードをcompileするよりも文字列から命令列を得る方がかえって時間がかかるという事を示している。

つまりMarshal.loadでは遅い。

precompileで高速化を狙うには、命令列を高速にloadできるような形式を考える必要がある。

発表

やっている事はシンプルなのに、発表後に「難しい事をされていたんですね」と参加者から言われてしまった。

発表時間が2分しか与えられなかった事を差し引いても、限られた時間で要点を伝える能力の不足を感じた。

スライド

http://www.slideshare.net/Glass_saga/preludeprecompile

thread.rbでQueue#.popがこのように定義されている。

 def pop(non_block=false)
    @mutex.synchronize{
      while true
        if @que.empty?
          raise ThreadError, "queue empty" if non_block
          @waiting.push Thread.current
          @mutex.sleep
        else
          return @que.shift
        end
      end
    }
  end

そこで、次のようなコードを実行すると

require 'thread'

queue = Queue.new

t = Thread.start do
  loop{ queue.pop }
end

2.times do
  nil until t.stop?
  t.wakeup
end

nil until t.stop?

queue.instance_eval{ p @waiting }
p queue.num_waiting

以下のようになる。

[#<Thread:0x00000001899698 sleep>, #<Thread:0x00000001899698 sleep>, #<Thread:0x00000001899698 sleep>]
3

本当にどうでも良い。

指定したサイズのROIをずらしながら、ROI内の画素の標本分散を出力するフィルタを書いた。

#include <math.h>
#include "cv.h"
#include "highgui.h"

void VarianceFilter(IplImage *src, IplImage* dst, int w_size);

int main(int argc, char *argv[]){
  IplImage *img, *dst;

  img = cvLoadImage(argv[1], CV_LOAD_IMAGE_GRAYSCALE); /* 画像をグレースケールで読み込む */
  dst = cvCreateImage(cvSize(img->width, img->height), IPL_DEPTH_8U, 1);

  VarianceFilter(img, dst, 3); /* 標本分散フィルタ */

  cvSaveImage("result.jpg", dst, 0); /* 結果画像の保存 */

  /* メモリの解放 */
  cvReleaseImage(&img);
  cvReleaseImage(&dst);

  return 0;
}

/*
  標本平均フィルタ
  引数:
    src: 入力画像
    dst: 出力先
    w_size: ウィンドウサイズ
 */
void VarianceFilter(IplImage *src, IplImage* dst, int w_size){
  int i, j, wi, wj;
  double avg, e;
  uchar f;

  for(i=0; i<src->height; i++){
    for(j=0; j<src->width; j++){
      cvSetImageROI(src, cvRect(j, i, w_size, w_size)); /* ROIをセット */
      avg = cvAvg(src, NULL).val[0]; /* ROI内の画素の標本平均 */

      /* 標本分散の計算 */
      e = 0.0;
      for(wi=i; wi<i+w_size; wi++){
        for(wj=j; wj<j+w_size; wj++){
          f = CV_IMAGE_ELEM(src, uchar, wi, wj);
          e += pow(avg-f, 2);
        }
      }
      e /= w_size * w_size;

      dst->imageData[dst->widthStep * i + j] = e; /* 出力 */
    }
  }

  cvResetImageROI(src); /* ROIの解除 */

  return;
}

入力画像

結果

最近OpenCVを始めて、ふとエントロピーフィルタを書いてみようと思い立った。

ここではROIをずらしながらcvCalcHistでヒストグラムを求めるエントロピーフィルタについて書く。

#include <math.h>
#include "cv.h"
#include "highgui.h"

void EntropyFilter(IplImage *src, IplImage* dst, int w_size);

int main(int argc, char *argv[]){
  IplImage *img, *dst;

  img = cvLoadImage(argv[1], CV_LOAD_IMAGE_GRAYSCALE); /* 画像をグレースケールで読み込む */
  dst = cvCreateImage(cvSize(img->width, img->height), IPL_DEPTH_8U, 1);

  EntropyFilter(img, dst, 3); /* エントロピーフィルタ */

  cvSaveImage("result.jpg", dst, 0); /* 結果画像の保存 */

  /* メモリの解放 */
  cvReleaseImage(&img);
  cvReleaseImage(&dst);

  return 0;
}

/*
  エントロピーフィルタ
  引数:
    src: 入力画像
    dst: 出力先
    w_size: ウィンドウサイズ
*/
void EntropyFilter(IplImage *src, IplImage* dst, int w_size){
  int i, j, k, hist_size = 256;
  double e, f, e_max;
  float range[] = { 0, 256 };
  float *ranges[] = { range };
  CvHistogram *hist;

  hist = cvCreateHist(1, &hist_size, CV_HIST_ARRAY, 0, 1); /* ヒストグラムを生成する */

  f = 1.0 / (w_size*w_size);
  e_max = f * log(f) * w_size * w_size; /* エントロピーの最大値 */

  for(i=0; i<src->height; i++){
    for(j=0; j<src->width; j++){
      cvSetImageROI(src, cvRect(j, i, w_size, w_size)); /* ROIをセット */
      cvCalcHist(&src, hist, 0, NULL); /* ヒストグラムを計算する */
      /* エントロピーの計算 */
      e = 0.0;
      for(k=0; k<256; k++){
        if(f = cvQueryHistValue_1D(hist, k)){
          f /= w_size*w_size;
          e += f * log(f);
        }
      }
      dst->imageData[dst->widthStep * i + j] = e/e_max*255; /* 0〜255で正規化して格納 */
    }
  }

  cvResetImageROI(src); /* ROIの解除 */
  cvReleaseHist(&hist); /* ヒストグラムを解放する */

  return;
}

入力画像

結果