Hatena::ブログ(Diary)

kuroの覚え書き

[Vmax] [Macintosh/PC] [Network] [Make] [science] [Programing]

注:個人的覚え書きであり、いかなる内容も保証されるものではありません。
(ツッコミは歓迎しますが、全てに応えられるとも限りませんのであしからず。)

2018-03-29

[] DDBJスパコン運用〜ファイル転送2

大量のデータをやり取りしたいときはASPERAで行うのがいいが、ちょっとしたファイルをアップロードダウンロードするならsshfsでディスクをマウントしてしまうのが手っ取り早い。

コマンドラインでマウントポイント ~/ddbjにマウントするには

$ sshfs username@gw2.ddbj.nig.ac.jp:/target/directory/here ~/ddbj

てな感じで良い。

MacのFinderから使う方法はDDBJのFAQに出ていた。はずだがどこに出ていたかわからなくなった。

あったあった。

https://sc.ddbj.nig.ac.jp/ja/system-guide/faq/02mghj

とにかく

http://macfusionapp.org

をクライアントとして使えと。

2018-03-27

[] sshの活用

https://qiita.com/ik-fib/items/0af46a19e3083bb0325e

まだまだ使いこなせてなかった技が色々。

手始めにDDBJのスパコンのUGEのモニタリングを行うqmonを試す。

これはsshでアクセスする際に-Yオプションを付けておくだけでよい。

$ ssh -y gw2.ddbj.nig.ac.jp

これだけでhostで実行したXアプリケーションをローカルに表示してくれる。

$ xeyes

f:id:k-kuro:20180327190121p:image

なんか懐かしい感じ。

2018-03-16

[] DDBJスパコン運用〜ファイル転送

DDBJのスパコンのアカウントを取ったのだけど、その環境整備をやっている時間が取れなかったので、そのまま放置していた。ようやくちょっと時間が取れたのでアクセスしてみようと思ったら、メンテナンスで停止していて入れないし。

ようやくメンテが終わったらしいので、ちょっといじってみよう。

データ解析関連のソフトウェアは大方入っているので、まずは自分のデータをアップロードするところから。

ASPERAという高速ファイル転送サーバ、クライアントシステムが使えるらしいのでクライアントをインストールしておく。

DDBJのサイトからリンクが貼られているのは

http://downloads.asperasoft.com/download_connect//

ここで、コマンドラインからファイルを転送するもの。scpコマンドと同じような感じでファイルを転送するのだな。

しかし、こっちはMacだしGUIからもファイルをやり取りできたほうが便利ではあるので、自分でASPERAのサイトを探索してみると、使えそうなソフトが2つ。Aspera DriveというものとAspera desktop clientというもの。

http://asperasoft.com/software/transfer-clients/drive/#overview-4250

http://asperasoft.com/software/client-options/desktop-client/

Driveのほうはディスクをマウントして使えるようにする感じなんだろうか?これは起動してみたがうまく接続してくれず、駄目っぽい。

一方のclientのほうはHDDのバックアップツールとかFTPクライアントのようなインターフェースでファイルをサーバとコピーしあうような感じのソフトだな。こちらはサーバ名とアカウント名を入れて、公開鍵認証するとすんなりと接続ができた。

早速ファイルを転送しているが、ネットの帯域が狭く、40Mbps程度しか速度が出てないな。500GBのデータ転送で丸一日以上かかる計算になる。

と思ったんだけど、なんか速度のリミットを制限できるようになっているっぽい。これ、どこまであげられるんだろう?最初45Mbpsに設定されていたのを100Mbpsに上げたら、転送速度が95Mbpsまで上がったので、調子に乗って1Gbpsまで上げてみたけど、100Mbpsは超えられないようだ。ローカルの環境がその程度なんだろうかね。f:id:k-kuro:20180316111950p:image

2018-03-14

[] Google Compute Engineを使ってみる

遺伝研のスパコンアカウントを取ったので、重いデータ解析はこっちでやるといい。ただwebサーバを立てたり外向けのサービスをやるには色々申請がいるようで面倒そうだ。

何より、今日使おうとしたら定期メンテナンスとかで1週間もスパコンがダウンしててアクセスできなかった。

そこで解析済みデータをネット越しに閲覧し、データをコネコネするサーバはAmazonのクラウドサービスを使うかな〜と思ったのだが、Googleのほうが使い勝手が良くて、1年以上使っても無料枠でそこそこな使いみちがある、という話を聞いたので、早速アカウントを取って仮想サーバを立ててみることにした。

Googleで検索して一番上に見つかった

https://blog.apar.jp/web/6966/

を参考に、インスタンスを作ってみた。

簡単に、普通のCentOS7環境ができちゃったようなので、早速環境整備してみよう。

2017-09-29

[][]ホームページ制作つづき

昨日着手したホームページだが、とりあえず入力完了。結局テキストエディタでひたすらタグを打って完成。

cssとjavascriptの大半をBootstrapテンプレートに任せたおかげで、ほぼ1日半で研究プロジェクトの公式HPの形が出来上がった。

まあ、もうちょっと色合いとか配置とかは修正がいるだろうな。

リンクタブを左端に出してページ内を移動できるようにしたい。

某氏はクリックするとびよんっと出てくるやつでインパクトが有ったほうが良いといい、某氏はリンクは最初から見えている方がいいという。さてどうしたものかね。

個人的にはあんまりグリグリ動くページは鬱陶しいので好まないのだが。

真面目さをもとめつつ、インパクトがあって、軽すぎず、見た目が優しい、とか。

2017-09-28

[]Bootstrapでホームページ作り

データベースと並行してプロジェクトの公式HPも作ることになった。

折角bootstrapに触ったところなので、普通のHPもbootstrapで作ることにした。

テンプレートがそれこそネットに溢れんばかりに出回っているが、結局どれも似たり寄ったりで、かつ学術HPで変に凝ったモーションとか入れても仕方がなので、できるだけシンプルなものをベースにしようと思う。

http://demos.creative-tim.com/paper-kit-2/index.html?_ga=2.262704901.848805602.1506583314-1964104130.1506583314

これにしとこう。

テンプレートの選定にちょっと手間取ったけど、それさえ決めてしまえば、コンテンツがあれば、形なんてすぐできちゃうね。

今日はトップページがほぼ完成した。あとはメンバー一覧とプロジェクト概要のページを作れば、ほぼできたようなもの。

プレスリリース、論文等のリストはあとから追加しやすいように何らかのjavascriptを仕込んでやろう。まあブログモジュールあたりで良いかな。

2017-09-17

[][] Raspberry pi/minibianによるNAS

USBメモリをマウントしてNASの記憶領域として使うメモ。

USBメモリは変則的にHFS+フォーマット。El Capitan (MacOSX 10.11)ではHFS+はジャーナリングつきでしかフォーマットできないが、ジャーナリングがついているとminibianでは書き込みができない。

なのでmacでジャーナリングを切っておく必要がある。

diskutil disableJournal /dev/sda2

これで読み書き自由にマウント出来るようになる。

ただしまだ問題があって、minibianでアンマウントをしくじると、リードオンリーに固定されてしまう。

そうなったときは一旦アンマウントし、

$ sudo fsck.hfsplus /dev/sda2
** /dev/sda2
** Checking HFS Plus volume.
** Checking Extents Overflow file.
** Checking Catalog file.
** Checking Catalog hierarchy.
** Checking Extended Attributes file.
** Checking volume bitmap.
** Checking volume information.
** The volume USB32G appears to be OK.

これで回復する。

まあ32GBだしFAT32でいいんだけど。

2017-09-12

[]VNCの起動、終了覚書

VNCで繋いだ環境の中で何やら暴走して固まってしまったので対処方法を

sshでサーバに直接接続し、

PS AX | grep vnc

で自分の使っているvncコネクションを探す。

26096 ?        Sl    12:57 /usr/bin/Xvnc :1 -desktop hogehoge.hagehage.jp:1 (kuro)-httpd /usr/share/vnc/classes -auth /home/kuro/.Xauthority -geometry 1024x768 -rfbwait 30000 -rfbauth /home/kuro/.vnc/passwd -rfbport 5901 -fp catalogue:/etc/X11/fontpath.d -pn

こんな感じ。

で、

$ vncserver -kill :1
Killing Xvnc process ID 26096
Xvnc seems to be deadlocked.  Kill the process manually and then re-run
    /usr/bin/vncserver -kill :1
to clean up the socket files.

こんな感じで接続を切る。

あたらしく接続を確保するには

$ vncserver :9 -geometry 1280x1024 -depth 24

こんな感じに

[][]サーバで起動

とりあえずここまでlocalhostでのテストであったが、いよいよサーバに上げてネットワーク経由で動作させてみる。

manage.pyの記述をちょっと変えるだけなんだけど。

from flask_script import Shell, Server
from flask_migrate import Migrate, MigrateCommand
from app import app, db, manager
from app.models import User, Role
import app.views.home

migrate = Migrate(app, db)

def make_shell_context():
    return dict(app=app, db=db, User=User, Role=Role)
manager.add_command("shell", Shell(make_context=make_shell_context))
manager.add_command("db", MigrateCommand)
manager.add_command("runserver", Server(host="192.168.1.1", port=5000))

if __name__ == '__main__':
    manager.run()

flask_scriptからServerをインポートし、

manager.add_command("runserver", Server(host="192.168.1.1", port=5000))

の1行を追加するだけ。

これで192.168.1.1:5000に外からアクセスできるようになる。(ポート5000は開けておく必要がある)

ユーザー認証とかかかってないので完全オープンなスペースに置くのは危険だが、ファイアウォール内でVPN経由のみのアクセスを許容しているようなサーバなら、問題はないのかもしれない。

2017-09-02

[] Elecom WRC-300FEBK-RをAPモードで使用する

設定で結構ハマったのでメモを残す。

まず、何らかの設定で使っていたことがあるなら、orいじっていてわけがわからなくなったらリセットをする。

  • 電源アダプタを接続して、しばらく放置(ランプの点滅灯が一通りおさまるまで)
  • 底のRESETという穴にピンを差し込んで中のボタンを押す。(WPSランプが点滅するまで)
  • INFOランプが点灯し、消灯するまで待つ。

  この状態で出荷状態になっているはず。

次に底面シールに印字されたSSID/Keyで無線接続する。

macのネットワーク設定を開き、wi-fiの詳細からTCP/IPをDHCPに設定する。

ブラウザを開き、192.168.2.251にアクセスする。

モード変更を開き、 APモードを選んで適用ボタンを押す。

  この状態でAPモードに変更される。マニュアルには書かれていないが 本機のIPアドレスが192.168.2.1に設定され、先程の設定画面には192.168.2.1で入ることになる。

APモードに変更されると本機はDHCPサーバ機能がなくなるようなので、IPを 192.168.2.100などに設定し、ルーターのアドレスを192.168.2.1とする。

ブラウザで192.168.2.1に接続し、その他の設定を環境に合わせて変更する。


  

2017-05-16

[] [Mac] sshfs

linuxのディレクトリをssh経由でmacにマウントするsshfs

$ brew install sshfs
Updating Homebrew...
==> Auto-updated Homebrew!
Updated 2 taps (homebrew/core, homebrew/science).
==> New Formulae
chronograf
==> Updated Formulae
aalib                                    homebrew/science/octave
ammonite-repl                            homebrew/science/openimageio
antigen                                  homebrew/science/pcl
artifactory                              homebrew/science/qrupdate
aws-sdk-cpp                              homebrew/science/scram
awscli                                   homebrew/science/slepc
bandcamp-dl                              homebrew/science/swrcfit
bluepill                                 homebrew/science/topcat
buildifier                               homebrew/science/vtk
clutter                                  homebrew/science/xmi-msim
consul                                   ibex
cppcheck                                 imagemagick
davix                                    imagemagick@6
dbt                                      jenkins
elixir                                   juise
fades                                    kafkacat
flatcc                                   libfabric
folly                                    libmemcached
freeimage                                libslax
freetype                                 lumo
gauge                                    luvit
gexiv2                                   nnn
glib                                     openvpn
glog                                     planck
gnome-recipes                            plantuml
gnu-typist                               pwntools
gnupg                                    ripgrep
gobject-introspection                    s3fs
grpc                                     scw
gspell                                   snapraid
gucharmap                                sonar-scanner
halibut                                  source-to-image
heroku                                   sourcekitten
homebrew/science/anvio                   streamlink
homebrew/science/cdo                     swiftformat
homebrew/science/cmor                    sysbench
homebrew/science/dealii                  sysdig
homebrew/science/etsf_io                 tbb ✔
homebrew/science/fgsl                    telegraf
homebrew/science/gmt                     terminal-notifier
homebrew/science/gmt4                    tippecanoe
homebrew/science/gnudatalanguage         upx
homebrew/science/igv                     urh
homebrew/science/igvtools                vagrant-completion
homebrew/science/insighttoolkit          vamp-plugin-sdk
homebrew/science/kat                     weechat
homebrew/science/libbi                   yarn
homebrew/science/med-file                youtube-dl
homebrew/science/nco                     zsh-completions
homebrew/science/ncview
==> Deleted Formulae
dvtm

sshfs: OsxfuseRequirement unsatisfied!

You can install with Homebrew-Cask:
  brew cask install osxfuse

You can download from:
  https://osxfuse.github.io/
Error: An unsatisfied requirement failed this build.

なんかインストールできないし。

Osxfuseってのがいるって?

$ brew cask install osxfuse
==> Caveats
You must reboot for the installation of osxfuse to take effect.

==> Downloading https://github.com/osxfuse/osxfuse/releases/download/osxfuse-3.5
######################################################################## 100.0%
==> Verifying checksum for Cask osxfuse
==> Installing Cask osxfuse
==> Running installer for osxfuse; your password may be necessary.
==> Package installers may write to any location; options such as --appdir are i
==> installer: Package name is FUSE for macOS
==> installer: choices changes file '/var/folders/sf/3lk5x37135586w0jgqyjq_yc000
==> installer: Installing at base path /
==> installer: The install was successful.
🍺  osxfuse was successfully installed!

FUSE for OSXってMacにNTFSをマウントして読み書きできるようにするMacFUSEの後継ユーティリティなんだな。

環境設定パネルにもなんか増えてる。

んで

$ brew install sshfs
==> Installing dependencies for sshfs: gettext, libffi, pcre, glib
==> Installing sshfs dependency: gettext
==> Downloading https://homebrew.bintray.com/bottles/gettext-0.19.8.1.el_capitan
######################################################################## 100.0%
==> Pouring gettext-0.19.8.1.el_capitan.bottle.tar.gz
==> Caveats
This formula is keg-only, which means it was not symlinked into /usr/local.

macOS provides the BSD gettext library & some software gets confused if both are in the library path

If you need to have this software first in your PATH run:
  echo 'export PATH="/usr/local/opt/gettext/bin:$PATH"' >> ~/.bash_profile

For compilers to find this software you may need to set:
    LDFLAGS:  -L/usr/local/opt/gettext/lib
    CPPFLAGS: -I/usr/local/opt/gettext/include

==> Summary
🍺  /usr/local/Cellar/gettext/0.19.8.1: 1,934 files, 16.9MB
==> Installing sshfs dependency: libffi
==> Downloading https://homebrew.bintray.com/bottles/libffi-3.2.1.el_capitan.bot
######################################################################## 100.0%
==> Pouring libffi-3.2.1.el_capitan.bottle.tar.gz
==> Caveats
This formula is keg-only, which means it was not symlinked into /usr/local.

some formulae require a newer version of libffi

For compilers to find this software you may need to set:
    LDFLAGS:  -L/usr/local/opt/libffi/lib

==> Summary
🍺  /usr/local/Cellar/libffi/3.2.1: 16 files, 296.9KB
==> Installing sshfs dependency: pcre
==> Downloading https://homebrew.bintray.com/bottles/pcre-8.40.el_capitan.bottle
######################################################################## 100.0%
==> Pouring pcre-8.40.el_capitan.bottle.tar.gz
🍺  /usr/local/Cellar/pcre/8.40: 204 files, 5.4MB
==> Installing sshfs dependency: glib
==> Downloading https://homebrew.bintray.com/bottles/glib-2.52.2.el_capitan.bott
######################################################################## 100.0%
==> Pouring glib-2.52.2.el_capitan.bottle.tar.gz
==> Using the sandbox
🍺  /usr/local/Cellar/glib/2.52.2: 430 files, 22.6MB
==> Installing sshfs 
==> Downloading https://homebrew.bintray.com/bottles/sshfs-2.9.el_capitan.bottle
######################################################################## 100.0%
==> Pouring sshfs-2.9.el_capitan.bottle.tar.gz
🍺  /usr/local/Cellar/sshfs/2.9: 7 files, 98.0KB

入った。

$ mkdir mnt

とマウントポイントを適当に作って

$ sshfs [linux_user_name]@[linux_IP_address]:[マウントしたいdir] mnt

これでOK