いわゆるファイル同期ソフト。 主にUNIX系OSでバックアップ時に使用する。 SSH経由でリモートバックアップができたり、除外ファイルを正規表現で指定できたり、新規ファイルだけをバックアップできたりするので、非常に便利なソフト。
※ふりがなはこれでいいんだろうか、ちょっと不安でもある。
ちょっと多めのファイルを手軽に移動させたいときに 早めに終わらせたい場合 nohup bash -c "find <src directory> -type f -mindepth 1 -maxdepth 1 | xargs -t -P8 cp -t <target directory>" & nohupで切れないように xargsに-tをつけてログを出しておく depthのoptionは間違い防止 再帰的にcpされても問題ないなら要らない xargsのPでprocess並列 cpやmvは-tでtarget directoryを先に書けるのでxargsのとき便利 時間がかかってもよい場合はrs…
こんにちは、こんばんわ!クラウドインテグレーション事業部の魚介系エンジニア松尾です。 ここ数回に分けて EFS のデータを AWS アカウント間でコピーする方法について紹介させていただきました。 今回はその前段となる、冗長化などで移行ケースが多いであろう「Amazon EBS から Amazon EFS へデータを移行する方法」をご紹介したいと思います! はじめに はじめに 前提事項 fpsync とは? fpsync の実行 fpsync に関する補足情報 考えられるユースケース 最後に 前回の記事については以下となります。 techblog.forgevision.com techblog…
sambaが稼働したところで、じゃあ次はデータの引っ越しですね! ということで今回はssh&rsyncで旧サーバからデータをコピーする顛末です。 パスワード無しでログインできるPublic Keyを新サーバのAuthorized_Keyに登録しただけですけども。 基本的な流れはこちらを参考にしてます。 vpslife.server-memo.net 新サーバ側で秘密鍵を作成 $ ssh-keygen -t rsa -N '' -f ~/.ssh/rsync_rsa これで .sshの下に rsync_rsa と rsync_rsa.pub を作成されます。-N '' オプションをつけているので…
rsync のオプション情報をここにメモします。 rsync オプション 通常オプション 「-a」で有効になるオプション その他オプション SSH経由での同期 サンプル データ転送の進捗を確認しながら 特定のファイル(*.py)以外を同期(ssh経由) ディレクトリのバックアップ&圧縮しながら転送 dry-run モード rsync 「rsync」は、リモート環境のファイルやディレクトリを「同期(sync)する」コマンドです。 「変更があった分だけ更新する」という機能があるので、ディレクトリ単位のバックアップとしてローカル環境のみでも利用できます。 オプション 自身が使いそうで、忘れがちなオプ…
■ 概要 rsyncを悪用したワイルドカードインジェクションと呼ばれる攻撃を検証した際のメモ。rsyncはデータ同期のユーティリティであり、ワイルドカードインジェクションはコマンドの引数にワイルドカード(*)を与えることにより意図しない動作を引き起こす攻撃のことである。不適切な設定となっている脆弱なマシンに対して攻撃を行い、権限昇格ができることを確認する。 ※ 本記事の内容は悪用厳禁であり、これにより生じてしまった被害等に対して当ブログは 一切の責任を負いません ■ rsyncについて rsyncについて簡単にまとめておく。rsyncはファイルやディレクトリを同期するためのユーティリティで、大…
原文: "Include/Exclude Pattern Rules" section in https://linux.die.net/man/1/rsync +、-などのフィルター・ルールを使ってパターンを指定することで、ファイルをインクルードしたり、除外したりすることができます(上記の「フィルター・ルール」のセクションで紹介されています)。 include/excludeルールはそれぞれ、転送されるファイル名とマッチするパターンを指定します。 これらのパターンにはいくつかの形式があります: パターンが/で始まる場合は、ファイル階層の特定の場所に固定され、そうでない場合はパス名の末尾にマッ…
" data-en-clipboard="true"> " data-en-clipboard="true"> 最近rsyncで遊んでます。 自宅サーバは2GBのHDDをソフトウェアミラーのRaid1にしてあります。そろそろリプレースしたいんですが、ファイルサーバくらいだとAtomでHDDでDDR2なんて骨董品でも未だに困らないんですよね。まだDebianの最新版でフォローされてますし。まあ、それはともかく。 ファイルサーバのバックアップはこれまで手動で取ってたんですね。でもそうするとやっぱり面倒でついつい忘れがち。それならrsyncを常駐させて、容量に余裕のある主力機に同期すればいいんじゃな…
概要 AWS System Manager Sessions Manager Port Forwarding(以降SSM Port Forwarding)を使用して、FTPとrsyncで並列ファイル転送を行う方法を紹介します。 SSM Port Forwardingにより、ローカル端末とEC2間に確立されるSSM Session Manager Tunnelを使って、セキュアにファイル転送を行う事が可能となります。 しかし、SSM Port Forwardingの特性上、ポートが動的に変化するFTPパッシブモードや、複数ポートによる並列転送を行う場合、通信を確立するために工夫が必要となります。…
rsyncはデフォルトではsshでリモートサーバーに接続しています。 リモートサーバーに接続するときidentity fileに任意のファイルを指定したりポートをwell-knownポート以外にしてたりするとrsyncを素朴に実行してもsshのデフォルト設定で接続しに行くので .ssh/config を適切に設定しておく必要があります。 ただまあそういうのがめんどくさいことってありますよね。あるんです。 そういう時は -e オプションを利用してsshのオプションを設定しましょう。 例えば以下のようにします。 rsync -avz -e 'ssh -i ~/.ssh/my_id_rsa -p 1…
はじめに rsyncのインストール rsyncの使い方 バッチファイルでのrsyncコマンドの実行 rsyncのオプション一覧 LINUX/Macの基本コマンドの関連記事 参考資料 はじめに rsyncは、ディレクトリ・ファイルをローカルあるいはリモートマシンと同期させるコマンドである。 rsyncコマンドは、タイムスタンプやファイルサイズを見て、 更新ファイルを検出して差分のみを同期することで、 通信コストを抑えてバックアップあるいは同期が行える。 今回、rsyncのインストールから、その使い方とオプションを解説する。 (adsbygoogle = window.adsbygoogle ||…