いわゆるファイル同期ソフト。 主にUNIX系OSでバックアップ時に使用する。 SSH経由でリモートバックアップができたり、除外ファイルを正規表現で指定できたり、新規ファイルだけをバックアップできたりするので、非常に便利なソフト。
※ふりがなはこれでいいんだろうか、ちょっと不安でもある。
sambaが稼働したところで、じゃあ次はデータの引っ越しですね! ということで今回はssh&rsyncで旧サーバからデータをコピーする顛末です。 パスワード無しでログインできるPublic Keyを新サーバのAuthorized_Keyに登録しただけですけども。 基本的な流れはこちらを参考にしてます。 vpslife.server-memo.net 新サーバ側で秘密鍵を作成 $ ssh-keygen -t rsa -N '' -f ~/.ssh/rsync_rsa これで .sshの下に rsync_rsa と rsync_rsa.pub を作成されます。-N '' オプションをつけているので…
rsync のオプション情報をここにメモします。 rsync オプション 通常オプション 「-a」で有効になるオプション その他オプション SSH経由での同期 サンプル データ転送の進捗を確認しながら 特定のファイル(*.py)以外を同期(ssh経由) ディレクトリのバックアップ&圧縮しながら転送 dry-run モード rsync 「rsync」は、リモート環境のファイルやディレクトリを「同期(sync)する」コマンドです。 「変更があった分だけ更新する」という機能があるので、ディレクトリ単位のバックアップとしてローカル環境のみでも利用できます。 オプション 自身が使いそうで、忘れがちなオプ…
■ 概要 rsyncを悪用したワイルドカードインジェクションと呼ばれる攻撃を検証した際のメモ。rsyncはデータ同期のユーティリティであり、ワイルドカードインジェクションはコマンドの引数にワイルドカード(*)を与えることにより意図しない動作を引き起こす攻撃のことである。不適切な設定となっている脆弱なマシンに対して攻撃を行い、権限昇格ができることを確認する。 ※ 本記事の内容は悪用厳禁であり、これにより生じてしまった被害等に対して当ブログは 一切の責任を負いません ■ rsyncについて rsyncについて簡単にまとめておく。rsyncはファイルやディレクトリを同期するためのユーティリティで、大…
原文: "Include/Exclude Pattern Rules" section in https://linux.die.net/man/1/rsync +、-などのフィルター・ルールを使ってパターンを指定することで、ファイルをインクルードしたり、除外したりすることができます(上記の「フィルター・ルール」のセクションで紹介されています)。 include/excludeルールはそれぞれ、転送されるファイル名とマッチするパターンを指定します。 これらのパターンにはいくつかの形式があります: パターンが/で始まる場合は、ファイル階層の特定の場所に固定され、そうでない場合はパス名の末尾にマッ…
" data-en-clipboard="true"> " data-en-clipboard="true"> 最近rsyncで遊んでます。 自宅サーバは2GBのHDDをソフトウェアミラーのRaid1にしてあります。そろそろリプレースしたいんですが、ファイルサーバくらいだとAtomでHDDでDDR2なんて骨董品でも未だに困らないんですよね。まだDebianの最新版でフォローされてますし。まあ、それはともかく。 ファイルサーバのバックアップはこれまで手動で取ってたんですね。でもそうするとやっぱり面倒でついつい忘れがち。それならrsyncを常駐させて、容量に余裕のある主力機に同期すればいいんじゃな…
概要 AWS System Manager Sessions Manager Port Forwarding(以降SSM Port Forwarding)を使用して、FTPとrsyncで並列ファイル転送を行う方法を紹介します。 SSM Port Forwardingにより、ローカル端末とEC2間に確立されるSSM Session Manager Tunnelを使って、セキュアにファイル転送を行う事が可能となります。 しかし、SSM Port Forwardingの特性上、ポートが動的に変化するFTPパッシブモードや、複数ポートによる並列転送を行う場合、通信を確立するために工夫が必要となります。…
rsyncはデフォルトではsshでリモートサーバーに接続しています。 リモートサーバーに接続するときidentity fileに任意のファイルを指定したりポートをwell-knownポート以外にしてたりするとrsyncを素朴に実行してもsshのデフォルト設定で接続しに行くので .ssh/config を適切に設定しておく必要があります。 ただまあそういうのがめんどくさいことってありますよね。あるんです。 そういう時は -e オプションを利用してsshのオプションを設定しましょう。 例えば以下のようにします。 rsync -avz -e 'ssh -i ~/.ssh/my_id_rsa -p 1…
はじめに rsyncのインストール rsyncの使い方 バッチファイルでのrsyncコマンドの実行 rsyncのオプション一覧 LINUX/Macの基本コマンドの関連記事 参考資料 はじめに rsyncは、ディレクトリ・ファイルをローカルあるいはリモートマシンと同期させるコマンドである。 rsyncコマンドは、タイムスタンプやファイルサイズを見て、 更新ファイルを検出して差分のみを同期することで、 通信コストを抑えてバックアップあるいは同期が行える。 今回、rsyncのインストールから、その使い方とオプションを解説する。 (adsbygoogle = window.adsbygoogle ||…
2021 Apr. 26. 2021 Apr. 25. DirAとDirBがあって、あるファイルはDirAに新しい版があり、別のファイルはDirBに新しい版がある状態の時、両ディレクトリを同期し、引き続きDirAを使う時は、次のような手順が確実かと思う。 ただし、「削除したはずのファイルが残っている」ということにはなる。 コピー元に無いファイルをコピー先から削除する --delete オプションは、残しておきたいコピー先の新しいファイルも削除するので、使わない。 # rsync --update -av DirA/ DirB/ # rsync --update -av DirB/ DirA/r…
Icons made by Freepik from www.flaticon.com 前の記事 Linux のシステムバックアップツールとして、Timeshift を紹介しました。 Timeshift の特徴と使い方 endy-tech.hatenablog.jp Timeshift の詳細 endy-tech.hatenablog.jp お伝えしたいこと Timeshift は優秀なシステムバックアップ手段ですが、2つの弱点があります。 Timeshift がシステムバックアップに特化しており、データバックアップには別製品を利用するのが推奨されていること Timeshiftが発行するrsy…
M1 MacにCocoaPodsをインストールしてXcodeで使う手順をご紹介します。M1チップを搭載したMacでは、いくつかの追加のステップが必要になる場合があります。 開発環境 OS shellについて Xcode Cocoapods CocoaPodsのインストール CocoaPodsの使用 この作業ででたエラー 開発環境 OS $ sw_vers ProductName: macOS ProductVersion: 14.2.1 BuildVersion: 23C71 shellについて Rosettaはインストールされている shellはRosettaを使っている前提です $ una…
明日はオープンソースカンファレンス 2024 Tokyo/Springです。この記事の物体を展示予定なのでお近くの方はぜひ。event.ospn.jp OSCに10GbE NICのデモを持ち込みたい これの続き。akkiesoft.hatenablog.jp10GbE NICが動くことがわかったので、OSCでデモをしたら映えるかなと思い、会社からNICを借りてきました。適当に余っているIntel X520を連れ出そうとしたら、部長から「そんな古いんじゃ消費電力デカくね?YOUこれ持っていきなよ(意訳)」と、Mellanox ConnectX-4 Lxを授かりました。社内的にはもう箪笥の肥やしに…
SREの林 aka もりはやです。 先日行った、GitLab-CE(以後は単にGitLabと表記)のバージョンアップ作業が意外と大変だったため、同じような境遇のどなたかに向けて気づいた点を共有します。 シーケンス図的なもので表すとGitLabのアップグレードのために以下を行いました。 前提 TL;DR 詳細 GitLabはEC2のみにインストールされたシンプルな構成 GitLabのアップグレードによって更新された構成 GitLabのアップグレードは段階的に行う必要があるため専用サイトで確認 Amazon Linux 2023はGitLab16系からしか対応しないため、中継のAmazon Lin…
古いHDDをUSB外付けケースに入れてバックアップ用に利用しているのですが、rsyncを使ったバックアップやmacのTimeMachineが遅くなるので、最近はrestic を使っています。 resticを使っていて感じたメリットをいくつか紹介しておきます。 効率性 ファイルをそのままコピーするのではなくgitのようにパックして圧縮して保存するので小さいファイルを大量に作らないしディスクスペースも節約できる。 ファイルの更新日時のようなメタデータを利用しているので、差分バックアップするときに遅いHDDからの読み込みを最小限で済ませられるし、mac側の変化があったファイルのスキャンも高速 クロス…
この記事は @sogaoh の YAPC::Hiroshima 2024 参加記 [新しい?交流編] です。 他に [資料編] と [広島観光編] を予定しています。 Day 0 Day 1 Day 2 オフィシャルサイト yapcjapan.org サミットやったところでやるという話を聞いて、昨年末に行くことを決めてました。 俺は #yapcjapan に行くぞ、○ョ○ョォ高校の修学旅行以来やわ— 央 (@sogaoh) 2023年12月16日 はじめに3行まとめを。 テーマの「What you like」がなんかすぐに出てこなくて、自分に懐疑的な心境になりました。アイデンティティの見直しに…
登録日: 2024-02-12 更新日: 2024-03-14 「Xubuntu 22.04.3 LTS」の「VirtualBox 7.0.14」にて、仮想マシンの管理に「Vagrant」(ベイグラント) というツールを使えるようにしました。 - 実践編5 の投稿で、以前に作成したデスクトップなしの「Box」(Endeav-base-jp) を使って、コミュニティ版の「OpenBox」を追加インストールしました。 - その作業の中で、「Fedora」のグループインストールと似た機能を持つ「eos-packagelist」というツールを見つけました。「EndeavourOS」のデスクトップなしの…
OpenShift のコマンドのメモ oc rsync <source> <destination> [-c <container>]/home/user/source をコンテナ内 /src にコピー $ oc rsync /home/user/source devpod1234:/srcこれの逆 $ oc rsync devpod1234:/src /home/user/source
午前中から買い物に行っていた。 途中、US Navy Boeing P-8 Poseidonが見えた。 結局買い物はチョコ1個しか買わなかった。(明治のTHE Chocolate。おいしい。) なんか中国発のアニメをアマプラで観ていた。まだ全然進んでないかも。 帰ってきてからは趣味バックエンド開発をしていた。ちまちまやっている。 ちょっとだけネットワークにも詳しくなった。 AS番号取得したいね~となんとなく思っている。 そのためにお金とネスぺが必要かもしれない。 NASとファイルサーバーについて調べていた。 NASはレコーダーとかテレビとかスマホとかと相性がいいけど、rsync使うのはめんどく…
またこのシリーズ買ったのかよ。懲りないな。 でも安いんだもん。。。というわけで、AC600が動かなくなって困ったので、AC1300を買ってしまった。 Amazon当日配達で速かったし。大丈夫なのか日本の物流。今回はコミュニティの情報で十分足りてるので、そのメモだけ。 Install TP Link in Ubuntu 20.04 - Home Network Community git clone https://github.com/cilynx/rtl88x2bu.git cd rtl88x2bu VER=$(sed -n 's/\PACKAGE_VERSION="\(.*\)"/\1/p…
CentOS7.4でgitコマンドがない場合のyumのインストール方法です。例えば、デスクトップと最小構成では入ってるものが変わりますが、最小構成だとjavaが入ってなかったり、gitコマンドなども入っていない状態になります。 [root@testserver opt]# git clone https://github.com/weseek/growi.git-bash: git: コマンドが見つかりません 上記のようにコマンドが見つかりませんと表示されます。 続いて、CentOS7.4でgitコマンドがない場合のyumのインストール方法です。 [root@testserver opt]# …
www.itmedia.co.jp ⇧ お金の力...銀の弾丸は無いけど、金の弾丸で解決と... オンプレミス環境だと、 www.jetpack.io github.com ⇧ jetpack.ioのDevboxとかの導入も検討した方が良いんかな? まぁ、そんなに大規模なシステム開発で無ければ、Dockerで十分な気もしますけども... Linuxで2つのサーバー間で両方にあるファイルのみ抽出しファイルの属性の差分を確認したい 需要があるのか分からんですが、 Gitリポジトリで管理しているファイル群 本番環境で利用しているファイル群 で差分があって、どのファイルがGitリポジトリ以外で管理する…
Google Cloud Storageのバケットのリージョンは作成後に変更できません。 そのため、シングルリージョンで作ったバケットをデュアルリージョンまたはマルチリージョンに変えるためには新規で作成し、オブジェクトを全部新しいバケットにコピーした上で切り替えないといけません。 そのためのオブジェクト同期の方法について考えます。 参考: バケットの保存場所 | Cloud Storage | Google Cloud ドキュメントで紹介されている例は転送ジョブとgcloud storage cp gsutil cp ですが、これだとコピーはできますが、バケットの中身を同じにはできません。ここ…
gigazine.net 国際エネルギー機関(IEA)が2024年1月24日に、AIや仮想通貨などのテクノロジーの急激な発展により、データセンターの消費電力が2026年までに倍増するとのレポートを発表しました。IEAはまた、再生可能エネルギーや原子力発電といったクリーンエネルギーが、電力需要の伸びを上回るとの見通しも示しています。 世界のデータセンターが消費する電力は2026年までに日本の消費電力に匹敵するとの予測、AIや仮想通貨で倍増するエネルギー需要は原子力などの「クリーン」な電力がカバーすると国際エネルギー機関 - GIGAZINE ⇧ 謎なのは、放射性廃棄物を生み出す原子力発電をクリー…
www.publickey1.jp ⇧ 問題になることは分かってはいるけど、対応が難しいという話ですかね。 Linuxのscpコマンドは所有ユーザーや所有グループなど維持できないらしい Linuxのscpコマンドで、サーバー間でファイルの送受信を行った場合、所有ユーザーや所有グループなども維持されてるものと思っていたんですが、 detail.chiebukuro.yahoo.co.jp oshiete.goo.ne.jp ⇧ 上記サイト様にありますように、そもそも、サーバー間で同じユーザー、グループの構成になっていないこともあるので、引継げないということらしい。 なるほど、 man7.org …
前の回のPCについては、まず、TrueNAS SCALE を試して、WD Red 3.0TB HDD (CMR) を 6 台で raidz で構築して3日くらい使ったのですが、止めて、現在は ubuntu 22.04.3 LTS にて ST4000DM004 4.0TB HDD (SMR) 3台で raidz pool を作り samba 共有。その raidz のデータを外付 8.0TB HDD に手動で rsync するみたいな形になりました。 そもそも24時間365日運用はしなくて良いなと思ったのと、TrueNAS はすごく良かったのですけど、触っているうちにもっと Linux をいろい…