Docker

以前「コンテナ若葉マーク」で「コンテナ環境ではIPアドレスじゃなくてコンテナ名を使って通信しろ！(IPアドレスは意識するな！)」みたいなことを話したりしたことあったんですが、何らかの理由でコンテナ名(ホスト名)でなくIPアドレスを使って(イコールIPアドレスを固定して)コンテナを使いたい場合について。 コンテナ単体で固定IPアドレスを使いたいユースケースはさすがに無いと思うので、複数のコンテナをデプロイしてお互いのコンテナ間通信の際にIPアドレスを固定したい、という場合について、Docker単体(docker実行)の場合と、Docker Compose使用時それぞれについて説明します。 まずD…

イントロ 論文を使うとき何のツールを使っていますか？ 大半の方はOverleafを使っていると予想しています。 なぜなら、Overleafの著者共有機能や、ブラウザで書ける利便性が圧倒的だからです。（他にもっと強いツールが出ていたら教えて下さい。） 一方で、Docker+LaTexで環境を作る場合のメリットは、「Overleafより軽い」「Gitで管理しやすい」等が挙げられます（もちろん、Overleaf単体 / Overleaf+Gitでのバージョン管理機能はあります）。また、最近Overleafは使っていないので分かりませんが、アップロード周りがちょっとめんどくさかった気がします。 また、…

$docker ps とうつと Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http:~ unix /var/run/docker.sock: connect: permission denied という様なエラーが出た際の対処法を書く。 これはユーザーがdocker groupというものに入っていないときに出るエラーだ。 docker groupに入れる必要がある。 以下のサイトが参考になる。 https://stac…

Dockerで自分だけのカスタマイズイメージを作ったので、作り方をメモします。 今回はCentOS8にJavaを入れる方法を試します。 また、dockerはrootユーザーで動くので、事前にrootにsuしておくと楽です。 そうでない場合は、各コマンドの頭に「sudo」をつけて下さい。 ベースイメージをpull まずはベースとなるイメージをdockerhubからpullします。 docker pull イメージ名:タグ 例えばCentOS8のイメージをダウンロードするなら以下になります。 docker pull centos:8 イメージをrunしてbashを起動 次に、dockerイメージを…

ついにきたぞ！ ロシア版ISUCONともいうべき高負荷環境をチューニングするプログラミングコンテストHighLoad Cup 2021(Gold rush)がついに始まりました。2017年、2018年と2回開催されて以降更新がなかったのですが、All Cupsの一部として装いも新たについに降臨です。いやぁ待った甲斐があったね。 cups.mail.ru 開催日程 現時点での開催日程は以下の通りです。 2021/02/19 - 2021/03/05 Beta-testing 2021/03/05 - 2021/03/21 Battle-round Beta-testingの期間もテスト走行は可能…

この本を読んだメモ。 イラストでわかるDockerとKubernetes Software Design plus作者:徳永 航平発売日: 2020/12/05メディア: Kindle版 Docker/Kubernetesは仕事で使っているものの、きちんと勉強したことがないなと思ったので、まわりで評判の良かったこの本を丁寧に読むことにした。 本の感想 Docker使ってると「レイヤ」って言葉を見るけど、そのイメージがついた。イラスト付きでしっかり解説してくれるのはありがたい。 CRIランタイム/OCIランタイムって言葉をよく見かける。こないだも見た。これの意味を理解した。 CRIランタイム: …

WindowsでDockerを使ってGoをビルドする方法についてまとめてみました。Dockerhubからgolangのイメージの取得先を確認します。 hub.docker.comコマンドプロンプト（PowerShell窓）を開いて以下のコマンドを実行します。 docker pull golang latest: Pulling from library/golang 0ecb575e629c: Pull complete 7467d1831b69: Pull complete feab2c490a3c: Pull complete f15a0f46f8c3: Pull complete 151…

Windows 10にdockerをセットアップする流れをまとめてみました。 DockerDesktopインストール① DockerDesktopInstallerを以下のサイトからダウンロードします。 www.docker.com ダウンロードした「Docker Desktop Installer」実行します。 チェックはデフォルトのまま「OK」押下します。 インストールが完了したら「Close and restart」をクリックするとWindows OSが再起動するので注意してください。 WSL2更新 Windowsが起動すると「WSL 2 installation is incomple…

Ubuntu ターミナル環境のセットアップ ~2021/02 版~ インストール手順 CI 環境 Ansible 化 とはいえ bash スクリプトも有用 テスト環境 Ubuntu ターミナル環境のセットアップ ~2021/02 版~ 2021年2月現在、Ubuntu 20.04 LTS @ WSL2 をメインの開発環境として使っています。 $ uname -a Linux LAPTOP-J7ASCQS6 5.4.72-microsoft-standard-WSL2 #1 SMP Wed Oct 28 23:40:43 UTC 2020 x86_64 x86_64 x86_64 GNU/Lin…

今回はWSL2にDocker Desktopをインストールして、actをインストールする準備を完了させます。 Docker公式サイトのガイド通りで問題なかったです。いくつかスクショを貼っておきます。 WSL2のインストールは、こちらを参照してください。 参考 Docker Desktop WSL 2 backend | Docker Documentation Docker Desktop for Windowsの導入 on WSL2 - Qiita: もっとちゃんと書かれている記事 手順 事前準備 先にWSL2をインストールしておきましょう。 ダウンロード Windows用のインストールをダ…

Docker overview | Docker Documentation 公式より Docker image Docker containerを作成するための手順が含まれた読み取り専用のテンプレート よく、あるiamgeはカスタムされた他のimageをもとに作成されている。 Docker container Docker imageの実行可能なインスタンスである。 hostまたは他のcontainerとは隔離されいる。 環境を自由にいじることができる。

先日機械学習界隈の方とDockerの話をした際、Makefileを使って機械学習環境の整備をしている人は実は少数派なんじゃないかと感じました。 機械学習で使うコマンドは引数が長く、とても覚えられるものじゃありません。暗記できていてもミスタイプしたり、tmux内とかだと折り返されて何書いてるかよくわからなくなりがち 。Ctrl＋Rとかで検索かけようとしても大体はdocker...から始まるのでタイプ数多くなりがち。 Makefile は、Docker のコマンドをいい感じにまとめやすく、jupyter notebook に使う長ったらしいコマンド jupyter notebook --port …

はじめに PythonでGUIアプリを作成して、それを他の人に動作確認または修正をしてもらいたいときがありました。このとき、GUIアプリを動かすのにPythonパッケージが多数必要であったり、OSによってGUIアプリの動作が違っていたりして動作確認が困難でした。 Dockerを使えば、その問題を解決できるということで、Dockerを導入したのですが、Dockerを使う最初の一歩がわからず、環境を共有してもらうのに２、３日かかってしまいました。それなので、Dockerを使って環境を共有するまでのやり方をまとめました。Dockerのインストール方法やDockerについての説明は省いています。初学者…

現象 $ docker run --rm -it ubuntu:21.04 root@f35370427219:/# date Thu Jan 1 00:00:00 UTC 1970 root@f35370427219:/# apt update Get:1 http://ports.ubuntu.com/ubuntu-ports hirsute InRelease [269 kB] Get:2 http://ports.ubuntu.com/ubuntu-ports hirsute-updates InRelease [90.7 kB] Err:1 http://ports.ubuntu.c…

はじめに Docker-composeでRail環境を構築してみようとした時に行った作業用メモです。 逐次アップデートしていく予定です。 参考 youtu.be www.techpit.jp 基本操作 イメージのビルド docker-compose build コンテナの作成と起動 docker-compose up -d Dockerfileを更新した時に再度ビルドを行う場合 docker-compose up --build コンテナを停止・削除 docker-compose down その他よく使う操作 コンテナの一覧を表示 docker-compose ps ログを表示 docker-…

github.com 引き続きやっているが、 jupyter のエクステンション周りで四苦八苦中… $ docker-compose up Recreating stock-trading-system_app_1 ... done Attaching to stock-trading-system_app_1 app_1 | Executing the command: jupyter notebook app_1 | [W 23:19:00.951 NotebookApp] Config option `default_jupytext_formats` not recognized by…

すっかりホコリをかぶっているLOOX U もったいないのでLinuxでも入れてサーバにしてみようかと。 ラズパイをサーバにするってのが最近の定番らしいのですが、LOOXUくんも結構常時通電のサーバとしては結構優秀だと思うんです。 さぁ、１０年以上前のマシンで、戦えるのか？ LOOX Uをサーバにするメリット 省電力 PCとしては非力だが、ラズパイと比べるとそこそこの実力 電源断時もバッテリーで動作可能 ディスプレイ・キーボード・USBもついてるで さて、何いれるか？ ATOMってamd64未サポートなのでi386バージョンを入れる必要がある 軽量ディスとリビューションLubuntu 18.04…

はじめに こんにちは！ＢＦＴ名古屋支店・インフラ女子（？）のやまぐちです。 ２０２１年に入ってWindows Subsystem for Linux 2（以後、WSL2）を触ることがあって記事を書きました。 bftnagoya.hateblo.jp 今回は折に触れて触ったり調べたり…その中で気づいた、WSLがサーバ構築には向かないということについて３つの理由を挙げます。とはいえ不便な点を理解した上で使う分にはとっても便利なのでガンガン使っていこう！と思っています。 WSL2がインフラエンジニアに向かない理由 理由１．systemdが使えない まずは以下のコマンド実行結果をご覧ください。 roo…

Open SourceのETL（今のところExtract Transform LoadのうちExtractとLoadメインみたい）ツール、Airbyteを試してみました。TechCrunchでは、オープンソースのデータパイプラインプラットフォームとして紹介されていました。 airbyte.io jp.techcrunch.com 用意されているSourceとDestinationを組み合わせて、スケジュールを実行の設定ができます。差分更新ができるコネクターが限られていたりはしますが、シンプルに散在しているデータをBigQueryってときとかは使えるかもしれません。

どうもてぃ。 前回の記事でgcloudコマンドをPython3.8に対応させました。 smot93516.hatenablog.jp 今回の問題は、GCRへイメージをpushするためgcloud auth configure-dockerで認証を行った後に起こったことです。 調査から解決まで一連の流れを書いていこうと思います。 環境 言語関係のバージョン管理はasdfを使用しています。 % cat /etc/lsb-release DISTRIB_ID=LinuxMint DISTRIB_RELEASE=19.3 DISTRIB_CODENAME=tricia DISTRIB_DESCRIPT…

現在の個人MacBook Air 元々2014年製のものを使っていたが、仕事やスキルの投資として買い換える 現状の不満やストレス ネイティブアプリ開発や機械学習などの処理をする上で遅すぎる Dockerの開発環境も辛い（M1だと現状微妙だけど） Zoomでバーチャル背景が使えない（スペックの問題） 画面が急にスリープする頻度が高い キーボードが打ちにくい状態 注文したスペック オプションで変更したもの メモリ8GB→16GB + 22,000円 現状は8GBを使用して余裕が欲しかったのでグレードアップ バックライトMagic Keyboard 日本 → 英語（米国） 現状日本語だけど変更してみ…

こんにちは、カミナシの@tomiです。 開発環境で送信したメールを確認するためにMailHogを導入してみました。 MailHogとは送信したメールをブラウザで確認できるツールです。 導入のきっかけ 以前、Ruby on Railsで開発している際に、letter_openerという送信したメールをブラウザで確認できるgemを使っていて、メール周りの開発が捗りました。 Golangでもメールが送信されたかを確認する方法を探してたらMailHogというツールを見つけたので、とりあえず導入してみました。（勝手にプルリクを出した） 導入方法 導入はとても簡単で、 公開されているDockerイメージで…

■dockerのhwdsl2/ipsec-vpn-serverでIPsecVPNを試してみる。 $ docker search ipsec -f stars=3 NAME DESCRIPTION STARS OFFICIAL AUTOMATED hwdsl2/ipsec-vpn-server VPN server with IPsec/L2TP, Cisco IPsec and … 360 [OK] cpuguy83/ipsec 6 [OK] jpillora/ipsec-vpn-server A simple, multi-user IPsec/L2TP and Cisco IP… 4 [O…