minio

DockerのMinioを使用していますが、イメージが古すぎてディレクトリごとアップロードができませんでした。そのため、最新イメージにアップデートしようとしたところ、エラーメッセージが出て起動しなかったその対応を記載します。 ※ プロダクション環境でMinioを使用している場合には適用できません。 環境 Docker Minio RELEASE.2019-01-31T00-31-19Z RELEASE.2024-02-13T15-35-11Z ゴール 次のエラーメッセージが出たときに、最新イメージで起動できるようにする。 ERROR Unable to use the drive /data:…

こんにちは。クロスマートで請求書を始めとした帳票サービスの開発を行っているDev2 テックリードのたけじい(@pouhiroshi)です。 このテックブログは持ち回りで担当を決めているのですが、もっとクロスマートのエンジニアがどのような仕事をしているのか、技術的にはどのようなことにチャレンジしているのか等を対外的にアピールしていきたいという（個人的な）想いから、今年は月1本は記事を書いていきたいと思っています。ぜひ今後もご期待ください。 もしこの記事を見て、興味が湧いた方はぜひ採用ページもご覧ください。（絶賛採用強化中です！） xorder.notion.site さて、ここから本題です。 2…

結論 ポイントがいくつかあります。 Base URL にはバケット名まで書くこと Backet にはやはりバケット名を書くこと Prefix は必須なので何か書くこと*1 Region は MinIO 内で設定している内容と同じにすること gyazo.com *1:書かないと https://example.com/my-bucket//foo.jpg みたいになってしまう

minio の詳しい説明は公式に頼りたいところですが、minio とは s3 と互換性のある object storage です（object storage とは）。 今回はこの『s3 と互換性のある』って部分を少し深ぼって、golang の sdk から s3 にアクセスする既存コードを使い、ローカルでは minio に切り替えてみます。 環境 minio: RELEASE.2023-06-02T23-17-26Z go: 1.20 golang aws-sdk: github.com/aws/aws-sdk-go-v2 v1.18.0 github.com/aws/aws-sdk-go-…

AWS SDK for Go v2 を使って S3 互換の MinIO へ接続してみました。 今回のサンプルコードは こちら はじめに 初期化（プロジェクトの作成）を実施します。 > go mod init sample AWS SDK for Go v2 で S3 を扱うための依存モジュールを追加します。 > go get github.com/aws/aws-sdk-go-v2 ・・・ > go get github.com/aws/aws-sdk-go-v2/config ・・・ > go get github.com/aws/aws-sdk-go-v2/service/s3 ・・・ カ…

はじめまして。株式会社アドグローブWeb&アプリ事業部の近藤です。 みなさんは、普段、開発環境はどのように用意してますか？ 私が担当するプロジェクトでは、よくDockerを使っており、本番環境をAWSで動かすことが多いので、本記事では「普段どのようにDocker開発しているか」を簡単にご紹介します。 どなたかの参考になれば幸いです。 目次 目次 本記事で出来ること 全体ファイル構成 各ファイル説明 docker-aws/ docker-aws/nginx/Dockerfile ベースイメージ（DOCKER_REPOSITORY_URI_NGINX）について docker-aws/nginx/c…

結論 今はしょうがない。 アップロード自体は成功している。ただ、たとえばエラーメッセージで分岐するロジックを経ているようなときには注意が必要。 実例 $ rclone --update --include '*.jpg' copy . minio:foobar 2021/10/17 21:49:04 NOTICE: foobar_01.jpg: Failed to read metadata: Forbidden: Forbidden status code: 403, request id: 16AED24DD26F0575, host id: 2021/10/17 21:49:04 NOT…

2日遅れになってしまいましたが、、、 この記事は MicroAd Advent Calendar 2024 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の1日目の記事です。 注： 執筆現在 2024/12/03 1:14 qiita.com qiita.com 今年もアドカレの季節がやってきました🎄 今回は、DuckDBがIcebergに対応してたり、PyIcebergにDuckDBを見つけたので、どんなもんか試してみた。 はじめに DuckDBについて PyIcebergについ…

Outline Wikiは、チームで共同編集できるナレッジ管理ツール、いわゆるWikiの一種である。有償のSaaSが提供されていることに加え、セルフホスト版のCommunity Editionを無償で利用することができる。見た目と操作感はNotionに近く、セルフホストできるWikiツールの中ではモダンな見た目と機能性の高さが際立っていると思う。 一方で、ファイル保存にS3を利用する（MinIOなどS3互換ストレージも可）、組み込みの認証機能がなくOpen ID Connect (OIDC)で認証を行う、という２つの点でセルフホスト環境構築のハードルが高く、私自身過去に環境構築を諦めたことがあ…

先週は意図せずしてプチバズってた 新現場でAWSキャッチアップするぜ投稿 今の現場、AWSなんてほとんど触ったことないのに配属されてるんだけど、ゴリゴリにCICD組まれてたりCloudFormationでインフラコード化してたり、勉強したかった身としては涎が止まらない。活きてるコードに触れる。本当にチャンスもらった。この機会を絶対手放さない。— y2m@元未経験エンジニア (@yusuke1225math2) 2024年11月9日 エンジニア界隈燃えやすい話題辞典の投稿 エンジニア界隈で燃えやすいお題・SES or 自社開発・休日に勉強するorしない・Mac or Win or Linux・ス…

github.com planner: generate hash64 and equals for logical expand by AilinKid · Pull Request #57177 · pingcap/tidb · GitHub Plannerでlogical expandにhash64とequalsを生成しています。 expression: label more expressions as thread-safe and add more test cases by qw4990 · Pull Request #57171 · pingcap/tidb · GitHub …

はじめに 先日Xで以下のようなポストを見かけました。 Open Source LLM ToolsIf you are looking for useful open-source LLM tools, this is a really useful resource.It includes different categories like tutorials, AI engineering, and applications, among others. You can also see the # of GitHub stars. pic.twitter.com/v6IGibvgBZ— e…

Laravelの開発環境を立ち上げる時にいくつかやることがあります。 私は主に下記です。PostgreSQLとRedisはPC起動時に自動で起動するようにしています。 php artisan serve npm run dev minio server ~/minio-storage --console-address :9001 mailpit これを毎回実行するのはめんどくさいですし、忘れてしまいますので、tmuxで自動起動するようにしました。 これをプロジェクトのlocal/start.shとして保存します。 #!/bin/bash # セッション名を設定 SESSION_NAME="l…

ずっとWSL2のArch Linuxを使っており、最近、Windows11 Powershellでの開発に切り替えたところでしたが、どうもやっぱり変えたいです。 きっかけは、Laravel Herdが自動アップデートされたら、Laravel Herdが起動しなくなったことです。。Laravel Herdが必要だった理由は、WindowsでRedisがすんなり入らなかったからです。 Linuxなら何も問題ありません。しかし、WSLの場合、Cursorのcodeコマンドがうまく使えなかったり、Windowsでしか動かないアプリとの連携がめんどくさかったりしたので、AIとか3Dとか考えたらどっちにし…

こんにちは。tubone24です。 Difyにはセルフホステッド版が存在しております。 github.com こちらをAzure Kubernetes Service (AKS)上に構築する手順についてまとめていきます。 手順の概略 本手順はdouban/charts difyを用いてDifyの動作に必要なサービス郡をAKS上に作ります。 基本的にHelmを用いて一式が立ち上がりますが、パブリックアクセスでDifyにアクセスしたいため、 パブリックアクセス用にイングレスをLoadBarancerタイプに紐づける形で新規作成する手順が追加されております。 事前準備 開発環境整備 Macなどのロー…

Anytype anytype.io Inkdrop の乗り換え先をうすーく探していて、セルフホストベースでも運用できる、という話を聞いて調べていた。 zenn.dev 見た感じでは、 Notion と Obsidian を足して割った感じ？ のような印象をうける。 実際に試してはいないのでどうなのかは未知数。 self hosted 前述の通り、ドキュメントに sefl hosted な環境をつくれるという記述があった。 tech.anytype.io 本体は Go のシングルバイナリなので問題はなさそうだが、その他の要求事項として次のものがある。 MongoDB S3 Redis ウオオッ…