大量のデータを、検索などの情報処理が効率よく行なえるように何らかの構造を与えて管理できる状態にしたもののこと。
よく、データベースを管理するための「管理ソフトウェア」がデータベースとよばれているが、それは本来、DBMS(データベースマネジメントシステム、Data Base Management System)と呼ぶのが適切である。
データベースには、採用している構造によって色々な種類があるが、もっともよく知られているのはRDB(リレーショナルデータベース)であると思われる。
CSVファイルをADOで扱う連載の4回目です。前回の記事はこちらになります。 hirocom777.hatenadiary.org さらなる活用を考える 前回は、意図しないデータ変換を防ぐCSVファイルの形式について考えてみました。すべてのデータをダブルクォーテーションで括って文字列型に固定することで意図しないデータ変換を防げることが判りました。考えてみればCSVファイルはテキストファイルなので、この方法は無難だと思います。 ところでこの連載ではADOを使用してCSVファイルを扱うことを主題にしていることは、すでに申しあげたとおりです。ADOは、そもそもデータベースを取り扱うためのもので、今回…
どんなことでも、やってやれないことはないのです。 やる前から尻込みしていては、何も始まらないのです。 やってみて・・・・ 続きはこちら
先日のOSO2020で、はてなの吉田さん(id:syou6162)がカラムのコメント数をMackerelのサービスメトリックとして登録して可視化したという話をして感銘を受けたので早速rake taskを作ってみた。 なお、先日の記事。 patorash.hatenablog.com 言及されていたのは、スライドのここ。一番下に書いてありますね。 オープンセミナー岡山 これから始めるデータ活用 from syou6162 ところで私はMackerel初心者です 会社ではMackerel使っているし、私自身も一応恩恵は受けているのですが、Herokuを使っているから外形監視くらいなもんで、じゃあど…
Orchestrator orchestrator は マスターの障害検知およびレプリカのマスター昇格(フェイルオーバー)を自動で行うソフトウェアです。 MySQLのマスター昇格といえば、MHAがデファクトスタンダードでしたが、MHAはメンテナンスモードになって久しい・・・ということで、最近は orchestrator が使われることが多い印象です。メルカリさんで使われたりしているようです。 github.com アンチ フラッピング機構 RecoveryPeriodBlockSeconds orchestrator にはアンチフラピング機構が備わってます。orchestratorにおける、フ…
こんにちは、株式会社ラクスで楽楽勤怠の開発を行なっている goldminer です。 「楽楽勤怠」は昨年にリリースしたばかりのクラウド型の勤怠管理システムです。 ラクスのサービスは BtoB のサービスが多く、勤怠管理システムも基本的にはバックオフィス業務をサポートするためのシステムです。 バックオフィス業務であれば(サービスの停止を伴う)メンテナンス時間を営業時間外となることが多い深夜時間帯にすれば影響が出にくいのですが、勤怠管理システムには打刻機能があり、これは次のような性質を持っています。 打刻には(いつ打刻したのかという)客観性が必要だが、打刻できずに従業員の自己申告に基づいて後から入…
CSVファイルをADOで扱う連載の3回目です。前回の記事はこちらになります hirocom777.hatenadiary.org 意図しないデータ変換を防ぐ方法 前回は、ADOを使ってCSVファイルを開くツール(以下CSV_ReaderADO)の概略について説明しました。思っていたよりもシンプルだったんじゃないですか? 今回はCSV_ReaderADO、というよりADOを使ってCSVファイルを開くときに、意図しないデータ変換を防ぐ方法をご紹介したいと思います。CSV_ReaderADOはこちらからどうぞ!! 01_ADOでCSVを扱う.zip - Google ドライブ ファイルを開いて比べて…
CSVファイルをADOで扱う連載の2回目です。前回の記事はこちらになります。 hirocom777.hatenadiary.org CSV_ReaderADOの解説 前回は、CSVファイルをADOで扱う事ができるという事をお話ししたうえで、CSVファイルを簡単にExcelシート上に表示するツール"CSV_ReaderADO***.xlsm"をご紹介しました。使ってみた感じはいかがでしょうか?今回はこのツールの解説をしたいと思います。ツールは以下からダウンロードして下さい。 01_ADOでCSVを扱う.zip - Google ドライブ ツールの解説 前回もお話しした通り、このツールにはあらかじ…
CSVファイルをADOで扱う 皆さんこんにちは、HiroCom777です。僕は最近仕事でCSVファイルを使うことが多くなりました。Excelファイルなどと違って機能が少ない分シンプルで取り扱いが楽です。 同時にCSVファイルをめぐっては、色々なトラブルを見ることがあります。代表的なのはExcelで開いたときにデータが意図せず変換されてしまうというもの。対策としてはテキストエディターを使用して開く、またExcelではPower Queryを使って開く等が紹介されていますが、どれもちょっとめんどくさいです。 ADOを使ってみては? 僕は、以下でExcelファイルをデータベースとして使用する方法の連…
賃貸ではあるけれど自分の家があるというのは、感謝しかないです。 それでもやはり生活音以外の騒音には、なんとも我慢しがたいところがあります。 無音を・・・・ 続きはこちら
企画と基本設計、詳細設計が終わり、いよいよ次はテーブル作成。当たり前のようにマイグレーションコマンドをしようと思いましたが、できず。①マイグレーションプラグインを読み込む ②データベース設定がMAMP用にするこれらを押さえれば、MAMPのCakePHP3.8でマイグレーションできるようになりました。(目次) ①マイグレーションプラグインを読み込む ②データベース設定がMAMP用にする 終わりに 【自分の環境】macOS Catalina PHP7.4.2 CakePHP3.8 MAMP5.7 Apache2.2 MySQL5.7 ①マイグレーションプラグインを読み込む まず「マイグレーションプ…
今日は、会社がお休みでしたので 友達が書いた本を読んでました。 Web系の仕事をしているっていうのは知ってたんですが 具体的にどんなことをしてるかは あんまり聞いてなかったので、 友人が書いた本を読んで、どんなことをしていたか理解しました。 プライベートは知ってるんですが 仕事のこととなるとさっぱりですよね。 特に友達だと、お互いにあんまり仕事の話しないんですよね。 似たような業種だったりするといいんですが 私はハードウェア設計だし 友達はWebコンテンツを作ってる人なので これまでは仕事の話をあんまりしませんでした。 データベースについて書かれた本なんですが かなりわかりやすく書かれてて、面…
良書良書と聞いていたSQLアンチパターンですが、題名からSQLに特化した内容と思い込み、今まで読んでいませんでした。 www.oreilly.co.jp 先日、本書に記載されている「とりあえずID」のアンチパターンを踏んでいることを指摘いただき、購入に至った...という経緯です。 ※電子版が欲しかったため、オライリーから購入しました。 本記事には、第1部をゆっくり、他部をざっくりと読み進めた際、思ったこと等を記載します。 新卒に入ったプロジェクトでは、第1部に記載されていたアンチパターンを全て網羅していた(唖然) ジェイウォーク(信号無視) ナイーブツリー(素朴な木) IDリクワイアド(とりあ…
Twitterのデータベース設計の課題を作成するにあたり、中間テーブルについて学んだので、自分なりにまとめた。 中間テーブルを理解する前に リレーションシップは4種類だけ そもそも多対多とは、どういう関係か? ✅ 学生から見た、サークルとの関係 ✅ サークルから見た、学生との関係 ✅ 学生とサークルの関係は、多対多 多対多の関係のテーブル同士を結合したい ✅ テーブルを作ってレコードを入れてみる ✅ 2つのテーブルの間に中間テーブルを配置する ✅ レコードを登録してみる 中間テーブルの特徴まとめ 参考記事 中間テーブルを理解する前に 中間テーブルを理解するためには、テーブルのリレーションシップ…
主キーを理解していないと、データベース設計で行う正規化を理解することができないので、自分なりに学習して理解したことをまとめた。 アイデンティファイアとは 主キーとは 主キーを満たす条件 私の失敗:主キーは一つのテーブルにつき、常に一つだけだと勘違いしていた 「社員名」が主キーではいけない理由 主キーが複数の場合はどんなテーブルか 参考書籍/参考記事 アイデンティファイアとは アイデンティファイア(ID)とは、「このレコードは他のレコードとは違う」と、識別するためのもの。 例えば、社員に関するデータが登録されているテーブルがあり、そこにたくさんの社員のレコードが登録されていたとする。 この時、社…
これまで学んだSQLコマンドについてまとめた。 データベースの操作 データベース作成 データベース一覧 データベース削除 データベースに接続 データベースの接続終了 操作方法 helpよりもっと詳しい操作方法 テーブルの操作 テーブル作成 テーブル一覧表示 テーブルに設定されてるカラム(列)確認 テーブル名変更 テーブル削除 カラムの操作 カラム追加 カラム削除 カラムの名前変更 カラムのデータ型を変更 INSERT:テーブルにデータを登録する SELECT:必要なデータを検索して取り出せる すべてのカラムを取り出す 一部のカラムを取り出す テーブルを複数扱うとき UPDATE:レコードの値を…
田中 泰三様とSAMPUKU爺様の画像につき、転載はご遠慮ください。 昭和42(1967)年8月1日 直江津機関区 昭和43(1968)年6月2日 直江津機関区 車歴は↓こちら。 C1252 機関車データベース (形式C12) - デゴイチよく走る! 後面左側ステップがえらいゴツイですね。しかも白く塗られてる。 昭和42年の画像では休止状態のようです。入換に従事していた模様。 キ913はキ900形式のかき寄せ雪掻き車、通称マックレーです。キ550形式キ553からの改形式改番です。(キ550の形式名は複線用ラッセル車に譲った。)マックレーは機関車に牽かれて線路脇の雪を線路中央にかき寄せ、後方のロ…
初めまして。株式会社カミナシPMの@gtongy1です。 みなさんはNewSQLをご存知ですか? 強い整合性を持つ分散型のSQLデータベースサービスのことをNewSQLと呼びます。 RDBMSではなし得なかった分散アーキテクチャを、またNoSQLではなし得なかった強い整合性をいいとこ取りした新しいSQLデータベースサービスです。 なんかとても理想的な仕組みに見えますね。この裏にはどのような知識が詰め込まれているのでしょうか。 今回はそんなNewSQLを支える仕組みを一緒に紐解いていきましょう! NewSQLが乗り越えた壁 どんな仕組みが動いているのか、の前にNewSQLはこのSQLデータベース…
下記の記事は日刊ゲンダイデジタルからの借用(コピー)です日本は65歳以上の高齢者が総人口の28.7%を占める超高齢社会。新型コロナ禍で普段は縁遠く感じている死について考えた人もいるだろう。しかし、あなたがイメージする日本人の死は古いかもしれない。近年日本人の死因が大きく変わったからだ。 厚労省が発表する人口動態統計の主な死因別に見た死亡率(人口10万対)の年次推移によると、2018年以降は「老衰」が「脳血管疾患」や「肺炎」を押しのけ、「がん」「心疾患」に続いて死因第3位となった。00年には約2万1000人だったのが、18年に約11万人に、19年には約12万2000人に達した。全死亡数の実に9%…
ネットワーキングとは、人脈の構築。 そして、ビジネスを発展させるのに必要なのは、「アシストネットワーク」「ブレインネットワーク」「パートナーネットワーク」の3つのネットワークを作るネットワーキング力です。 先回、「アシストネットワーク」についてはお話をさせて頂きましたので、今回は、「ブレインネットワーク」「パートナーネットワーク」について解説をさせて頂きます。 2.ブレインネットワーク ブレインネットワークと聞くと、もしかしたら、あなたに、知識や専門性に関する情報を与えてくれる「情報ネットワーク」をイメージされる人がいるかもしれません。 昔、「情報を制する者がビジネスを制する」と言われた時代が…
「AIブーム」もこなれてきて、いろんなソフトウェアベンダが「もう少し突っ込んだテーマ」を探しているように見えます。 本記事では2020年代のビジネスモデルとソフトウェアをどう作りどう使ったらよいか、その考え方について5箇条という形で書いてみます。 第一条 ドメイン知識を「APIを組み合わせるノウハウ」に変換すべし GAFA(Google, Apple, Facebook, Amazon)がグローバルプラットフォームの上で安価なAPIを提供してくれるようになったおかげで、ソフトウェアを作ることはAPIを組み合わせてインタフェースを作ることとほぼ同義になりました。 もはや、世の中の99%の企業にと…
次世代のDNAシーケンシングデータが計算能力が追いつかないほどの速さで出現しているため、基本的なDNAアライメント/マッピングの問題に対する近似ヒューリスティックな解法がますます使われるようになってきている。逆説的なことに、データが増えれば増えるほど、それを解析するために使用されるアライメントアルゴリズムの精度が低下する。ミスマッチがあるという制約の下で、完全な感度と特異性を持つアルゴリズムはより高速なアライメントを約束する技術のために無視されてきた。BURSTは、証明された最適なアライメントアルゴリズムのルーツに戻り、デフォルトの動作モードでアライメント品質を犠牲にすることなく、数百万倍のス…
go-sqlmock を使ったことがなかったので、Gormを使ってデータベースにアクセスするアプリケーションをテストするコードを書いてみました。 READMEに sqlmock is a mock library implementing sql/driver. Which has one and only purpose - to simulate any sql driver behavior in tests, without needing a real database connection. sqlmockはsql/driverを実装したモックライブラリです。目的は一つだけで、実際…
2021/02/26 最後尾に追記あり 酒を飲んでるけどブログなんてそんなもんやろと思いながら書く。 旧知*のTJO氏がこんな引用RTをしていました。 ※Twitterでは、の意味 これは自分もはむかずさんの意見に近くて、最初に3をやってその人に全権委任して1と2をやってもらう(その代わり相応の待遇で報いる&完遂するまで忍耐強く待つ)というのがベターかつ現実的だと思ってます。全体像が見えない中で1と2を先にやろうとすると、それまでに組織が疲弊して3に辿り着けない https://t.co/sHrrmyUn1V— TJO (@TJO_datasci) February 25, 2021 これは自…
こんにちは、ゆりです。 本記事では、「いつも1銘柄100株ずつしか購入しない私が300株ずつ購入してみた」 シュミレーションをしてみたいと思います。 実施経緯 私はいつもリスク分散のため、1銘柄100株ずつしか購入しない方針をとっています。 しかしながらその分リターンも少ないため、 さらなる利益を求めて100株以上の購入を検討中です。 このシュミレーションがうまくいくようになった頃、 実際に100株以上購入したいと思います。 300株というのは私の買い付け資金で可能な範囲であろうと思い、適当に設定しました。 やってみたシリーズ第一回目は以下に貼り付けておきます。 もしよかったらご覧ください。 …
前回、Logic Apps を使用し、Azure SQL Database の CPU使用率に応じて、自動スケールアップ (仮想コア数を増加) する方法についてまとめてみました。 なお、セキュリティ要件によっては、Logic Apps から Azure SQL Database への接続をプライベート通信に限定し、パブリック ネットワーク アクセスからAzure SQL Database への接続を完全に遮断しなければならない場合もあるかと思います。 今回、上記のセキュリティ要件を満たす方法として、統合サービス環境 (ISE) + Logic Apps を使用し、プライベート リンク経由で A…
取得した資格→AWS-ソリューションアーキテクト-アソシエイト 勉強時間→1ヶ月。約40h 得点→730点。ギリギリでした… 教材 ○徹底攻略 AWS認定 ソリューションアーキテクト – アソシエイト教科書 ¥2618 一読+付属の演習問題を解く ※新形式対応の方を買って下さい。(自分は間違って旧形式の方を買ってました笑) 改訂新版 徹底攻略 AWS認定 ソリューションアーキテクト - アソシエイト教科書[SAA-C02]対応 [ 鳥谷部 昭寛 ]価格:2618円(税込、送料無料) (2021/2/26時点) 楽天で購入 電子書籍版はこちら↓ 改訂新版 徹底攻略 AWS認定 ソリューションアー…
問題11 以下の分のうち、Amazon EBSの特徴について正しく説明しているものはどれですか?(2つ選択してください) Amazon EBSに保存したデータはアベイラビリティーゾーン内で自動的にレプリケートされる。 Amazon EBSのデータは自動的にテープにバックアップされる。 Amazon EBSボリュームは暗号化できる。 Amazon EBSボリュームは、アタッチされているEC2インスタンスの停止によってデータが消える。 A 1.Amazon EBSに保存したデータはアベイラビリティーゾーン内で自動的にレプリケートされる。 3.Amazon EBSボリュームは暗号化できる。 問題12…
はじめに 技術スタック 作ったもの 仕組み 技術的な話 docker コンテナに対して何かを実行させる Redis を使ったキャッシュ MySQL User の権限を絞る デプロイ時の色々 おわりに はじめに JVM オプションをいい感じに比較してくれるサービスを作ったが、サブドメインに割り当ててしまったので大元の lrf141.dev に何もないという状況はあれだなと思い半年ぐらい前に作った頭の悪いポートフォリオサイトを作ったのでまとめる。 技術スタック Go 1.14 React 16.13.1 MySQL 8.0.21 Redis 6.0.5 Docker 作ったもの https://l…
はじめに Docker-composeでRail環境を構築してみようとした時に行った作業用メモです。 逐次アップデートしていく予定です。 参考 youtu.be www.techpit.jp 基本操作 イメージのビルド docker-compose build コンテナの作成と起動 docker-compose up -d Dockerfileを更新した時に再度ビルドを行う場合 docker-compose up --build コンテナを停止・削除 docker-compose down その他よく使う操作 コンテナの一覧を表示 docker-compose ps ログを表示 docker-…
MongoDBカンファレンス2021年7月だって 個人的にはiot分野でのmongodbの使われ方だったり構築事例が知りたいかな RDBでなくて、nosqlの方がiotには向いてると思うんだよね だからその構築事例とかもっとみんなに知られていいと思うし MongoDB.liveカンファレンスは2021年7月13-14日に開催されます。MongoDB.liveは、世界で最も急速に成長しているデータコミュニティが、つながり、探求し、学ぶために集まる場所です。 最終的な開催日はまだ決定していませんので、最新情報が入り次第お知らせします。トピック トピックをご覧になり、あなたのトークアイデアがどのよう…