正規化

ひと口に住所と言っても住居表示を実施しているところばかりでなく、今も大字や小字を使っているところもありますし。 また、上記記事でも触れられていますが、表記揺れの問題はついて回りますしね。 ネット上などで入力してもらう場合は、郵便番号と住所コードを組み合わせて丁目単位ぐらいまで選択入力してもらうことで一定の正規化は図れるでしょうが、それでも完全ではないでしょうし。上記記事で一案として出されている、ページレジストリによる定義化とオープンデータ化が最善なのだろうと思います。これからの住所入力だけでなく、住所等の既存データベースの正規化にも寄与すると思いますし。 この辺りもデジタル庁の仕事になってくる…

エンティティ（実体） 例：美容院 予約システム 画面図などを使って、仕様を決める 画面図や仕様書を見ながら、何をデータとして保存するか列挙していく。 列挙したデータを種類ごとに分ける。 店名 時間帯 美容師 コース システム側が事前に用意するもの 店名 美容師 ユーザーが登録するもの 時間帯 コース 列挙したデータを抽象化して、エンティティとしてまとめる。 店名ID： 美容師No： 時間帯： コース： テーブル名と列名を定義し、データを入れる クロエ（店名）テーブル +--------+--------------+-------+ | 美容師ID| 時間帯 | コース | +--------…

The Nature of Code(PDF版)からPVectorについて取り上げます。その中でもベクトルの正規化について書きます。Processingでプログラムを書いて、動作を確認します。動作を確認できるところがProcessingの楽しいところです。 ベクトルの正規化 ベクトルの正規化の例 プログラムの解説・メモ まとめ 参考サイト ベクトルの正規化 ベクトルの正規化とは、任意の長さのベクトルを方向を変えずに大きさを1にすることです。大きさが1のベクトルを単位ベクトルと言います。 PVector a = new PVector(3, 4); println(a.mag()); //5.0…

はじめに 文字列中の半角スペースを正規表現を使って削除する、nikkieです。 先日、はんなりプログラミングの会のボーネンLT会にて文字列の正規化処理を話しました。 その中から、「文字列中の半角スペースの削除」をエントリ化しちゃいます！ ※このエントリ中のコードは、Python 3.10.2で動作確認しています 目次 はじめに 目次 文字列の正規化処理LTのコンテキスト 正規表現を使って半角スペース1つに揃えているとします 正規表現を使って、文字列中の半角スペースを削除する実装 正規表現で文字の範囲を表す 半角スペースを含む正規表現のパターン 後方参照を使って置換する subメソッドはパターン…

"DX時代の働き方をつくりだしなさい" なんて言われている方多いと思います。とはいえ、難しいですよね。今の業務をデジタル技術で変革する、どうやって？というのが本音のところかもしれません。 まずはこれですかね、RPA RPAとはRobotic Process Automationの略で、ロボティックプロセスオートメーションと呼ばれる技術です。これまで人間が対応していた作業などを、ルールベースエンジンや、AI/機械学習等を含む認知技術を活用して自動化・代行・代替する技術です。特に単調な繰り返し作業では導入が進んでいます。 1970年代にロボットが工場でモノを作り始めましたよね。あまり難しく考えずに…

新しいアプリを作る際に、データベースの設計を行おうとしたのだがどこまで冗長性を排除すればいいのだっけと思ってしまったのでもう一度正規化について学んでみようと思う。 いつもお世話になっている書籍を読み返しながら要点だけメモしてみる。 達人に学ぶDB設計 徹底指南書 | ミック | 工学 | Kindleストア | Amazon 正規形とは そもそも正規形とはデータの冗長性をなくして、一貫性と効率性を保つようにするためのデータのフォーマットのことらしい。 正規形は第一から第五まで存在するが、基本的には第三正規形まで行えれば十分とのこと。 なので第一から第三までを軽く復習していこうと思う。 第一正規…

備忘録です。 文字列を操作するための関数をまとめた備忘録。

趣旨 ハミルトニアンモンテカルロ法(HMC)を理解する(執筆当時ではまだ理解できてないけど)。 注意 物理ど素人なので完全には理解できてない。情報の正確性には注意。 理解してないなら「理解する」とか書くなよ うるせーよ では解説する。 HMCとは Metropolis-Hastingsに代表されるこれまでのMCMCでは、あらかじめ与えられた初期値と初期提案分布からスタートし、棄却したりしなかったりしながらサンプリングを行うわけだが、提案分布が目的の分布と大きく外れていれば酷い出来になる。これを軽減するためにランダムウォークMetropolis-Hastingsがあるらしいのだが、あんまり探索的…

はじめに 株式会社GROWTH VERSEの代表取締役CTOの南野です。この記事では、AIを中心とした弊社の成長戦略を紹介したいと思います。 GROWTH VERSEについて GROWTH VERSEの事業内容 弊社は、デジタルマーケティングの最先端を行くエンタープライズ向けソリューション「GROWTH AI Platform」を提供する会社です。また、事業領域としては以下の三つになります。 データ収集エンジンを含んだデータ基盤 マーケティングオートメーションツール AIソリューション データ収集エンジンを含んだデータ基盤は、企業が保有するさまざまな顧客データを収集・統合し、一元的に管理・分析…

PowerColor RX7900GRE 16G-L/OC (Image via PowerColor) PowerColor RX7900GRE 16G-L/OCは、所謂サードパーティベンダーによるカスタムデザイングラボで、同社のフラッグシップシリーズ「Red Devil」に次ぐ位置づけにある「Hellhound」シリーズに属するモデルです。PowerColor RX7900GRE 16G-L/OCのレビューを見ながら改めてAMD Radeon RX 7900 GREの立ち位置を見てみたいと思います。

はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事では、混合ユニグラムモデル(混合カテゴリモデル)に対する周辺化ギブスサンプリングをPythonでスクラッチ実装します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 3.5 混合ユニグラムモデルの周辺化ギブスサンプリングの実装 文書データの簡易生成 パラメータの推定 推定結果の可視化 トピックの作図 分布の…

インフラジスティックス・ジャパン株式会社、ローカライゼーションのルミです。Ignite UI for Angular 16.1 リリースいたしました。本リリースでは、様々な新機能と重大な変更が含まれておりますので是非ご期待ください。詳細は以下をご覧ください。 Typedoc と Sass の API サイトで表示するバージョンを選択いただけますが、製品リリースから同バージョンの API ご提供までには通常数日いただいております。また前バージョンリリース以降に API の追加/変更がない場合、最新バージョンはドロップダウンに追加されない場合があることにご注意ください。

著者：小林 昌樹［こばやし・まさき］(1967-) 司書。レファレンス論、図書館史、近代出版史、読書史。 件名：情報活動（インターネット） 件名：レファレンスワーク NDLC：UA21 NDC：002.7 総記 >> 知識．学問．学術 >> 研究法．調査法 NDC：007.58 総記 >> 情報科学 >> ドキュメンテーション．情報管理 >> 情報検索．機械検索 備考：メールマガジンでの連載を書籍化したもの。https://www.libro-koseisha.co.jp/webcolumn_category/mail-reference-tips/ 調べる技術――国会図書館秘伝のレファレンス…

「データエンジニアリングの基礎」を読んだので、感想・各章の内容についてまとめます www.oreilly.co.jp 全体を通しての感想 原本は Fundamentals of Data Engineering で本書は日本語訳となります。 筆者のJoe Reis氏とMatt Housley氏はデータエンジニアリングのコンサルタントを行っていて、業界経験が長いお二人です。 データエンジニア界隈は急速に変化する業界と本文中で書かれています。 業界変化の中で「変わらないもの」を選択し、今後数年間役に立つコンセプトをまとめたものと本書を説明しています。 上記の狙い通り、本書はツールや特定技術ソリュー…

学んだこと 実際この本からは、理屈や知識よりは、自力で正規化したり、ER図を書くことを学んだ これができるようになったことがとても大きい進歩 一般的な話 RAIDのことが書かれているけど、いまはもうSSDが主流だと思う AWSなどにはスナップショットが取れる機能があり、それを使えばいい 差分バックアップと増分バックアップがややこしい 差分バックアップは、フルの後の差分を積み上げたものをいう 増分バックアップは、フルの後の1回ずつの個別にバックアップしたものをいう（積み上げてない） 冗長というのは、同じデータを複数の場所で保管すること 理論設計では、エンティティの抽出、エンティティの定義、正規化…

WEBデザインを学ぶ際、CSSは欠かせない要素の一つです。CSSを使いこなすことで、見栄えの良いウェブサイトを構築したり、ユーザビリティを向上させたりすることが可能です。 このガイドでは、WEBデザイナーのためのCSSコーディングに関する基本から最新のトレンド、効果的なテクニック、そしてレスポンシブデザインへの対応まで、7つのステップで詳しく解説します。CSSに関する疑問や質問に対する回答も含んでおり、初心者から上級者まで幅広く役立つ情報を提供しています。 さあ、一緒にCSSの世界を探索してみましょう。 【PR】Webデザイナーを目指す方におすすめのWebデザインスクール！ 副業・フリーランス…

良かったところ とにかく説明がわかりやすい なぜ、これはこうなっているのかや、内部ではこう処理している などちゃんと解説してくれる所が良かった この本1冊やれば、体系的にSQLが学べる 付録に練習用ドリルが付いていて、WEBで練習できる わかったこと 全体像 DBの操作の言語は、DDL、DML、DCLがある DDLはデータベースの構造の定義 DMLが具体的なCRUD処理 DCLが権限の付与や解除など 基本的に学ぶのはDBのCRUDの操作なので、DMLがメイン NULLはそもそもtrueかfalseを帰す以前に存在しないのでIS NULL, IS NOT NULLを使って判別する NOT,AND…

この記事は、YOLOの論文を紹介したいと思います。 ※説明の都合上、図表など省略しています。適宜、元論文も参照してみてください。 "You Only Look Once: Unified, Real-Time Object Detection" Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi https://arxiv.org/abs/1506.02640 1. どんなもの？ 2. 先行研究と比べてどこがすごい？ 3. 技術や手法のキモはどこ？ 3.1. 単一のネットワーク 3.2. グリッドシステム 3.3. 損失関数の設…

趣旨 MCMCの一つであるギブスサンプリングを理解する。 MCMCって？ 前の記事を参考にしてください。 usapyoi.hatenablog.com では解説する。 ギブスサンプリングとは MCMCの一つで、Metropolis-Hastingsアルゴリズムの特殊な例と言える。 問題設定 今、区間で一様に分布する擬似乱数を発生させるアルゴリズムが得られている。これを元に、に従う個のサンプルを抽出したい。ここで、は次元変数であるとする。 ギブスサンプリング 1. 手順 に初期値を与える。 各について、以下のSTEP 3, 4, 5を行う。 各について、以下のSTEP 4, 5を行う。 をからサ…