文字集合

はじめに 以下の記事で文字コードの勉強をしました。 oooomincrypto.hatenadiary.jp 今回はそこからUnicodeについてさらに深堀りしていきたいと思います。 Unicodeとは 「はじめに」でリンクした記事にて文字コードは符号化文字集合と文字符号化方式に分かれており、Unicodeは符号化文字集合に分類され、さらにUnicodeの文字符号化方式として以下の3種類が存在することを解説しました。 UTF-8 UTF-16 UTF-32 Unicodeの文字符号化方式について それでは上記3つの文字符号化方式の解説をしていきますが、Wikipediaの解説が分かりやすかった…

はじめに 文字コードについては今まで何となくで扱っていたのですが、お仕事で基礎から学ぶ機会があったので備忘録としてまとめていきたいと思います。 符号化文字集合と文字符号化方式 文字コードは以下の2段階へ区別できます。 符号化文字集合 文字符号化方式 ja.wikipedia.org 符号化文字集合 単純に言うと文字の種類。人間が読める文字たちを集めたもの。 文字符号化方式 符号化文字集合をコンピュータが読める形にしたもの（いわゆる2進数の世界）。 文字コード一覧 上記をふまえた上で文字コードの一覧を見てみると、一般的に文字コードと言われていても中身は符号化文字集合と文字符号化方式に分かれている…

6完。直前までぷよぷよ最強リーグを観ていて、ちゃんとトイレの時間を残して切り上げて間に合ったと思いきや、鉛筆が見当たらないというトラブル。ぷよぷよの前はずっとプロセカやってた（想いのカケラの割り振りを調べたり考えたり）ので、準備はちゃんとしたつもりでも抜けがある可能性が大きくなり気分的にも対処が難しくなる。A問題では少し探したあとにボールペン（使いたくない）を使った。のちに鉛筆は見つかったが、かなりの時間をロスした。ずっと競プロやプログラミング以外のことをやっていると、やはり（短期的にも）パフォーマンスは落ちるのかもしれない。今回はなんとか青パフォで、軽傷で済んでよかったねという感じ。最近AB…

文書の一覧 JTC1/SC22/WG21 - Papers 2022 mailing2022-03 全部で27本あります（SG22のWG14からのものは除きます）。 N4908 Working Draft, C++ Extensions for Library Fundamentals, Version 3 N4909 Editor's Report: C++ Extensions for Library Fundamentals, Version 3 N4910 Working Draft, Standard for Programming Language C++ N4911 Editor…

Goで文字列を1文字ずつ処理するときの仕組みが気になって深入りした内容をまとめておく。 16進数とバイトの関係 4ビットが表す数値は0から15（24-1）までである。 これは16進数で表現できる「0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F」と対応させて考えることができる。 つまり4ビットを16進数で表現すれば、1文字で表すことができる。 逆に言うと、16進数の1文字は4ビット、16進数の2文字は1バイト（8ビット）と考えることができる。 2進数から16進数への変換 「100110110110」という2進数を考える。 16進数では、10進数と区別…

# 正規表現を使わないテキストパターン検索 from pyexpat.errors import messages def is_phone_number(text): if (len(text) != 12): # 文字列長がぴったり12文字かどうか調べる return False for i in range(0,3): if not text[i].isdecimal(): return False if text[3] != '-': # 市外局番の後がハイフンになっていること return False for i in range(4,7): if not text[i].isdec…

こんにちは。ima1zumi です。 私の開発している Rails アプリでは、Excel で読み込めるように 文字コードを Windows-31J に変換して CSV を出力する機能があります。 先日、CSV 出力にて Unicode の波ダッシュ 〜 を Windows-31J に変換しようとして Encoding::UndefinedConversionError が発生して CSV 出力に失敗したことがありました。なぜエラーになるのか、どうやって対応するのかをまとめました。 まとめ encode メソッドの fallback オプションを使って未定義文字の変換先を定義することで変換でき…

お疲れ様です。私です。 最近はWEBで受ける試験(oos-dbのシルバー)に落ちたりしてました。 コーティング試験って何やらの気持ちに近況なっていて、「paizaのｂ練習問題を曖昧にpython（前はjavaでやってたが出力を出すのに手間などの理由からpython）」などで解いたりしてます。 二本木探索、計算量とかが出てくるといきなり難しくなって(解けない、解く気がなくなる)のでatcoderは手を出してないです。 コーディングを支える技術 ~成り立ちから学ぶプログラミング作法 (WEB+DB PRESS plus)作者:西尾 泰和技術評論社Amazon この本を読んだきっかけ paizaのよ…

優秀なエンジニアであっても、これまであまり直接関わってこなかった場合、案外文字コードのことについて詳しくは知らなかったりするものです。Unicode って何？UTF-8/16/32 の違いを説明できる？サロゲートペアって何？絵文字を UTF-8 で表現すると何バイトになる？そういった質問に自信を持って答えられるというエンジニアは実はそれほど多くなかったりするのではないでしょうか。 先日、Slack 上での同僚との会話の中から、 👨‍👩‍👧‍👦 という絵文字が UTF-8 で何バイトか？という話題になり、調べてみたところ 25 バイトという結論になりました。 確かめてみるには、 このようなコード…

いつの間にかテキストコミュニケーションにおける重要な一部を占めるようになった絵文字。友人や家族などとのLINEやメールではもちろん、仕事上の会話でも絵文字を使っているという人も少なくないだろう。筆者含め、デジタルネイティブの世代にとっては、物心ついた頃から身近な文字のひとつとして扱われてきた。 絵文字が日本発祥であることは有名であろう。現在、世界中で使用されている絵文字のルーツはポケベルで使用されていたハートの絵文字にある。画面はモノクロで、現在のコミュニケーションアプリよりも文字数が限られていたポケベル。ハートマークはテキストコミュニケーションにおける感情表現を豊かにするための文字だったよう…

こんにちは、リサーチャーの古谷（@kk_fry_）です。 私は普段、音声認識の研究開発をしています。 前回の記事から、End-to-End 音声認識で用いられる Connectionist Temporal Classification (CTC) 誤差関数の解説をしています。 本記事はその後編となります。 前回は、CTC 誤差関数の定義と計算方法を解説し、その偏導関数を導出しました。 今回は、CTC 誤差関数の勾配降下法による学習について解説し、その解釈を考えてみます。