→ユニコード
こんにちは、ユースケ・サンタマリオです。 何気なく使っている言葉で、正式名称を知らないものはいくつかあるものです。 例えば「〜」です。 「〜」は「なみなみ」や「なみなみ棒線」など人それぞれ言い方が異なるかと思います。 ですが、実は「〜」にも正式名称があるのです。 「〜」の正式名称を言う前に 「〜」と「～」は違う文字です。 一見似ているように見えますが、 Unicode(UTF-8) へ変換してみると 前者：U+E3809C 後者：U+EFBD9E と異なる文字だと言うことがわかります。 「〜」と「～」の正式名称 「〜」と「～」 前者の「〜」：呼び名は波ダッシュ。またの名を「波線」といい、ダッシ…
HTTPのリクエストヘッダに設定した日本語が文字化けしてハマりました。 事象と原因をメモしておきます。 事象 この記事で紹介している通りに Apache/Tomcat を連携し、 Apache HTTP Server をリバースプロキシとしてTomcatと連携させる - 山崎屋の技術メモこの記事の方法で HTTP リクエストヘッダを追加しました。 Apache HTTP サーバで応答ヘッダ（レスポンスヘッダ）を追加する - 山崎屋の技術メモ Apache HTTP サーバで要求ヘッダ（リクエストヘッダ）を追加する - 山崎屋の技術メモ httpd.conf の抜粋です。文字コードはUTF-8で…
はじめに うにおん！ならぬ、うにこーど！ nikkieです。 先日ChatGPTがどのように日本語テキストをトークン化するのか覗きました。 トークンのIDから対応するテキストを見ようとPythonのbytesを扱ったわけですが、その中で感じた疑問についてアウトプットです。 目次 はじめに 目次 あ（U+3042）をencodeするとb'\xe3\x81\x82' 続く文字を変換していくと規則性がある 脱線：こんなところでも見かけます jsonでUnicodeコードポイント urllib.parseでバイト列 変換規則：1110 xxxx 10xx xxxx 10xx xxxx 変換規則の適用例…
ファミマに「明太マヨネーズといぶりがっこチーズ」という、「ꙮ」を模しているであろう巻き寿司が売っていたので食べた。 「ꙮ」はUnicodeのコードポイントA66Eの文字で、「MULTIOCULAR O」の名前がついている。Wikipediaでは「多眼のО」と日本語訳している。*1 次は「✺」を模したパンを作って欲しい。「✺」はちぎるところが多くて、パンにしたら食べやすそうだから。「✺」を模した巻き寿司は気持ち悪いからやめてほしい。 *1:https://ja.wikipedia.org/wiki/ꙮ
はじめに NTTドコモサービスイノベーション部の福島です。 画像を表示したいけどビューアーが無い... コンソール上でどうしても画像を確認したい... そんな事態にも対処するため、メモ帳からでも見られるようにUnicode絵文字で画像を表現するプログラムを作ってみます。 Unicode絵文字による画像の表現例 使用例：絵文字クイズを出す これは何の画像を絵文字化したものでしょうか？とある有名な画像です。 答えは本記事の一番下です。 絵文字化したとある有名な画像 実現方法 下記の2工程で実現出来そうです。 画像に対して物体検出を行い、どこに・何が写っているかの情報を取得する 検出された各物体に対…
はじめに アプリやゲームにおいて、「自由入力」のテキストボックスやそれを表示するラベル (ユーザ名・コメント欄・etc.) などを安易に設置すると、想定の斜め上を行く妙な文字(列)を入力され、意図しない表示・処理になることが多々あります。 本稿では、そのテストに使えるような文字(列)を記載していきます。なるべくコードポイント (U+xxxx) も併記するようにしました。 想定環境は主に PC ・スマートフォンで動作するクライアント (もっと具体的には Unity の TextMeshPro InputField) です。 Web やデータベース周りでは、例えば古典的な XSS や 寿司ビール問…
はじめに 以下の記事で文字コードの勉強をしました。 oooomincrypto.hatenadiary.jp 今回はそこからUnicodeについてさらに深堀りしていきたいと思います。 Unicodeとは 「はじめに」でリンクした記事にて文字コードは符号化文字集合と文字符号化方式に分かれており、Unicodeは符号化文字集合に分類され、さらにUnicodeの文字符号化方式として以下の3種類が存在することを解説しました。 UTF-8 UTF-16 UTF-32 Unicodeの文字符号化方式について それでは上記3つの文字符号化方式の解説をしていきますが、Wikipediaの解説が分かりやすかった…
SNSでお正月やあけましておめでとうございますなどのメッセージを投稿する人なら、できるだけ効率よく絵文字を使いたいと思っているでしょう。しかし、絵文字を入力するって難しいと考えていませんか。実は絵文字はちょっとした工夫で簡単に入力することができると知っていると、効率よく利用できるので参考にしてください。 どのような工夫かというと、Unicodeを利用する方法です。Unicodeとは国際的な文字コードの一つで、入力することでほとんど世界中の言語を再現できるといいます。1993年に国際規格として採用されました。WindowsだけではなくMacなど違ったパソコンだけでなく、スマートフォンでも正確に表…
文字だけでは伝わらない気持ちを込めたメールやメッセージを送るときには、絵文字を取り入れるのも1つの方法です。イベントの時には、言葉だけでなくその行事にちなんだものを使用してイベントの雰囲気を盛り上げることをおすすめします。クリスマスのときには、サンタやツリーなどといったクリスマスらしい象徴的なイラストの文字を使ってみてはいかがでしょうか。 Unicodeの絵文字なら世界共通で使用することができるので、パソコンでもスマートフォンでも表示されます。例えば「U+1F385」なら、サンタクロースの顔を表しているものが表示されるのが特徴です。また「U+1F384」だとクリスマスツリーが表示されます。クリ…
実例 たとえば以下のような JSON (sample.json) があったとします。 { "keyword": "\u751f\u5f92\u4f1a\u9577" } 上記の keyword の値である \u751f\u5f92\u4f1a\u9577 の部分を UTF-8 にデコードした JSON を出力するには jq を通せばよいです。 $ cat sample.json | jq { "keyword": "生徒会長" } 補足 \x はじまりのエンコードテキストの場合には Parse error になります。
今日は irb の修正/機能追加やメソッドキャッシュまわりの不具合修正、Object Shapes の不具合修正などがありました。 [62c816410f] Yusuke Endoh 2023-11-28 11:46:00 UTC 拡張ライブラリ socket の名前解決のために pthread を起動する時の pthread_create(3) がたまに EAGAIN で失敗する可能性があるので 3回までリトライするようにしています。なるほどなー。 [458d079166] Kouhei Yanagita 2023-11-28 07:06:31 UTC NEWS に endless rang…
企業によってはかなり複雑なパスワードを設定しているところもあるかもしれませんが、パスワードは複雑であればあるほど、便宜性は失われますが、辞書攻撃などのリスクを減らすことができるようになります。 そして、Windowsで設定できる最も長いパスワードの文字数については、以下のMSのサイトに情報が記載されています。 参考元はこちら。 パスワードに関してよく寄せられる質問 https://docs.microsoft.com/en-us/previous-versions/tn-archive/cc512606(v=technet.10) ちょっと古いドキュメントにはなります。 内部的には、Windo…
Welcome To My Blog A Theme For Top About Blog Blog Top Blog-1 Blog-2 Blog-2 Top Blog-2-1 Blog-2-2 Blog-2-3 Blog-2-4 Blog-3 Menu Latest Posts Main Category Our Portfolio. Recommended Leisurely Enjoy. Meet The Team Contact Page Content Percentage HTML CSS jQuery SCSS Javascript PHP XML Web Designing L…
Rubyist Hotlinksにインスパイアされて始まったイベント『Rubyistめぐり』。第4回はima1zumiさんをゲストに迎えて、お話を聞きました。こちらは後編です。 hey.connpass.com フィヨルドブートキャンプでのつまずきポイントはRails 藤村：フィヨルドブートキャンプでやっていたのはRailsだったんですか？ ima1zumi：そうですね。その時に特定の言語がやりたいという理由でプログラミングスクールを選んだわけではなくて、まず転職が目的でした。転職できそうで自分の条件と合ってるところがフィヨルドブートキャンプだったっていう順番なので、RubyやRailsをやり…
↓↓クリックして頂けると励みになります。ランキング参加中プログラミング インストールしたRails7.1を使ってアプリケーションを作成します。 アプリケーション名は「StreamAcademe」とします。 コマンド rails _7.1.2_ new StreamAcademe -d postgresql アプリケーション作成 ターミナルで作成された「StreamAcademe」フォルダに移動します。 コマンド cd StreamAcademe Visual Studio Codeでディレクトリを開く 左上の「エクスプローラ」をクリックし、「開く」を選択します。 ディレクトリを開く 「Stre…
はじめに はじめまして、nefrockの2023年度インターンシップに参加した東京工業大学修士1年の森合です。 今回は、私がインターンシップで担当させていただいたBluetoothを用いた文字列送信システムについて、その内容を紹介させていただきます。 はじめに インターンのテーマ 実装方針 AndroidスマートフォンのBluetoothキーボード化 日本語の送信 UI 実装物 Bluetooth接続部 送信機能部 実装中にぶつかった問題点と解決策 再接続について 送信機能の不安定性 謝辞 インターンのテーマ Nefrockでは「EdgeOCR」というハイスピードで文字を読み込むことのできるア…
はじめに こんにちは！BBSakura NetworksでOCXのバックエンド開発をしている秋山です。 OCXとはBBSakura Networksが提供している、オンデマンドで閉域網を構築できるネットワークサービスです。 OCXの詳細や仕組みなどは以下の記事にて解説しています。 blog.bbsakura.net OCXはより使いやすく、より多様なネットワークの構築ができるように日々アップデートを重ねており、先日新たなクラウドの接続先としてOracleの提供を開始しました。 本記事ではOCXの使い方の一例として、Amazon Web Services (AWS)と新たに追加されたOracle…
自分が現時点で思うGoのruneの最低限の知識です。(なお、業務ではrune使ったことない) いつか必要になった時にこれだけは知っておいた方が良いかなーと思って自分用にまとめました。 Unicodeコードポイントを表す Unicodeは、文字コードの規格 文字コードは、文字、記号に識別番号を与えて区別できるようにした規則 コードポイントは文字に割り当てられた整数値 整数値 int32の型エイリアス runeリテラルは'で括る ゼロ値は0 改行とエスケープされていない'は不可 []runeとstringは相互変換可能 stringをrangeで回すと2つめの返り値はrune型の値 import …
Macで「OS付属の辞書、Logophile、Googleで検索する」AppleScript。 アプリケーション形式で保存しての使用前提。 実行するとダイアログが出るので、それに従う。 実行時のダイアログ画像 要Python。 --DESCRIPTION:OS付属の辞書、Logophile、Googleで検索する.scpt (* 作成日：2015-04-24 修正日：2017-06-21 作成環境：Mac OS X 10.7.5 *) property name : "OS付属の辞書、Logophile、Googleで検索する.scpt" property target_URL_g_sr…
<!-- more --> 数字の絵文字とUNICODE 絵文字 UNICODE 0️⃣ \u0030\ufe0f\u20e3 1️⃣ \u0031\ufe0f\u20e3 2️⃣ \u0032\ufe0f\u20e3 3️⃣ \u0033\ufe0f\u20e3 4️⃣ \u0034\ufe0f\u20e3 5️⃣ \u0035\ufe0f\u20e3 6️⃣ \u0036\ufe0f\u20e3 7️⃣ \u0037\ufe0f\u20e3 8️⃣ \u0038\ufe0f\u20e3 9️⃣ \u0039\ufe0f\u20e3 数字の絵文字はUNICODEでは3バイトになる 後半の2バ…
以下の記事の続編。 yaritakunai.hatenablog.com NASの暗号化フォルダはeCryptfsを使っており、ファイル名に143バイト制限がある Macのファイル名の多く*1はApple Modified NFD MacからNASにSMB経由で持っていくとファイル名がNFCになる そこで、NFCを適用した上で140バイト超になるファイル名を事前に知りたい。 以前紹介したワンライナー（の改変）。 find . | while IFS= read -r l; do c=$(printf '%s' "${l##*/}" | wc -c); [[ $c -gt 140 ]] && e…
C#のchar型は2バイト C#で下記のようなコードを実行してみます。 using System; class Program { static void Main(string[] args) { char c = 'あ'; int i = (int)c; Console.WriteLine(c); Console.WriteLine("size = " + sizeof(char).ToString()); Console.WriteLine("code = " + i.ToString("X")); } } 【実行結果】 あ size = 2 code = 3042C言語のchar型は1…
Latest Posts Main Category Recommended Take it easy! Contact Latest Posts Click on the image 21.11.2023. はてなブログ: コードブロックに行番号を振る簡単な方法(jQuery) 本記事では、はてなブログでpreタグを使ってコード表記をする際に、行ごとに連番を付ける簡単な方法を紹介します。 jQueryライブラリとCSSスタイリングの組み合わせで、読みやすく整形されたコード表示が可能となります。 READ MORE 20.11.2023. はてなブログ: タイトルに背景画像を付けるテクニック(…
デフォルトではシフトJIS Visual StudioでVisual C++の空のプロジェクトを作成し、下記のようなソースを書いて実行してみます。 #include<stdio.h> #include<string.h> int main(void) { char s[] = "あいうえお"; int len = strlen(s); printf("%s\n", s); printf("length = %d\n", len); for (int i = 0; i < len; i++) { unsigned char b = (unsigned char)s[i]; printf("%02…
note.com
tyru.hatenablog.com
eh-career.com
openmya.hacker.jp
internet.watch.impress.co.jp
tech.albert2005.co.jp
xtech.nikkei.com
internet.watch.impress.co.jp
gigazine.net
