文字コード変換

今回は、Shift_JIS と utf-8 の変換などについて扱います。 [目次] 文字コード xxd で実験してみる 元に戻す １バイトずつチェック 2進数から文字列を復元 nkf Shift_JIS のファイルを UTF-8 に変換する UTF-8 のファイルを Shift_JIS に変換する おまけ まとめ おまけ：アルファベットは大文字で おわりに 文字コード 以降で扱うために必要な、文字コードの知識・並びに Linux の標準文字コードである utf-8 を簡単に説明します。 あまり詳しくないため、その辺はご容赦ください。 xxd で実験してみる # 16 進数ダンプ等をしてくれます…

シングルバイト文字・マルチバイト文字 UTF・BOM Unicodeエスケープ文字・パーセントエンコード文字 nkfコマンドの基本的な使い方 nkfコマンドでの文字コードの変換例 UTF-8からUTF-8（BOM付）への変換 Unicodeエスケープシーケンス形式を日本語文字に変換する パーセント・エンコードを日本語文字に変換する まとめ Windows, Mac, と LINUXのちょっとした歴史について LINUX/Macの基本コマンドの関連記事 参考資料 シングルバイト文字・マルチバイト文字 「シングルバイト文字」は、１バイト（7ビット、または8ビット）のデータ量で表現できる文字である。…

今日はPHPネタ。この脆弱性について確認したことのメモ。 github.com どういった脆弱性か？ PHPSpreadsheetライブラリにおいて細工した xlsx ファイルを処理させることで XXE（XML外部実体攻撃）が可能。 XXE とは Wikipedia の解説がサンプルコードもあって分かりやすい。 ja.wikipedia.org OWASP TOP 10:2017 だと A04:2017-XML External Entities (XXE) （上から4番目）の項目で、2021年度版で A05:2021-Security Misconfiguration に統合されている。 o…

USBメモリからのデータ復旧 ７９００円～９９００円 サポートモバイルではUSBメモリからのデータ復旧サービスをご提供しております。料金など詳細は下記ホームページをご確認ください。 【データ復元 メニュー・価格表】壊れたＳＤカードやUSBメモリからのデータ復元価格・作業時間など詳細はこちらへ 【USBメモリ文字化けが消えない！原因と解決策を徹底解説】 「USBメモリを開いたら、ファイル名が文字化けしていて読めない…」 そんな経験はありませんか？文字化けは、せっかく保存したデータにアクセスできなくなるだけでなく、最悪の場合データ消失にもつながる可能性があります。 この記事では、USBメモリの文字…

NSEG 2024/06 フリープレゼン大会 - connpass で発表したやつをブログにも書いておく。 speakerdeck.com ruby.wasm で作ったやつ 文字化けを復元するよ シャッフル MySQL Parameters Rabbit on Firefox ruby.wasm の使い方 基本的な使い方 JavaScript の機能を使う DOM 操作 require まとめ ruby.wasm で作ったやつ 文字化けを復元するよ https://tmtms.net/mojibake/ 文字化けを復元したり、文字列を文字化けさせたりできる。 自分が ruby.wasm で最初…

xoBlos（ゾブロス）製品機能とユーザーユースケースの整理・分類 カテゴリ別分類 Webサイト関連 Webサイト開発・構築 データ閲覧・ダウンロード用、データ収集用、データ検索用、帳票作成・閲覧用、ファイル統制・管理用、ファイル登録・アップロード用のWebサイト Excel業務のWeb化 財務・経理、経営企画、総務・人事、業務・シェアードサービス、販売・営業、生産管理・SCM、製造・工場、情報システム部門 情報共有Webサイト 社内・部門内情報共有用、社内会議用 閲覧制限 ユーザー認証、ユーザー権限、個人・グループ・部門の管理 ID・パスワード管理 利用者登録・変更・削除と管理 業務サイト登…

CentOSからUbuntu、RedHatにサーバ移行していますか？ もうすぐEOSLだというのに、いまだOS移行案件が複数走っているわが社ですが、その際に起きた事象を紹介します。 事象 現行環境だとSJISで出力されるファイルが、新環境だとUTF-8で出力されていた 結論からいうと cronからバッチを起動した場合、バッチ内で利用しているnkfコマンドが権限エラーで実行できていませんでした。 バッチを直接実行した場合とcronから起動した場合に権限が違うからです cronから呼び出されるバッチは、ちゃんとcronから起動してテストしつつ /var/log/cron のログも確認しようね とい…

背景 ちょっと前に以下を作ってちょっとした喜びを感じていました。 スクショ画像を半分にするクイックアクションの作り方（mac） - memorandums 同じように日常的な作業としてGoogle Classroomに提出された課題の一覧表（アカウント名＋提出 or 未提出）をダウンロードする、がありました。Classroomで採点すると時間がかかるので提出ファイルをダウンロードしてExcelに点数をつけるためです。ちなみにUIは以下なんですけどね。 このダウンロードしたファイルはUTF8なんです。なのでExcelで開くとこんな感じになります。あーあという感じです。 上の図の最右列が実は提出完…

Windowsであっても，Linuxであっても文字を操作するプログラムには，文字コード変換が絡んでくる場合が多いです。 Windowsの場合は，以前のプログラムの文字コードがShift-JISのままになっており，最近ではUTF-8に変換する必要があります。 Fedoraにおいては，創生初期からUTF8を採用しており，特に問題にはならない場合が多いのですが，昔の資産であるbashコード等のプログラムを利用するため，system()やexec()を利用したときに変な現象に遭遇しました。 その現象とは，例えば以下のようなソースを，コマンドラインで直接実行した場合と，Web経由でPerl(CGI)とs…

Node.js と SendGrid API を使った文字化け対策 Communication illustrations by Storyset こんにちは、開発チームでエンジニアをしている和田です。 最近はいろんな開発ツールに AI が導入され、馴染みあるツールの進化に驚かされる毎日です。 話は変わりますが、ついこの前に自分が担当しているプロダクトで、ユーザーが SendGrid 経由で送信したメールの文章が文字化けするという現象に遭遇しました。 Mac と Windows 端末でファイルのやり取りをしていたりすると遭遇しやすい文字化け...。 今回は文字化けさせないように処理を追加するタ…

gigazine.net ⇧ まぁ、方針が間違ってると学習の効果が薄いのは分かり切っていて、その方針を提案してくれるんだから、学習効果は上がるでしょうね。 試行錯誤して探すしかなかった部分を代替してくれるわけだから、それまで徒に浪費していた不毛な時間が削減出来て、本質的な部分に注力できるわけですし。 外字とは？ Wikipediaによると、 外字（がいじ）とは、特定の文字集合（文字コードなど）に含まれない文字のことをいう。日本で一般には、JIS規格の文字コード（通常はJIS X 0208、稀にJIS X 0213やJIS X 0221）に含まれない文字のことをさし、「表外字」、「拡張漢字(ベン…

評価：★★★☆☆☆☆☆☆☆XXXが100エピソードになったため新シリーズ化した。最初の20分はゴミで、それ以降も低調気味。

fgetwsを使ったwget_file_wtext_cstdioを作る。 その前に、fgetsを使ったget_file_text_cstdioがロケールの影響を受けるか確認する。 main.cを、 /* ヘッダファイルのインクルード */ #include <stdio.h> /* 標準入出力 */ #include <stdlib.h> /* 標準ユーティリティ */ #include <string.h> /* 文字列処理 */ #include <locale.h> /* ロケール */ #include <sys/stat.h> /* ファイル状態 */ #include <wchar…

fwscanfでマルチバイト文字を読み込む関数wscan_file_text_cstdioを作る。 main.cで、と書く。 UTF-8もEUC-JPも読み込めてる。UTF-8もEUC-JPも読み込めてる。 これも、UTF-8バイト列をUTF-8バイト列として、EUC-JPバイト列をEUC-JPバイト列として読み込んでるだけで、文字コード変換が発生してるわけではない。Test/c/wscan_file_text_cstdio/wscan_file_text_cstdio/src/wscan_file_text_cstdio at master · bg1bgst333/Test · GitHu…