Hatena Blog Tags
はてなブログ トップ
文字コード
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

文字コード

(コンピュータ)
【もじこーど】

コンピュータ上で文字を利用するために各文字に割り当てられる固有の数値のこと。
文字集合と、それを符号化する文字符号化方式から成る

文字集合(character set)

文字符号化方式(character encoding)

あわせた文字コード

関連キーワード

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
社内SEになりました•10 日前

文字コード第四回：文字符号化方式（後編）

文字コードって、とっても難しいです。 そんな文字コードの中で、文字符号化方式について、可能な限りわかりやすく解説します。 １．UTF-16 と UTF-32 ISO-2022-JP や EUC-JP 、Shift-JIS は、複数の文字集合を利用するための文字符号化方式です。 それに対して、UTF-16 や UTF-32、UTF-8 といった文字符号化方式は、使用している文字集合は Unicode のみです。 それなら Unicode を直接利用すれば良いのでは？と普通の人は思います。 そして実際に最初は Unicode を直接利用していました。Java や C# などは今は UTF-16 を…

#文字コード#文字符号化方式#UTF-8#UTF-16#UTF-32

ネットで話題

もっと見る
1077ブックマーク文字コード（UTF-8,Shift_JIS,EUC-JP,ISO-2022-JP）についての俺的まとめ - 今日もスミマセン。snaka72.hatenadiary.org
765ブックマークWebページの文字コードをUTF-8にする方法(前編)［　自宅サーバーWebRing（ウェブリング）┃前｜ID=1前後5表示｜次┃乱移動｜サイト一覧　］ ｜目次｜更新履歴｜ご訪問客帳｜掲示板｜リンク集｜アクセス解析｜雑学｜100の質問｜ 作成日：2001年06月01日、更新日：2009年03月01日 作成：連絡先 初期費用0円年間1200円以下で、ドメイン名(sakaguch.com)を取得し、非固定IP...sakaguch.com
749ブックマークJavaScript における文字コードと「文字数」の数え方 | blog.jxck.ioblog.jxck.io
730ブックマークいいから聞け！ 俺が文字コードについて教えてやるよ その１（前提知識編） - 谷本 心 in せろ部屋cero-t.hatenadiary.jp
714ブックマーク文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ - エンジニアHub｜Webエンジニアのキャリアを考える！eh-career.com
659ブックマーク文字コード地獄秘話 第1話：Unicodeにおける全角・半角 - ALBERT Engineering Blogtech.albert2005.co.jp
569ブックマーク文字コードに起因する脆弱性とその対策www.slideshare.net
478ブックマークMySQLの文字コード事情 2017版www.slideshare.net
430ブックマークUTF-8の冗長なエンコードとは何で、なんでそれがセキュリティ的に危ないのか？を文字コード知識レヴェル3くらいの凡プログラマが考えてみる - tohokuaikiのチラシの裏何故かあたり前にならない文字エンコーディングバリデーション | yohgaki's blog ってあるように、いまいち文字コードの不正な判定による危険性ってのが分かってない。 SJISの問題は、（2/3）SQLインジェクションを根絶！セキュア開発の極意 - 第5回■注目される文字コードのセキュリティ問題：ITproの記事がわかりやすか...tohokuaiki.hateblo.jp

関連ブログ

社内SEになりました•25 日前

文字コード第三回：文字符号化方式（前編）

文字コードって、とっても難しいです。 そんな文字コードの中で、文字符号化方式について、可能な限りわかりやすく解説します。 １．文字符号化方式とは ASCⅡができたころは、「符号化文字集合」と「文字符号化方式」の区別はありませんでした。 ASCⅡ が ISO/IEC 646 として国際規格化され、JIS X 0201 や各国の文字集合ができ、それらの文字集合を混在して利用したいといったニーズと、漢字などを扱いたいというニーズから、ISO/IEC 2022 が誕生し、これが文字符号化方式のベースとなりました。 その後、ISO/IEC 10646（Unicode）が誕生し、現在の文字符号化方式は I…

#文字コード#文字符号化方式#*Shift-JIS#EUC-JP#ISO-2022-JP#ASCⅡ
社内SEになりました•先月

文字コード第二回：符号化文字集合

文字コードって、とっても難しいです。 そんな文字コードの中で、符号化文字集合について、可能な限りわかりやすく解説します。 １．符号化文字集合とは 「符号化文字集合」は、言葉どおり文字の集合です。ASCⅡやUnicode、JIS2004（JIS X 0213）などがこれにあたります。キャラクタセットとも呼びます。 例えば「1」という文字は、ASCⅡでは「31」、Unicodeでは「U+0031」になり、JIS2004には存在しません。「あ」という文字は、Unicodeでは「U+3042」、JIS2004では「2422」になり、ASCⅡには存在しません。 ASCⅡには制御コードを除いて 94 文字…

#文字コード#符号化文字集合
社内SEになりました•2 か月前

文字コード第一回：概要

文字コードって、とっても難しいです。 そんな文字コードを可能な限りわかりやすく解説します。 １．文字コードって何？ 情報システムで扱う「文字」は、「符号化文字集合（キャラクタセット）」「文字符号化方式（エンコーディング）」「フォント」の3つで構成されます。 「符号化文字集合」は、言葉どおり文字の集合です。ASCⅡやUnicode、JIS2004（JIS X 0213）などがこれにあたります。 「文字符号化方式」は、コンピューターで符号化文字集合を扱うためのコード化のルールです。UTF-8やShift-JIS、EUC-JPなどがこれにあたります。 「フォント」は、一番馴染みがあると思いますが、明…

#文字コード
明日もずんだ餅たべたい•2 か月前

【Python】ファイルの文字コードを自動判定して変換する

「CSVファイルを開いたら変な風に表示されるんだけど」 という問い合わせを情シスの方は受けたことあります（断言） Windows環境のExcel（文字コード：Shift_JIS）で別のアプリケーションなどから出力されたCSVファイル（文字コード：UTF-8）を開いたために文字化けすることは"あるある"ではないでしょうか。 対処方法はいろいろあると思いますが、Pythonを学び始めたのでPythonで一気にファイルの文字コードを変更したいと思い調べたら、非常にわかりやすいコードがあったので備忘録として残しておこうと思います。 やりたいこと Shift_JISのファイルからUTF-8のファイルに変…

#Python#Python初心者#文字コード
揮発性のメモ２•2 か月前

スペース

サンプル 数値文字参照 文字実体参照 説明 → ←   半角スペース → ←     改行しないスペース → ← 　 全角スペース → ← 	 タブ記号 → ←     n と同じ幅のスペース → ←     m と同じ幅のスペース → ←   m の1/3の幅のスペース → ←   m の1/4の幅のスペース → ←   m の1/6の幅のスペース → ←   数字と同じ幅のスペース → ←   句読点と同じ幅のスペース …

#文字コード
tamago8610のブログ•2 か月前

CSVファイルを読み込む

※注意 この記事は、投稿者が勉強用に作成している備忘録のようなものです。 メソッドやプロパティ、変数に代入されている値の説明など省略されている箇所があります。 参照設定 VBAコードの流れ 宣言しておく変数 Streamオブジェクトのプロパティ テキストを読み込む抜粋 配列の要素の最大数を取得してくれるUBound関数 CSVを取り込んだ時の表示形式 参照設定 文字コードが、UTF-8、その他の文字コードも読み込めれるようにADOオブジェクトを使用して使った方法を扱う。 ※文字コードがあわないCSVファイルをExcelで読み込むと文字化けを起こします。 ※正味、CSVファイルをExcelで観覧…

#VBA#CSV#UTF-8#文字コード
備忘録•3 か月前

文字コードとサロゲートペア

背景 Javaの文字列から絵文字を取り除く必要に迫られたから調べてみた。 Teradataへの投入処理の際に、Unicode文字列を変換できないことによるエラーが発生する。Teradataへの投入にはFastLoadを用いている。 Teradataはこの問題に Unicode Pass Throughという機能を用意しているが、FastLoadではサポートされていない。 Unicode Pass Through is not supported with FastLoad, MultiLoad, Teradata Parallel Data Pump (TPump), and FastExpo…

#文字コード#Teradata
PMPの流儀•8 か月前

PowerShell 文字コードを16進数に変換する

PowerShell で文字コードを16進数に変換する方法です。 文字を[byte]型に変換した後に、16進数の文字列化をしています。[Convert]は、.Net Framework のクラスです。.Net Frameworkを自由に使えるのはとても便利です。 [char]'A'..[char]'Z' | % { [byte]$_} | % { '0x' + [Convert]::ToString($_, 16) }

#PowerShell#文字コード#16進数#変換
khurata’s blog•2 年前

コンピュータの中での「表現」～文字・画像・音声・動画～

（もともと「Yahoo!知恵袋」の「知恵ノート」だったものを転載しています）（最終更新日時:2015/1/12）投稿日：2012/6/8 はじめに コンピュータは、２進数しか処理出来ない、０と１だけを処理する……何十年も昔から、言われ続けてきた事です。 言葉だけなら、多くの方が御存知でありましょう。 しかし、現在我々が実際に使っているコンピュータを見れば、０と１以外の数値、何万種類もある漢字、フルカラーの画像、音楽、動画……これらが、一体どうして「０と１だけ」なのか、不思議に思われた方もいらっしゃるのではないでしょうか。（もちろん、「そんな基本的な事は全て分かっている」という方も、多いことでし…

#2進数#エンコーディング#符号化方式#コーデック#知恵ノート#動画#画像#音声#文字コード
未来エンジニア養成所Blog•昨日

【Java】ファイルの入出力 Part1

Fileクラス テキストファイルとバイナリファイル ストリーム 参考図書 あわせて学習したい Fileクラス ファイルはデータをコンピュータに記憶させるための基本単位です。 Javaに用意されているAPIを利用して簡単にファイルを操作できます。 ファイルの入出力関係のクラスはjava.ioパッケージに用意されています。 java.io.Fileクラスはディスクに保存されているファイルやディレクトリをオブジェクトとして表現するクラスです。 コンストラクタの引数にパス名やファイル名を指定して、Fileオブジェクトを生成します。 Fileクラスのメソッドを使用すると、ファイルやディレクトリが存在する…

体重133キロからのプログラミング•昨日

MySQLで濁音・半濁音がうまく検索できない

対処 collationを設定する 経緯 ガンプラ出荷予定を返すアプリを作っていたところ、下記のように濁音・半濁音をうまく検索できていないことを確認。 MySQLって濁音・半濁音はうまく検索できないのね… pic.twitter.com/vswIq6opQS— 片山 (@poihey) 2021年7月4日 これに対して、友達がcollationだよと教えてくれた。 MySQLの検索で濁音・半濁音 | Komekkun.com/blog ところで、僕はmigrationツールとしてSequelizeライブラリを利用している。 Sequelizeではどう書けばいいだろうかとなったのである。 実装 …

社畜の所業•一昨日

【Office365参考書】特定のドメインのエイリアス(セカンダリアドレス)を利用しているメールボックス情報を出力ことは可能か？

特定ドメインを利用しているユーザーメールボックスの抽出を行うことは可能ですが、 エイリアス (セカンダリアドレス) のみに特化したコマンドレットは無いため、プライマリアドレスも含めた抽出する方法となります。 抽出された csv ファイルより、該当ドメインがプライマリアドレスであるのか、セカンダリアドレスであるのか確認することはできます。 // 以下のサイトの手順にて、Exchange Online に接続してから実行してください。 it-bibouroku.hateblo.jp [構文] Get-Mailbox -Resultsize Unlimited -RecipientTypeDetai…

プログラミング学習用•3 日前

htmlのmeta要素

HTML5プロフェッショナル認定試験 meta要素 charset description dafault-style reflesh robots content-security-policy(CSP) viewport 全体のコード 参考サイト HTML5プロフェッショナル認定試験 HTML5プロフェッショナル認定試験に出てきそうなmeta要素をメモ程度にまとめる。 Web資格なら「HTML5プロフェッショナル認定試験」公式サイト meta要素 meta要素とは・・・Webページに関する情報を埋め込むことができる。 charset 文字コードを指定する <meta charset="UT…

D IT Y•3 日前

チェリー本輪読会　第4週目まとめ

🍒 はじめに 🍒 輪読会 第4週目まとめ 第4章4.6.4〜第4章4.7.14まで リファクタリングすべきポイントは「繰り返し処理」部分 添字を使った配列の取得方法 concatメソッド キャット？カット？ # frozen_string_literal: true 破壊的メソッドと非破壊的メソッドの見分け方 ! で終わるメソッド 配列の和集合、差集合、積集合 splat展開 メソッドの可変長引数(variable arguments) %記法 charsメソッド、splitメソッド chars の読み方 Array.new ミュータブル、イミュータブル 参考書籍 🍒 まとめ 🍒 はじめに チ…

プログラマーへの道•3 日前

コンピュータ基礎

１．はじめに ２．コンピュータ基礎 ・CPUとメモリとハードディスク ・パス（path） ・2進数 ・文字コード ・ファイルの種類 ・キーボード ・記号の読み方 １．はじめに 4月からプログラミングを学んでおります。ポレインと申します。 私事ではございますが、7月からインフラエンジニアとして働くことになりました。 プログラミングスクールにて主にHTML、CSS、Ruby、MySQL等について学びました。 また、今後は研修で学んだことをまとめていきたいと思っております！ ※このブログでは自分が後々、見返すことができるようにまとめることを目的としていますが、もし需要があるようでしたら是非ともご覧く…

gologiusの巣•3 日前

ブラウザからEXEを呼び出す方法調査（プロトコルハンドラー、カスタムURLスキーム）

半年ぶりにブログ書く。 ちなみに最近はPHP、AWS、Salesforceとかやってた。 以下本題 何がしたいの ブラウザからクライアントアプリ（EXE）を呼び出したい。 身近な例としては メールアドレスをクリック→メーラーが起動 ってのが一番身近だと思う。 どんな方法あるの？ ActiveX経由 基本的にIEしか動かない。 Chromeだと謎のアプリをインストールする必要がある → IEは今後サポート切れになるので没 NPAPI Netscapeプラグインアプリケーションプログラミングインターフェイス 名前の通り ChromeはNPAPIプラグインのサポートを削除している Firefoxも2…

会社都合で退職…36歳女、エンジニアになれるのか？！•3 日前

簡単アウトプット-- HTML head --

HTMLとは Hyper Text Markup Language ブラウザ上で文字・画像・リンクなどを表示させるための言語 < >をタグといい、</ >終了タグで囲む。中には終了がいらないものもある。 <!DOCTYPE html> は、「これはHTMLを記載したファイルです！」と宣言したもの 一番最初に記述する。 ＜html＞タグで囲んだ中にhead 、bodyの要素に分ける。 ※＜/html＞の終了タグは一番最後になる！！ headには、 <head> <meta charset="UTF-8"> # 文字コードの指定 ＝ これにより文字化けしない <link rel="styleshe…

回帰熱！現代和算研究•3 日前

はてなアンテナ ページが更新されました

現代和算数学研究アンテナが更新されました■−2021/07/04 09:13:14 ますいしいのブログ http://ameblo.jp/mathisii/2021年 東京学芸大学(前期) 数学 第２問 数学を得意科目に〓 Amazon（アマゾン） 合格る計算 数学III (大学受験 合格る) 1〜4,374円 ベネッセコーポレーション 進研ゼミ 中学講座 Amazon（アマゾン） 楽しく学んで数学力アップ！ その１〓その３合本版 大学入試には絶対出ない高校数学問題集: 90問全て解ければ共通テストも完璧！？ 650円 Amazon（アマゾン） 20■−2021/07/04 07:27:04 …

tete blog•4 日前

wcコマンドで１単語で２単語文計算される日本語

今回wcコマンドをrubyで実装するにあたって、wcコマンドの挙動を確認していたところ表題の現象にぶち当たりました。 どの文字が1単語で2つカウントされているのかを調べていたところ文章という文字の後ろに文字が入力されると１単語とカウントされていることに気づきました。 では、なぜ文章が2つカウントされているのか？ 原因 wcは１バイトごとで読んでいる。 日本語はマルチバイト 章などの漢字はマルチバイトの中に16進数unicodeのNBSPに値する数列が入っている。 そのため1バイトごとで読んでるwcコマンドはNBPSのせいでスペースが入っているとカウントして１語増える フィヨルドブートキャンプの…

アナログCPU：5108843109•5 日前

Q.小説はどうやって書いてますか？

10日ほど気付かず、さらに10日ほど「どうやってって何だ？」と悩んでいて遅れました。ごめんなさい。結局、あまり深く考えず、ご質問の文面通り自分がどうやって書いてるかを残しておきます。 ◆内容について◆ 正直言って何も考えていません！！！自分の場合は「脳内のキャラの言動を文字に起こしてる」って感覚です。キャラが自分の手を使ってくれるのでそれに任せておいて、あとから読み直して変なところを調整する程度です。 ラノベ育ちなせいか、その脳内でのキャラの言動も映像とか音声とか絵とかではなく最初から文字情報です（あるいは無意識で文字に変換したものを認識してる）。 だからマジで書き起こすだけ。たまにアニメっぽ…

actbemuの気まま日記•6 日前

本家ホームページを改装中

本家ホームページ、要はブログなどではないほうの自分のウェブサイトだが、これからどれだけの人が見るのかわからないが、とにかくこれからは「スマホファースト」「モバイルファースト」の考え方に対応する必要がある。 そこで、調べてみると、どうやらレスポンシブ対応というらしく、CSSで対応できるようだ。（こう書いた時点で、時代たら取り残されている感が強いなあ。） ということが見えてきたので、趣味の音楽（ヴィオラ）関連のページから、レスポンシブ対応に改装することにした。ついでに、文字コードや、ファイルの拡張子、ヘッダ部分の書き方なども、すべて一つひとつ手作業で改修作業。 特に、表の中に画像を入れたりしている…

LIFULL Creators Blog •6 日前

AWS Database Migration Serviceを使ってみた話

こんにちは。テクノロジー本部の稲垣です。 LIFULLでは、提供するサービスによって、様々なDBが稼働しています。 異なるDBエンジン間でのデータ移行が必要となるプロジェクトが立ち上がることとなり、AWSが提供しているAWS Database Migration Service（AWS DMS）による検証を行う機会がありました。

ITよろづや•6 日前

Windows Server 2016のタスクスケジューラの[実行中のすべてのタスク]で時間表示が利用不可と表示される

Windows Server 2016のタスクスケジューラの[実行中のすべてのタスク]で時間表示が利用不可と表示される事象があります。 これは、タスクの履歴が無効になっているのが原因で、有効化することで時間が表示されるようになります。 最近はタスクスケジューラを活用してスクリプトを動かすことが多いですが、PowerShellは意外とタスクスケジューラでうまく実行できない事があるので要注意です。 ちなみに、ps1スクリプトを指定するとメモ帳として起動するので、はじめてPowershellスクリプトをタスクスケジューラで実行する場合によくある失敗ですね。 後、日本語が入っているPowerShell…