UnicodeDecodeError

(2021-11-26 初稿 - 2021-11-28 修正・追記) はじめに Debianを使っている筆者が、WinPythonを使うようになって(1)、ファイルの文字コードに関するエラーにも対処(2)した。 WinPythonを使ってみる WinPythonでファイルオープン時のUnicodeDecodeError対策 今回は、USBやフォルダに展開したWinPythonにpipでライブラリをインストールする方法を示す。 なお、この方法は以下のサイトを参考にさせていただいた。多謝。 PythonとwxpythonライブラリをUSBにインストールする - Qiita ライブラリの操作 以下で…

(2021-11-24 初稿 - 2021-11-29 追記) はじめに 旧同僚からラズパイ用に昔作ったPythonのスクリプトをWindows用に書換えて欲しいとの依頼があった。筆者はWindowsの開発環境を持っていないので断ろうと思ったが、Windowsでも開発できるようになれば、今後仕事が楽になるかもしれないと思い引き受けることにした。 Debian等Linuxとは異なり、WindowsにPythonをインストールする方法はたくさんあり、慣れない筆者は戸惑った。しかし、WinPythonというインストール不要（レジストリを変更しない）でUSBメモリスティックでも運用できるPythonを…

◎CSVファイルのコード等の読み解き 「ハッシュ関数」を用いることで、個人の直接的な識別情報を削除(「匿名 化」) https://www.mhlw.go.jp/stf/shingi/2r9852000002ss9z-att/2r9852000002ssf5.pdf https://www.mhlw.go.jp/stf/shingi/2r98520000025pcd-att/2r9852000002624j.pdf ★こちら下記のURL様にとても助けていただきました http://www.resept.com/BENKYOKAI/reseptseminartext2013.pdf https…

はじめに 開発部の ikasat です。 Python の言語・ライブラリ・処理系はプログラマのタスクを手早く簡単にこなせるようにするために設計されており、数行程度のコードを書いただけでも内部で様々なことをやってくれます。 しかし、この便利さが特定のユースケースにおいては逆にお節介になってしまうこともあり、また内部動作が複雑であることにより挙動を修正する方法も分からなくなりがちです。 特に組み込みの open 関数や標準入出力 (sys.stdin, sys.stdout) はその最たる例であり、UnicodeEncodeError / UnicodeDecodeError や TypeErr…

Pwn tkys_let_die $ nc 10.1.1.10 13020で接続し、 名前を聞いてくるプログラムを突破する問題 通常の値を入れた場合 You'll need permission to pass. What's your name? > aa Gate is close. Goodbay aa. 変な値を入れた場合 You'll need permission to pass. What's your name? > aaaa %x %x %x %x %x %x %x %x %x %x Gate is %x %x . Goodbay aaaa %x %x %x %x %x %x…

8/28 - 8/29に行われたCakeCTF 2021に参加しました。828点で157チーム中44位でした。 数か月前だと解けなかったような問題を解くことができ、個人的にはかなり良かったと思います。

windows環境でpythonのスクリプトを作成していたらutf-8のファイルを開こうとしたら以下のようなエラーが出た。 UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 0: illegal multibyte sequenceファイルを開こうとした処理は以下のような感じ... try: f = open(os.environ.get("SAMPLE_ELEMENT"), 'r') self.element = json.load(f) except: raise ExpectedError("the …

.entry-title{counter-reset:h1;} .entry-content h1{counter-increment:h1;counter-reset:h3;} .entry-content h3{counter-increment:h3;counter-reset:h5;} .entry-content h1:before{content:counter(h1) "\2e\a0";} .entry-content h3:before{content:counter(h1) "-" counter(h3) "\2e\a0";} はじめに 対象イベント 読み方、使い方 Remo…

windows環境での作業でなるほどと思ったのでメモ。 自作のスクリプトをwindows環境で動かしたら動かなかった。以下のようなエラーメッセージが出る。 UnicodeDecodeError: 'cp932' codec can't decode byte 0x81 in position 59: illegal multibyte sequence $ ~/.local/pipx/venvs/shosai/Scripts/shosai hatena push --publish about-terraform-nested-output.md extra commands module i…

だいぶハマった。 久しぶりに触るプログラムでpipenv installやpipenv updateをすると、次のようなエラーメッセージが出てくるときがあります。 ValueError: invalid literal for int() with base 10: ... 一番最後に出てくるエラーはUnicodeDecodeErrorだったりといろいろなプログラムエラーが出てくるんですが、コンソールを手繰ってみると上記のようなエラーメッセージが出てくる。 スタックトレースを見てみると自分が作ったソースコードに関するエラーが一切出ておらずどうしたものかと思っていたのですが、こういうときは大抵バ…

Pythonによるテキストファイル読み込みをまとめておく。