Pythonでいろいろと作成している時に扱っているデータをどこかに取っておきたいとかデータを受け渡したいような場合が発生します。 そのような場合の1つの方法としてCSVファイルへの書き込みがあります。 今回はそのCSVファイルへの書き込み方法の説明をしていきたいと思います。 (adsbygoogle = window.adsbygoogle || []).push({}); 目次 1.1行分のデータのCSVファイルへの書き込み方法 2.複数行分のデータのCSVファイルへの書き込み方法 3.CSVファイルへ追記する方法 4.CSVファイルへの書き込みでの区切り文字の変更方法 5.先頭にヘッダーな…
初めに 環境 準備 ライブラリのインストール データの取得と整理 モデルの学習 モデルの評価 モデルの保存とhuggingfaceへのアップロード 追加学習をしたモデルを使って分類 初めに 色々LLMを触ってきて、ちゃんと?bertを触ったことがないので以下の記事を自分でもやってみます. 一部記事の内容から変更して実行しています soroban.highreso.jp 以下でColobは公開しています colab.research.google.com また作成したモデルは以下で公開しています huggingface.co 環境 Google Colob(T4) 準備 ライブラリのインストール…
初めに 環境 準備 比較対象のモデル 対象のデータ 複数のモデルでPerplexityの値を取得 結果 初めに 環境 L4 GPU ubuntu22.04 準備 ライブラリをインストールします pip install torch transformers huggingface_hub 比較対象のモデル stabilityai/StableBeluga-7B mistralai/Mistral-7B-Instruct-v0.2 Rakuten/RakutenAI-7B-chat 対象のデータ 今回の対象のデータは yodasのja000の一部を使用します。 Text 1 それと僕が材料をお伝え…
本記事では、データエンジニアリング初学者の学習記録として、データエンジニアリングの概要から実践までの内容をまとめています。 今回は前編として、データエンジニアリングおよびAzure Data Factoryについてご紹介します。 データエンジニアリングとは? データエンジニアリングの必要性 データエンジニアリングのプロセス Azure Data Factoryについて 実践するシナリオについて おまけ:ダミーデータを用意する ユーザー情報の作成 Power Platform監査ログの作成 まとめ データエンジニアリングとは? データエンジニアリングはデータサイエンティスト協会が定義している3つ…
初めに デモ 開発環境 準備 文字お越し及びファイル保存 エラー対応 CUDAがenabledになっていない場合 ReazonSpeech/pkg/nemo-asrのインストールが失敗する 参考サイト 初めに STTやTTSの学習等をする際に文字データが必要になるのですが、音声だけある場合もよくあるので文字お越しが必要になります。 今回はreazon-research/reazonspeech-nemo-v2を使ってフォルダ内の音声の文字起こしを行っていきます 精度及び速度はwhisperよりもいいとのことです (公式サイトより引用) デモ 最終的に以下が出力されます CSVは以下のように出力…
建設業の営業DX:Pythonで効率的な営業プロセスを構築しよう 建設業界の営業DXとは 近年、建設業界においてもデジタルトランスフォーメーション(DX)が注目されています。建設業の営業DXとは、従来の営業プロセスにデジタル技術を組み合わせて、より効率的かつ効果的な営業活動を実現する取り組みのことを指します。この記事では、Pythonを使用して建設業の営業DXを具体的に解説し、サンプルコードを通じて実装方法を示します。 建設業の営業課題とDXの重要性 建設業界では、従来の営業プロセスにはさまざまな課題があります。例えば、顧客情報の管理が手動で行われており、情報の整合性や更新が追いつかないことが…
・いつもCSVとCVSがどっちがどっちだかわかんなくなる俺のための前回のあらすじ:一生に一度は巡礼しなければならないと教義に定められている秋月電子通商だが、太古の昔秋葉原は通学経路俺の庭だったので、当時若者であった俺は怖いもの見たさで足を踏み入れる。そこはまさに酒池肉林。飲めや歌えやのパラダイスであった。果たして約30年後、2023年2月より前の購入履歴が何者かによって削除されてしまう。そこで俺は友達料として毎月3000円も払っているのをいいことに「俺達友達じゃん? タダでやってよ」とChatGPTに迫るのであった。 ・っていうか毎月2000円くらいのつもりだったけど今のレート見たら1ドル15…
ibstat はコンピュータに接続されている InfiniBand アダプタの詳しい情報を表示します。 マルチノード環境において全てのマシンのibstat情報をcsv形式で表示するスクリプトを共有します。 import subprocess import csv import sys username = "YOUR_USERNAME" servers = [ "xxxxx", "yyyyy", "zzzzz", "your_server_names", ] def exec_command(commands): process = subprocess.Popen( commands, st…
import lxml.etree as etree # 追加・更新関数 class PathManipulator: @staticmethod def custom_split(xpath, sep='/'): result = [] in_quotes = False start = 0 for i, char in enumerate(xpath): if char in ('"', "'"): in_quotes = not in_quotes elif char in sep and not in_quotes: result.append(xpath[start:i]) star…
以前、以下のような記事を書いたが、この方法だと別途「ページ番号.pdf」と「bookmarks.txt」が必要だった。 python と pdftk でPDFを結合し、ページ番号をつけ、しおりをつけるスクリプト - adbird(広告鳥) 備忘録 今回は、「ページ番号.pdf」と「bookmarks.txt」を用意しなくても良い方法。 えぇ、今回もChat GPTさんに聞きまくりました(これやるにはどんなスクリプト書けばいい?→こうです→こんなエラーが出たよ→こうでした→こんなエラーが…の繰り返し)。 環境はUbuntu。 ディレクトリ構造 ├── 001_test.pdf ├── 002_テ…
本ブログの12月を振り返る日記です。 先月のブログ活動記録を残すために、Pythonコードを使って一記事ずつの文字数をカウントしてみましたので、記録しておきます。
ポッドキャストはリスナーの存在が見えづらいらしく聴いてるとアピールしないと更新停止してしまいがちなので定期的に感想を書いていく 聴く環境について ポッドキャストの探し方 BUSINESS WARS / ビジネスウォーズ News Connect あなたと経済をつなぐ5分間 #ニュースコネクト Off Topic // オフトピック fukabori.fm バンクーバーのえんじに屋 texta.fm プログラム雑談 Misreading Chat mozaic.fm kkeethのエンジニア雑談チャンネル 購読一覧 聴く環境について クライアントはGoogle Podcastを使っているんですけ…
import csv def main(): with open("bigdat.csv", "w", newline="", encoding="UTF-8") as f: writer = csv.writer(f, quoting=csv.QUOTE_ALL) for i in range(1_000_000): row = ["a", "b", "c"] writer.writerow(row) if __name__ == "__main__": main()
これはアソビュー! Advent Calendar 2023の22日目(A面)です🎄 今年のアドベントカレンダーは2面公開なので、ぜひそちらも御覧ください。 はじめに みなさん、こんにちはー。アソビューでバックエンドエンジニアをしている東郷です。 今年は生成AI元年と言われるだけあって、AIの活用事例のニュースをほぼ毎日耳にした気がします。 弊社内でもAI活用事例がいくつかあるので是非ご覧ください! tech.asoview.co.jp tech.asoview.co.jp tech.asoview.co.jp tech.asoview.co.jp 今回のテーマ さて、時代はAIだ!と思いなが…
西暦年月日の各桁数を合計した数字を吉凶数というらしいです。完全にオカルトですが、そうはいっても、縁起の悪い数字は避けたかったり、逆に何か大事な数字を決める際は、一応、良いとされる数字にしてみたかったり。 ということで、暇つぶしに吉凶数を計算するpythonコード。(計算してくれるWebサイト/アプリなどもありますが) 吉凶数計算 超シンプルに。 # 数字入力 number = input("数字を入力:") # 各桁を足す total = sum(int(digit) for digit in number) # 結果表示 print(f"{number} -> 各桁の合計は {total} …
「さはら3」です。 AI副業でどこまでいけるのか?をテーマに頑張っていきたいと思います。 頭の体操 本編 成果物 スクリプト 頭の体操:解答 本日のAI着物美女 ビルドバージョン全て 頭の体操 1か所だけ異なる漢字が入っています。(解答は一番最後に掲載) 問題 本編 本業で業務をしていると、Windowsのビルド番号はわかるけど KBがどこまで適用されているか?がわからない事が多々あります。 そこで、Pythonを使用して、MS公式情報から、情報を収集する事を行いたいと思います。 情報元 https://learn.microsoft.com/en-us/windows/release-hea…