Kaggle

init_mathjax = function() { if (window.MathJax) { // MathJax loaded MathJax.Hub.Config({ TeX: { equationNumbers: { autoNumber: "AMS", useLabelIds: true } }, tex2jax: { inlineMath: [ ['$','$'], ["\\(","\\)"] ], displayMath: [ ['$$','$$'], ["\\[","\\]"] ], processEscapes: true, processEnvironments: tr…

ベースモデルを完成したは良いものの、サブミットでエラーが出まくってたんですよ。大別すると、・必要なパッケージの、internet off状況下でのインストール・使っているモデルの、internet off状況下での使用 パッケージは主にbitsandbytes。普通にインストールしてるだけだとダメみたいで、事前にファイルダウンロードが必要です。以下に手順を具体的に示します：1. bitsandbytes-0.42.0-py3-none-any.whlをローカルにダウンロードします。 bitsandbytes · PyPI2. Kaggleのdatasetに「bitsandbytes-pkg」と…

以下のノートブックを参考にさせていただき、ベースラインモデルを作成しました。 https://www.kaggle.com/code/olyatsimboy/aimo-openmath-mistral-baseline時間がかかったのが（やはり）環境設定でして、 ・bitsandbytesのインポート（使ったことなかった） ・ディレクトリの設定（input/output共に。いつもやり方忘れる） あたりが鬼門でした。コンペに不正があった関係？でまだ提出はしていないものの、CSVはいつでも提出できる状態にはなってます。 しかしながら、、、、「写経してても何やってるかさっぱり分からん」 といういつ…

また違うコンペに挑戦です！ www.kaggle.com 前回はサブミットまで行かなかったので、その反省を踏まえて最初にサンプルデータでサブミットする形を作る！ということをやってみました。理由はその大枠の形を作ることで、例えモデルが拙くても、いつでも提出はできる状態を作るためです。もちろんオリジナルな考えでなく以下のサイトを参考にしました。 kaggle初心者の私が3ヶ月でソロゴールドを獲得した方法 | Ad-Tech Lab Blog 久しぶりなので時間がかかる。。。 ところが提出の手順自体が久しぶりなので、ここですらエラーが出ました笑。ので、メモがてらエラーと対策残しておきます。まずsam…

はじめに こんにちは！ 株式会社インダストリー・ワンのエンジニア、角田です。 昨年末、弊社と同じ三菱商事グループのMC Digital様 主催のMCD Data Science Competition 2023（以降Kaggleコンペ）に、弊社から数名参加してきました。 今回はコンペの内容や、コンペを通じて得られた知見を共有したいと思います！ はじめに 背景・目的 コンペについて 概要 コンペ時の風景 コンペ内容 データ分析の背景 データ分析の目的 Evaluation Submission File データ概要 データ一覧 参加活動記録 メンバー チーム方針 サンプルNotebook EDA…

Transformerモデルの概要と仕組み的にはTransformerモデルが512トークンの制限を持つ場合、テキストの長さがその制限を超える場合には、テキストを複数の部分に分割する必要があります。これを行う一般的な方法の1つは、テキストを重複しないようにオーバーラップしながら512トークンごとに分割することです。以下のコードは分割するためのコード。 # テキストを512トークンごとに分割する関数 def split_text(text, max_tokens=512): # テキストの長さ text_length = len(text) # 分割されたテキストのリスト split_texts…

はじめに 今回は「Kaggle用開発環境の構築手順をひとまとめにしたプロジェクト雛形」を作成したので、ご紹介できればと思います。 「もっと良い方法があるよ」や「ここをこう直したらいいのでは」というご意見がございましたら、ぜひコメントいただけると嬉しいです。よろしくお願いします。 目指しているKaggle用開発環境 今回の雛形を作るにあたり、特に以下の点を重視しました。 VSCodeとJupyterLab(ブラウザ)の双方からアクセスできること: 共通処理を適宜スクリプトに切り出してNotebookを綺麗に保ちたい 複製が用意であること: 新たにインスタンスを作っても、簡単に同じ環境を作ることが…

ITエンジニアのためのプロンプトエンジニアリング Serverless AI Chat with RAG using LangChain.js AutoGen Studio: A No-Code Developer Tool for Building and Debugging Multi-Agent Systems 【最大90%の時間削減】生成AI最前線、 トヨタコネクティッド社のAI効率化事例と全社的生成AI導入戦略の全容 モダンアプリケーションにおけるユーザー認証・認可の実装のために考慮しておきたいこと LangGraph での Human-in-the-loop の実装 ハイパーパラメ…

更新がすっとろいのは多忙だったから……というわけではないです。 ただただ、普通に怠けていただけです。 ランキング参加中読書 基準： 当該月に読み終わった本が対象（※読み始めたのがその月とは限らない） 最初から最後まで目を通した本を『読み終わった』と定義 昨月の記事： 2arctan-1.hatenablog.com 目次: ゴールキーパー論 (講談社現代新書 1539) 日本の技術力をもつ半導体メーカーに外資系スピード感を取り入れたら働きがいのある会社に生まれ変わった 統計学の極意 温かいテクノロジー AIの見え方が変わる 人類のこれからが知れる 22世紀への知的冒険 Kaggleに挑む深層学…

GraphRAG Analysis, Part 1: How Indexing Elevates Vector Database Performance in RAG When Using Neo4j Graph Retrieval-Augmented Generation: A Survey Controllable Text Generation for Large Language Models: A Survey 生成AIによるレポーティング業務の効率化：定常業務タスク自動化の実現 Meta Knowledge for Retrieval Augmented Large Languag…

1. 今週の予定 今週も予定を見直す時間がありませんでした。ぶっつけ本番でやっていきます。 以下の内容を勉強します。 映像作品としてのLevelの作成 AIの勉強 Nvidia Omniverseの勉強 Gaeaの勉強 Houdiniの勉強 UEFNの勉強 DirectX12の勉強 2. 映像作品としてのLevelの作成 2.1 今週の予定 先週のBlogを見ると今週は以下の事をやると書いています。 やっていきます。 2.2 Plateを追加してDragonの影全体が道路に写るようにする 以下のようにPlateを足しました。 これでDragonの影全体が写るようになりました。 Cameraから…

【Amazon.co.jp 限定】ストレスフリーで楽しく実現！ １年で３００万円貯まる超節約術（特典：「本には載せられなかったやりすぎ節約術10選」「浪費家夫を節約家に変えた方法」PDF）作者:４人家族の主婦ぴーちKADOKAWAAmazon 8月も終わりということで、今年も2/3が終了します。 まだまだ暑い日は続きますし、何なら首都圏はこれから台風がくるとのことで落ち着いて振り返りもできませんが、なにはともあれ2/3が終わります。 今日は振り返りじゃないけど、あと1/3でなにしたら良いかだけちょっと確認しようかと。

はじめに 皆さんこんにちは! ソーシャル経済メディア「NewsPicks」プロダクトエンジニアの森田です:) 私は2024年4月に株式会社ユーザベースに新卒入社し、現在は主にNewsPicksにおける推薦機能の開発改善に携わっています。 NewsPicksでは、ユーザに価値のある経済情報を届けるための施策の一つとして記事推薦機能を導入しています。 本ブログでは、NewsPicks記事推薦機能にて基盤改善がモデル改善につながってCTR（Click Through Rate）を改善できた事例をもとに、私たちが認識した「推薦システムを本番導入する上で一番優先すべきだったこと」を共有します。 また先日…

前回、AIとは何かを簡単に説明しました。じゃあ、次は使ってみよーう！ と言うことでAIを使うのに、また副業として使うために、何をしたら良いのか？という話をしましょう。まずは1. 目標を設定する 何を達成したいかを明確にします。 何故それが必要なのかと言うと、この目標が定まっていないと何をしたら良いのか解らないとなりやすいためです。なので、例えば、データ分析をしたい、チャットボットを作りたいなど。やりたい事をハッキリとさせておくのが良いです。2. 必要なツールを準備する 先ほどの例えでだしたデータ分析やチャットボットなどを作りたいとなれば、AIだけでは足りません。ですからPython（プログラミ…

朝活で久しぶりにKaggleのサイトに行き、開催されているコンペのOverviewをチラッと見てそんなにデータが大きくなさそうなコンペに参加してみた。以前はKaggle頑張ると思っていたけどKaggleに時間をたくさんかけるのは時間のコスパが悪いんじゃないかという気がするので負担が大きくないペースで勉強のつもりでコツコツやってみようかな。

EfficientRAG: Efficient Retriever for Multi-Hop Question Answering RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation 新しいStable Diffusion WebUI ForgeでFLUX.1を試す（Windows） Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability…

転職して1年くらいたちました いわゆる大企業からAI関係の会社に転職して、1年以上たちました。転職に関しては以下記事で書いているので、転職のモチベーションに関してはこちらを参考にしていただければ幸いです。 転職直後は、正直やっていけるか不安で一杯だったのと、1回目の転職直後にすぐあれこれ語るのも（自分には）難しいと思っていたので転職についてほとんど触れてなかったのですが、1年経ってなんとかやっていけている（と思う）ので、転職のあれこれを記憶のあるうちに、簡単に振り返って書き残しておきたいと思います。 あんまり一般的ではない気がするので、参考になる人は少ない気はしますが、似た立場の誰かに少しでも…

YouTube, TikTok, Instagram, Twitter, Facebook, X, blog オンラインの収益化に役立つ無料AIを集めてみた。 目次. アドセンスできる無料ブログ 無料で使える画像作成AI 無料で使える文字読み聞かせAI 無料で動画を制作できるAI 無料で音楽を作ってくれるAI ウォーターマークなしで無料で使える動画編集プログラム 無料で使えるコーディングAI 無料で使えるディープフェイク制作AI 無料で小説を作ってくれるAI 無料で使える画像編集AI 成長型AI 画像生成AI アドセンスできる無料ブログ Google AdSenseを利用できる無料のブログプラ…

1. 今週の予定 今週も予定を見直す時間がありませんでした。ぶっつけ本番でやっていきます。 先週計画した通り、今週から以下の内容を勉強する予定です。 映像作品としてのLevelの作成 AIの勉強 Nvidia Omniverseの勉強 Gaeaの勉強 Houdiniの勉強 UEFNの勉強 DirectX12の勉強 これだけ量を減らしたら、余裕をもってそれぞれの課題を余裕をもって勉強出来るはずです。 2. 映像作品としてのLevelの作成 今週はCameraの挙動を修正します。 2.1 Level SequenceのCameraの挙動を変更する 以下のように変更しました。 CameraがDrag…