精度向上

株式会社神戸デジタル・ラボ DataIntelligenceチームの原口です。 前回は、構築したモデルをグラフ・正答率・混同行列を用いて評価しました！ もう一度内容を確認したい方は、以下の記事をご覧ください。 kdl-di.hatenablog.com 連載を最初から読みたい方は、以下の記事をご覧ください。 【第１回 基礎実装編】PyTorchとCIFAR-10で学ぶCNNの精度向上 - 神戸のデータ活用塾！KDL Data Blog 今回はAIモデルに「ひと手間」加えることで、過学習を抑制します！ 前回の問題点 Dropoutとは？ 過学習が起こる仕組み Dropoutの仕組み いざ実装！ …

株式会社神戸デジタル・ラボ DataIntelligenceチームの原口です。 前回は、LeNetと呼ばれるCNNモデルをPyTorchで構築し、CIFAR-10というデータセットを用いて学習を行いました。 もう一度内容を確認したい方は、以下の記事をご覧ください。 kdl-di.hatenablog.com 今回は、学習したモデルの精度評価を行いたいと思います！ 精度評価とは？ 精度評価をしよう！ モデルの保存 学習経過の可視化 損失グラフの評価 正解率グラフの評価 モデルの読み出し テストデータに対する精度評価 正解率 混同行列による精度評価 まとめ 精度評価とは？ 精度評価とは何でしょうか…

こんにちは。NTTドコモ サービスイノベーション部の大澤です。普段は位置情報をメインとしたデータ活用に関する業務をしています。 この記事ではPythonを用いて、移動した経路を位置情報から推定する方法について紹介したいと思います。 概要 突然ですが、図1のような地図データがあるとします。n0とかn1は交差点を示していると思ってください。 赤いピンのように位置情報が時系列的に取得されたとして、この時どの経路を移動していたかわかりますか？ 図1. 地図データと位置情報 なんとなく、「n1→n4→n5→n6→n7」の順で移動したのではと予測できるのではないでしょうか。 図2. 地図データと位置情報か…

はじめに 現代Webサービスの「推薦システム」基盤 2段階ランキングプロセス ステップ1：候補抽出（First Pass） ステップ2：精密ランキング（Second Pass） モデル評価とA/Bテストサイクル Use Case 1：Netflixのリアルタイム「予測検索」 リアルタイム推薦のインフラストラクチャ Use Case 2：検索と推薦を統合するモデル「UniCoRn」 UniCoRnのポイント 共通モデル化までのプロセス 検索と推薦の比較 統一モデルの実現方法 全体のアーキテクチャ 1. 入力 2. 処理 3. 出力 まとめ はじめに ソーシャル経済メディア「NewsPicks」(…

「時間が足りない」。そう思わない日はありますか？たぶん、ほとんどないでしょう。クライアントからの終わらないメール、次から次へと降ってくるタスク。そんな忙殺される日常に、一筋の光明のようなツールがあるとしたらどうでしょう。それが「ChatGPT」です。 信じられないかもしれません。でも、このAIはただの道具じゃありません。使い方次第で、あなたの仕事の仕方そのものを変えてしまう。この記事では、ChatGPTを使って仕事効率を2倍に引き上げる、実践的な方法をお伝えします。 ChatGPTがもたらす効率化のインパクト まずは冷静に考えてみましょう。日々の業務の中で、どれだけの時間が「本当に必要な仕事」…

Amazonが生成AIを活用したスマートファクトリーに関する記事を公開し、大きな注目を集めています。本記事によれば、工場内の各機器の状態をリアルタイムでモニタリングするとともに、生成AIとの対話を通じて設備の稼働状況を理解できる環境が整うとのことです。この技術革新を基に、未来の工場の姿について多角的に考察いたします。 Amazonの生成AIを活用したスマートファクトリーの記事が興味深いね。それぞれの機器の状態をモニタリングできる環境を整えると共に生成AIとのチャットで各機器の稼働状態が理解できるという内容だよ。データをしっかりと整備できれば生成AIがより活きてくるね。… pic.twitter…

うつ病と適応障害の社会的理解とその課題：支援と責任のバランス 近年、うつ病や適応障害に対する理解が進んでいる一方で、過剰な配慮や誤解、関わらない方がいいという距離感が社会や個人に不健全な影響を及ぼすことが大きくなっている。 また、診断を巡る問題や「死にたいという」という発言がコミュニケーションに与える影響も軽視できない。本稿では、これらの課題を整理し、支援と責任のバランスを保つ為の考えを提案しようと思う。 １・うつ病や適応障害の医師による診断と社会影響。 ▪️診断の曖昧さを課題。 うつ病や適応障害の診断は主観的な症状に基づきやすく、患者の言葉や態度が診断結果に大きく影響を与えていると考える。実…

～生成AIが業務で運用され始めた年～ 昨年も以下のような形で1年を振り返ったコラムを書きましたが、 aitc.dentsusoken.com 今年もニュースリリースから2024年をふりかえってみたいと思います。 DXコンサルタントに聞く 企業のDX成功とは？ -課題解決に向けた伴走型支援のポイント- Know Narratorシリーズの進化 Know Narratorは自治体様向けにも！「minnect（ミネクト） AIアシスト」 ライフサイエンス系のお客様とも 弊社内もKnow Narrator/生成AIを活用して業務効率化を推進しています！ 来年はもっとAIエージェントの年！ 2025年も…

みなさん、こんにちは。マーケティング担当の石田です。 早いもので今年もあっという間に終わりそうですね。 弊社も年末に向けて、毎日、営業活動やマーケティング活動に追われており、 皆さんの会社も同様な動きをされているんではないかと思います。 今回は、M365 Copilotを活用した、「データの名寄せ作業」についての活用例をご紹介したいと思います。 そもそも名寄せ作業とは？ 名寄せ（データクレンジング）とは、複数のデータベースやリストに存在する同一または類似の企業・取引先情報を整理・統合して、重複や不整合を解消する作業を指します。このプロセスは、企業のマーケティングや営業活動を効率化し、正確なデー…

HonoとNext.jsの連携 AIの否定文理解に関する課題 LLMを活用したクレジットカード不正検知システム開発 イーロン・マスク氏のXに関する発言 NVIDIAアプリのゲーム性能低下と回避策 ソフトウェア開発における技術的負債管理 AIの欺瞞的行動とリスク 技術書執筆におけるツールとワークフロー エンジニアの兼務と事業成長への貢献 AI開発における規模の限界と今後の展望 TypeScript中級者向け実践テクニック インクジェット印刷による基板製造技術革新 MySQLオンラインDDL実行時の注意点 mixi2とTogetter/Twilog等の機能に関する考察 AIモデルのメモリ使用量削減…

「仕事の確認ミス、再提出……」メールを打ちながら、思わずため息をつきませんでしたか？ 納期に追われる日々の業務のなかで、確認不足による単純ミスは誰にでも起こりがちです。でも、そんなミスを繰り返していると、いつか大きな信頼失墜につながるかもしれません。 「数字の入力を間違えただけなのに……」「添付ファイルを確認したはずなのに……」「メールの宛先、CCを見直したつもりが……」 こうした経験をおもちの方も多いのではないでしょうか。本記事では、そんな確認ミスを確実に防ぐための実践的なテクニックをご紹介します。デジタルツールを活用したチェックリストのつくり方から、ミス防止のプロセス分析、最新のAIツール…

前回の記事では、バーコードを用いて商品画像を取得する機能を実装したが、以下の課題が浮上した。 バーコードから商品情報を取得できないケースがある バーコードが外箱に記載されており、画像から取得が困難な場合がある これらの課題を解決するため、OCR（Optical Character Recognition）を活用し、画像から商品情報を取得する方法を試した。 PR github.com OCRとは OCRは、画像やスキャンされた文書に含まれる文字を認識し、それをテキストデータとしてデジタル化する技術。今回の実装では、OCRで商品画像から文字情報を取得し、それを基に商品を特定する。 使用するライブラ…

この記事は10Xアドベントカレンダー2024の18日目の記事になります。 昨日はJOJOさん(@joj0hq)が「10Xのエンジニアとして入社から2年目を振り返る」という記事を公開しているので、そちらもぜひご覧ください。 はじめに 取り組んだプロジェクト 類似商品検索の実装 新しい検索精度モニタリングの導入 トップ画面での推薦枠A/Bテスト アルゴリズム アーキテクチャ 検索系RPCのレイテンシ改善 ボトルネック 効果 Elasticsearchのバージョンアップ 課題 互換性の調査 リリース手順 バージョンアップによるパフォーマンス改善 これからの取り組み LLMの活用 リランキング おわり…

本記事はInfocom Advent Calendar 2024 18日目の記事です。 相変わらずブログのテーマに一貫性がない木本です。 ここ数年、生成AIの勢いがすさまじく、僕も今年は生成AIの調査や検証にあてる時間がかなり増えました。そんな1年を過ごした中で、気づいたこと・気になったことについて書いてみようと思います。 ※エンジニアではない方にもイメージしやすい内容にしたかったので、用語として（厳密な意味では）あまり正確ではない表現をしている場合があります。ご了承ください。 生成AIをとりまく現状 べき等性とライフサイクル 生成AIに対する期待 生成AIをとりまく現状 生成AIと言っても様…