Hatena Blog Tags
はてなブログ トップ
メモリ効率
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

メモリ効率

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Web開発における知見共有系ページ•3ヶ月前

ResultHandlerで大量データに対して効率の良い処理を実現

ResultHandlerの使用方法 エンティティとマッパーの作成 エンティティクラス マッパーインターフェース MyBatisマッパーXML サービスクラスの作成 ResultHandlerを使用するメリット 1. メモリ効率の向上 2. カスタム処理の柔軟性 3. パフォーマンスの改善 4. 大量データの処理 5. ストリーミング処理のサポート まとめ ResultHandlerの使用方法 ここではSpring BootでResultHandlerを利用する方法を説明します。 この例では、MyBatisのResultHandlerを使用して、データベースクエリの結果を処理します。 エンティ…

#Java#ResultHandler#メモリ効率#ストリーミング#SpringBoot

関連ブログ

macでインフォマティクス•1日前

大規模なゲノム配列セットのANI値を計算する LZ-ANI

LZ-ANIは、大規模なゲノム配列セットの平均ヌクレオチド同一性（ANI）を決定するための、高速でメモリ効率のよいツールである。このツールはLempel-Ziv構文解析を使用し、一致するヌクレオチドと不一致のヌクレオチドを高感度で識別し、ANIの正確な決定を可能にする。LZ-ANIの効率性は、簡素化されたインデルの処理モデルに由来し、最も高感度なBLASTn検索に匹敵する精度を維持しながら、アライメントベースのツール（BLASTn、MegaBLASTなど）よりもはるかに高速である。 LZ-ANIは、ウイルスゲノムの比較およびクラスタリングツールであるVclustの主要コンポーネントになっている…

Nachiruの勉強日誌•2日前

配列について④

今回は、破壊的なメソッドと非破壊的なメソッドについてまとめます。 破壊的なメソッドと非破壊的なメソッドとは 破壊的なメソッド →配列オブジェクトそのものを変更し、変更した配列または変更箇所の一部を返す 非破壊的なメソッド →配列オブジェクトのコピーを作成し、そのコピーに変更を加えてから、新しい配列を返す。そのため、元の配列には一切影響がない この2つを理解しておくことで、配列が意図せず変更したり、バグや意図しない副作用を防ぐことが重要だ 2つのメソッドの振り分け 配列について②と、配列について③、配列について⑤で説明したメソッドを振り分けてみる パッと見の名前だけでは、なかなか判断が付かないた…

DROで学位を取るまでの軌跡•3日前

【備忘】Optimization Methods for Large-Scale Machine Learning

論文の概要 本論文は確率的最適化（以下、SG法）をバッチ最適化と比較しつつ、手法のサーベイをしたものである。バッチ最適化を代表する、古典的な非線形計画法は収束性が高い一方、大規模問題においてはSG法が主として用いられている。SG法には大きな研究の流れが２つあり、１）推定される勾配のノイズを低減、２）二次情報の利用が挙げられる。 本論文では上記の内容を次の３つの内容：１）機械学習における最適化問題の難しいポイント（成功を収めている、近年のDeepLearningのような非線形性が強い非凸最適化問題）、２）、大規模機械学習において有用な最適化手法と有用であることの理由、３）顕著な進展とOpen Q…

きり丸の技術日記•5日前

Pythonでgroup_byしたいならdefaultdictを使う

始めに Pythonでデータをグループ化する際、defaultdictを使用すると簡単かつ効率的に実装できます。この記事では、defaultdictを使ったgroup_byの実装方法と、itertools.groupbyとの違いについて解説します。 環境 Python 3.12.6 実装 defaultdictを使用すればシンプルに実装できます。 from collections import defaultdict class TestGroupBy: class _Test: def __init__(self, user_id, group_id): self.user_id = use…

jiku log•11日前

「大規模言語モデル入門」を読む　〜第5章 大規模言語モデルのファインチューニング〜

はじめに 大規模言語モデルの入門書として，山田 育矢 著「大規模言語モデル入門」を読んでいる。本記事は第5章の読書メモである。gihyo.jp 目次 はじめに 目次 第5章 大規模言語モデルのファインチューニング 5.1 日本語ベンチマーク : JGLUE 文書分類 文ペア関係予測 質問応答 5.2 感情分析モデルの実装 5.3 感情分析モデルのエラー分析 5.4 自然言語推論・意味的類似度計算・多肢選択式応答モデルの実装 5.5 メモリ効率の良いファインチューニング まとめと感想 感想 : 精度向上のための手順 第5章 大規模言語モデルのファインチューニング 本章では，Transformer…

文系サラリーマンがUnityでアプリを作って独立するまで•23日前

パソコンあればOK？「アプリ開発にあたって必要な環境」

アプリ開発に必要な環境 さて、今回は実際にアプリ開発を始めるために何が必要なのかを確認していきましょう。まずはリストにしてみました。 パソコン アンドロイド端末 クレジットカード 多分これだけあれば大丈夫です。アンドロイド端末はアプリの動作確認にあった方が便利ですが、最悪なくともアプリ開発をはじめる事はできます。 ただある方が何かと便利なのでやす〜い中華スマホでいいので一応入手しておきましょう。 続いてこの３つをもう少し詳しく解説していきましょう。 １ パソコンについて 最新のパソコンである必要はないですが下記のスペックくらいはクリアした方がいいかと思います。OSはWindows、Mac、Li…

MOSFET’s blog•24日前

Perlのリファレンスとデリファレンス

Perlのリファレンスは、他の変数やデータ構造へのポインタです。リファレンスを使うことで、配列やハッシュを他のサブルーチンに渡したり、複雑なデータ構造を作成することができます。リファレンスは、スカラー値として格納されるため、Perlの他のスカラーと同様に扱うことができます。 リファレンスの作成 リファレンスを作成するには、変数の前にバックスラッシュ (\) を付けます。以下に例を示します。 スカラーへのリファレンス my $scalar = 10; my $scalar_ref = \$scalar; 配列へのリファレンス my @array = (1, 2, 3); my $array_re…

Web開発における知見共有系ページ•1ヶ月前

MySQLでFLOAT型を定義

MySQLでFLOAT型を定義 FLOAT型の基本的な定義 精度とスケールの指定 浮動小数点数の精度の問題 ゼロ埋めや符号付きの値 まとめ MySQLでFLOAT型を定義 MySQLでFLOAT型を定義する方法について説明します。 FLOAT型は浮動小数点数を扱うために使用され、数値データのうち、小数点を含む値を保存するのに適しています。 MySQLには、FLOATとDOUBLEの2つの浮動小数点型があり、精度に違いがあります。 FLOATは、DOUBLEに比べて精度が低く、主にメモリの節約が必要な場合や、高い精度が不要な場合に使用されます。 FLOAT型の基本的な定義 MySQLでFLOAT…

AI使いサトシのAI教科書•1ヶ月前

【PR】AI時代に取り残されない技術者への道：コンピュータが言語を理解する「山田 育矢」「鈴木 正敏」「山田 康輔」「李 凌寒」

大規模言語モデル入門 1. 進化するAIに追いつけない焦り 2. 大規模言語モデルの基礎から実践へ 3. AIエンジニアとしての飛躍的成長 4. 「大規模言語モデル入門」書籍紹介 1. 進化するAIに追いつけない焦り 近年、AIの進化が加速度的に進み、特に自然言語処理の分野では大規模言語モデルの登場により、驚異的な成果が次々と生まれています。 ChatGPTをはじめとする対話AIの登場は、多くのエンジニアや研究者に衝撃を与えました。 しかし、この急速な進歩に追いつけず、焦りを感じている技術者も少なくありません。 「自分の持っている知識や技術が時代遅れになってしまうのではないか」 「AIに仕事を…