ある文字列から切り出した一定個数の文字の並びの集合。また、その集合の種類や頻度を解析して得る、元の文字列の性質の記述。N=2の場合2-gram(bi-gram)、N=3の場合3-gram(tri-gram)、などという。
こんにちは。マネックス・ラボの戸谷です。 今回は以前の記事 ファンド検索の最適化 でお話した Elasticsearch による全文検索システムの開発についてお話をしたいと思います。 Elasticsearch とは？ 検索アルゴリズムについて N-Gram によるインデックス N-Gram による検索 形態素解析について ローカル環境での開発 どのようにインデックスするか？ どのように検索するか？ キーワード検索の最大スコアを事前に取得する 最大スコアを元にキーワード検索を行う スコアの解析 インデックスの更新 Elasticseach を操作するクエリ インデックス定義を削除する 現在のイ…
こんにちは！ピクシブでバックエンドエンジニアとして働いているこのぴーです。 今回はpixivコミックストアの作品検索機能をMySQLの全文検索からElasticsearchに移行したときの手順と移行後の効果についてお話していこうと思います。 背景 pixivコミックストアのバックエンドはRuby on Railsで作成していて、今回Elasticsearchへ移行する作品検索機能はMySQLの全文検索を使用して実装されていました。 作品数が少なかった実装当時は問題なく動いていたのですが、取り扱う作品数が数十万作品となった現在、スロークエリの大部分を検索クエリが占めるほど性能が劣化してしまう事態…
HuMob Challenge 2023 とは The Human Mobility Prediction Challenge (HuMob Challenge) 2023 is a competition aiming at testing state-of-the-art computational models for the prediction of human mobility patterns, using an open source, urban scale (100K individuals), longitudinal (90 days) trajectory datas…
はじめまして。東京大学大学院1年/マネーフォワードCTO室AI推進部で長期インターン中の満石風斗です。 先日行われたNLP若手の会 (YANS) 第18回シンポジウムに参加させて頂きました。 全体の様子などについては弊社山岸・竹下の記事で紹介しているため、このブログ記事ではシンポジウムを通して満石自身が得た学びについてお伝えしようと思います。 note.com moneyforward-dev.jp ポスター発表 私は「text embeddingを用いたデータ作成支援の検討」というタイトルで発表をさせて頂きました。研究の大元のモチベーションは「データの質/量が良くない状況でのテキスト分類の改…
こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM をまとめた Web サイトのメンテナンスにも取り組んでいます。 今回は、LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ChatGPT の登場以降、国内…
TL;DR データ分析コンペであるKDD2023にて、ドコモの2チームが入賞(6位、9位)しました。 コンペの概要と入賞した2チームの解法を紹介します。 はじめに NTTドコモ クロステック部の鈴木明作です！ ドコモR&Dでは、データマイニングの世界最高峰の国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 今年はKDDCUP2023のTask3において、ドコモの2チームが上位入賞(NTT-DOCOMO-LABS-RED 6位、NTT-DOCOMO-LABS-BLUE 9位)しました。 ドコモは2016年からKDD CUPへの参加を始め、2016年ファイナリスト、2019…
【書誌データ】 タイトル：Text Mining Maniax[word2vec編]――RとRMeCabによる日本語の単語埋め込みの基礎 発行日：2023年8月13日（コミックマーケット102） 著者：後藤和智（後藤和智事務所OffLine） サイズ・ページ数：A5、40ページ 価格：即売会600円、書店800円（税抜き） 通販取り扱い：メロンブックス https://www.melonbooks.co.jp/detail/detail.php?product_id=2034072 サンプル www.pixiv.net 【目次】 はじめに 第1章 word2vecとは何か 1.1 そもそもwo…
ElasticSearchを触っていて、形態素解析について基本的なことを知りたかったので、『はじめての自然言語処理』を読んだ。形態素解析については3章に書かれている。基本的なことがまとまっていてよかった。 初心者向けの本なので、以下のような基本的なことから説明されいた。 形態素解析とは、文を形態素と呼ばれる塊ごとに分割することである。日本語においては形態素はほぼ単語のことである。また、形態素解析では分割された形態素（単語）がどの品詞なのかということも判定する。 形態素解析は辞書を使う。形態素解析で使う辞書とは、人間用の辞書ではなく、単語の表記・活用形・品詞・活用形などの情報を持つデータセットで…
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 今回は弊社で運用しているメンバーズメディアと言う医療系記事サービスの著者名検索を改善したお話をします。目新しいことはやってませんが、ちょっぴり特殊な対応なので共有します。 人名とニックネームが混じった検索とは 課題 解決方法 部分一致的な検索をする ひらがな/カタカナや小文字/大文字を寄せる 苗字+名前の間のスペースを全体で削除する スコアの調整 まとめ さらなる改善を行う場合 We're hiring!
なぜこの論文を紹介するか 下記理由から本論文をピックアップした 案件でLLMを利用したいとの要望を受け、最近のLLMの流れをおさらいしておきたいと思ったため 論文の内容 導入：Introduction Pre-trained Model (PLM)のサーベイは十分な量があるが、LLMのサーベイは多くないため、本論文を執筆した LLMは以下の3点でPLMと異なる LLMはそれまでの小規模PLMでは解けなかったタスクを解けるようになっている LLMはAI開発/利用の方向性を変える LLMではプロンプト経由での開発/利用する 人はLLMの挙動を理解し、LLMが理解できる形式にタスクを変換する必要があ…
このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMの流行が起きている今だからこそ、改めてLLM以前の代表的な言語モデルの概要や活用時に想定されるメリット/デメリットをまとめたので、ご紹介します。 こんにちは、アナリティクスサービス部の小澤です。 ChatGPTをはじめとするLLM（Large Language Models）には、再現性の問題や、偏見などを含む不適切な文章の入出力への対応、プロンプトの入力制…
はじめに GLB事業部Lakehouse部の阿部です。 Chat GPTが登場して日本国内の企業でもオープンソースのLLMをリリースしたこともあり、LLM（大規模言語モデル）という言葉は聞く機会が増えました。 最近はLLMOpsという言葉もちらほら聞くようになりましたが、MLOpsとの違いやOpsとあるように運用はどのように行うのか、勉強中の整理として本記事を書きたいと思います。 LLMOpsとは LLM（Large Language Model）+ Ops（Operations）の造語です。 LLMOpsの明確な定義はされておりませんが、DevOpsやMLOpsのようにLLMの開発と運用をパ…
LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention aclanthology.org Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. 2020. LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention. In Proceedings of the 2020 Confer…
入力モードごと、N-gramごと、期間ごとの集計ができるようにした。
このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、生成AIの中でも、テキスト、画像、動画、3Dデータ、オーディオデータ、モーションなど多岐にわたるマルチモーダル系のタスクについて、全2回の連載でご紹介します。 こんにちは、アナリティクスサービス部の八登です。昨今話題をさらっている生成AIですが、ChatGPTのようなテキストベースのタスクだけでなく、マルチモーダル系のタスクにも大きな関心が集まっています。 …
ベクトル空間 自然言語処理のベクトル空間モデルは、テキスト文書をベクトル空間上の数値ベクトルとして表現する手法です。このモデルは、テキストデータを処理し、文章間の類似性や関連性を計算することができます。 文章をベクトルで表す ベクトル空間モデルでは、各文書が一意の数値ベクトルで表されます。一般的な手法としては、単語の出現頻度や単語の重要度に基づいてベクトルを作成する方法があります。具体的には、文書内の各単語を次元として扱い、その単語の出現頻度や重要度を値としてベクトルの要素に割り当てます。 ベクトル化の手法 ここでは次の4つの方法を紹介します。 One-hot Bag of Words Bag…
japan.googleblog.com
sakuhindb.com
d.hatena.ne.jp
www.shuiren.org
gihyo.jp
atmarkit.itmedia.co.jp
blog.kozakana.net
www.s-yata.jp
gihyo.jp
