プログラミング言語などに対して、人間が一般の意思の疎通に用いる言語。
語順で文意が決定するもの、語形(活用)で文意が決定するもの、その複合があり 多種多様である。
現在数千の言語が知られているが、少数民族に特有の言語などは、その話者が限られるため 次第に失われていく傾向にあり、保護が叫ばれている。
頑張っていた自然言語コンペを断念しました。。 以下反省点3つとその対策を書いていきたいと思います。コンペ初心者は参考にしてくださればこの失敗も浮かばれます。 トランスフォーマーが不慣れでエラー出まくった 最初は本を読んでやっていたんですが、完全初見が実装やるには時間がかかる印象でした。理論背景を押さえるためなら良い本でしたが。機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発作者:Lewis Tunstall,Leandro von Werra,Thomas WolfオライリージャパンAmazonそこで途中でチュートリアルを見つけたので、メイン…
作業メモ書かないせいでコンペ1個締め切りに間に合わなくなってしまったので備忘録。 メモのテンプレはこちら ch.nicovideo.jp 1. 今日の作業の全体的な進捗度は何点ですか?(「1=非常に不明瞭」から4=「非常に明確」で採点)→2。1. 今日の作業の中で、もっとも重要なことを2つ挙げるなら何ですか?→ labelsの中には複数のラベルが存在する。これらから一意のラベルを生成する必要がある 特徴行列はトークナイズされたカラムをさらに分類器に学習させるのに必要。 1. 上で挙げたふたつの内容を頭のなかで説明してみましょう。その説明にどれぐらい自信が持てますか?(「1=非常に自信がない」か…
本記事では、Azure Machine Learning(以下、AML)のPrompt Flowにある、評価フローの基本的な使い方について解説します。 評価フローを使用することによって、作成したフローの精度評価を簡単に行うことが可能になります。 AML Prompt Flow 評価するフローの準備 接続とランタイムの作成 フローの作成 精度評価に用いるデータセット データセットの作成 データセットのマウント フローの精度評価 設定 バッチ実行 & 精度評価 結果 QnA GPT Similarity Evaluation QnA Ada Similarity Evaluation おわりに A…
私が工学部の情報工学科に入学したのは、1974年のこと。クラスは44名が在籍していて、あれから50年にもなろうというのに何人かで集まることができるのは望外である。何人かは鬼籍に入ったが、比較的早い時期に2/3ほどのメンバーのメルアドが共有できていたので、連絡は容易だった。 もちろん理系のクラスで、数学の得意な学生が多かったが、私ともう一人が作家志望だった。彼とは今でも付き合いがあり、同じくデジタル政策やサイバーセキュリティで議論する立場だ。なぜこの話を思い出したかというと、情報工学がついに文学の領域に入って来たか、文学に情報工学が寄与するようになったから。もちろん、直接的な原因は「生成AI」の…
ジップの法則(Zipf's law)は、統計的な観点から自然言語や他の領域における単語の出現頻度と順位の関係性を表した法則です。この法則は、言語学者であるジョージ・キングズリー・ジップ(George Kingsley Zipf)によって提唱されました。 ジップの法則によれば、あるテキスト(例えば、文章やコーパス)において、単語の頻度が逆順の順位に比例する関係が成り立つとされています。つまり、最も頻出する単語は順位1位であり、2番目に頻出する単語は順位2位であり、n番目に頻出する単語は順位n位というように、単語の出現頻度と順位は逆比例するということです。 具体的に言えば、最も頻出する単語の出現頻…
※本ブログはChatGPTの文章生成機能を活用して執筆しています。 この記事では、ChatGPTとは何か、ChatGPTのこれからについてお話ししたいと思います。 読者ターゲットは、ChatGPTに興味がある皆さまです。では、早速始めましょう。 ChatGPTとは何か ChatGPTのこれから ChatGPTがどのように活用されているのか。 チャットボットとしての活用。 文章生成としての活用。 語学学習支援としての活用。 さいごに ChatGPTとは何か ChatGPTは、OpenAIが開発した自然言語処理技術の一種です。 GPTは、Generative Pre-trained Transfo…
人間とほとんど区別がつかないと話題の自然言語AI「ChatGPT」を試してみました。その機能と性能、現時点で考えうるリスクなどについては、こちらの「テレ東BIZ」の動画が参考になります。www.youtube.com「ChatGPT」に関する私自身のおぼろげな認識では、文章で質問を投げかけると、とても自然な返事が帰ってくるというもので、要するにSiriとかAlexaみたいなものの文章版かなという感じだったのですが、この動画を見るとどうやらそんなところだけに留まるようなものではなさそうです。そのひとつが「要約を作ってくれる」というものです。文章の要約や映像を視聴したうえでの口頭での要約(通訳訓練…
LDAで個人的に良かったサイトまとめました。いや、手抜きじゃないよ笑。 概要 tips-memo.com 原著論文の解説。これでLDAの概要をサクッと把握できる。 さらに深掘り トピックモデルの話 from kogecoo www.slideshare.net LSIとかLDAの前の経緯とかについて書いてくれているスライド。 これで歴史がさらっと学べる。LDAの精度に関しても書かれている。deepage.net 単語をベクトルにするってどういうこと?に答えてくれる良サイト。 コード系 qiita.com これでコードもバッチリ!
こんにちは、技術開発の三浦です。 あっという間に10月になりました。昔の好きな曲の歌詞に「10月の夕暮れ」というフレーズが出てくるのですが、この時期になるとそのフレーズを思い出します。夕方になると、「今日の夕暮れはどんな感じだろう?」って気になる10月です。 インターネットショッピングなどで、他のユーザのレビューを参考にしながら商品を選んだという経験、けっこうあるのではないでしょうか。私はパソコン周辺機器やお菓子などを選ぶとき、レビューを参考にすることが多いです。レビューの文章の中には対象の商品に関する、そのユーザが考える特徴を表す表現が含まれています。この表現をレビューの中から上手く捉えるこ…
自然言語処理において文章分類は一つの重要なタスクである。その際に,各文章に出てくる形態素の数の分布をとることでその文章の特徴として調べる方法があるが,Aさんは,ネット上のいくつかのブログ記事(少なくとも300文字程度はある文章)を分類しようと考え,各ブログ記事のテキストデータをそのままMeCabを用いて形態素に分割し,それぞれのブログ記事において出現回数が最も多かった上位3つの形態素をそれぞれのブログ記事の特徴とした。参考までにMeCabを用いた形態素の分割結果を下記に示す。(/で分割されている) これ/は/、/形態/素/に/MeCab/を/用い/て/分け/た/例/です/。【問題】以下の問に対…
はじめに こんにちは。SmartHR プロダクトマネージャーの山根(@sayama)です。 この記事は 「SmartHRのプロダクトマネージャー全員でブログ書く2024」 への参加記事です。 25人が持ち回りで毎週記事を投稿します。ぜひご覧ください! 今回は自分がなぜSmartHRに入社したのか、その気持ちの変遷を振り返ってみようと思います。 自分の市場価値ってなに? SmartHRに入社するまでは、製造業での機械設計を経て、技術者向け情報管理システムの構築以降、自然言語系AIの黎明期からプロジェクトマネージャー・プロダクトマネージャーを経験してきました。業務DXのためのシステム導入や既存プロ…
はじめに 株式会社GROWTH VERSEの代表取締役CTOの南野です。この記事では、AIを中心とした弊社の成長戦略を紹介したいと思います。 GROWTH VERSEについて GROWTH VERSEの事業内容 弊社は、デジタルマーケティングの最先端を行くエンタープライズ向けソリューション「GROWTH AI Platform」を提供する会社です。また、事業領域としては以下の三つになります。 データ収集エンジンを含んだデータ基盤 マーケティングオートメーションツール AIソリューション データ収集エンジンを含んだデータ基盤は、企業が保有するさまざまな顧客データを収集・統合し、一元的に管理・分析…
はじめに 皆さん、こんにちは!現代ではAIが多くの産業を変革しています。 この記事では、AIプログラミングの基礎を初心者にも分かりやすく解説し、あなたが自らプロジェクトを始める手助けをします。 プログラミングの旅を始めましょう!🌟 目次 1、AIプログラミングの基本 2、主要なプログラミング言語の概要 3、初心者向けの実践プロジェクト 4、学習資源の案内 5、行動に移すステップ 本題 1. AIプログラミングの基本 AIプログラミングとは、機械に人間のように思考し、学習する能力を持たせるプロセスです。 この技術は、自動化、データ解析、ユーザー体験のパーソナライゼーションなど、さまざまな用途で応…
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classificat…
正確な市場の概要を提供するため、当 機械学習 人工知能 市場レポートは、異なるいくつかの重要なセグメント市場とアプリケーションに分割され、また、ロシアとウクライナの戦争、金融政策及びインフレなどのマクロ環境からの影響も組み込まれております。当 機械学習 人工知能 市場レポートに含まれた全面的な市場調査を通して、業界は市場に存在する巨大な機会を発見するでしょう。さらに、この機械学習 人工知能 市場レポート中、調査で提示された知識を検証および再検証した信頼できる情報源を使用し、また、アナリストも業界固有の電話相談、主要な業界専門家へのインタビュー、独自の分析を実施することで、ビジネスの成長に関する…
G-gen の神谷です。本記事では、BigQuery の機能を使って、商品を意味&ランキング検索できる ChatBot を作ってみたので、そのご紹介ができればと思います。 アプリの概要 ユースケース 背景とメリット アーキテクチャ システムアーキテクチャ RAG テーブル設計 検索処理の詳細 使っている技術と実装例 BigQuery ML のテキストエンべディング関数 BigQuery リモート関数用のコネクションオブジェクト作成 Vertex AI API を BigQuery のリモート関数として登録 テキストデータからエンベディングベクトルの抽出 BigQuery ML の類似ベクトル検…
とする.このときが無理数であることを示せ. (設計) と置く.より成り立つ. (仕組) i.e. による.設計ではとあるが,このかたちをそのまま用いることはない.それが人工言語と自然言語との違いだと思われる.▢
テレビ番組で大反響!大幅減量ダイエットダイエット番組でエルセーヌが大幅減量をサポートしました。 「これがエルセーヌだ!」エルセーヌのエステ体験行ってみた!【画像あり】 エルセーヌ「やせる道場?」エステ体験行ってみた! MuuMuu Domain! 10日間無料お試しはこちら 【GOM Mix】簡単に使える無料動画編集ソフト 独立すべきか 会社設立の多くはどこかの企業に勤めてい人です。外部の企業に勤めることなく会社設立する人や、一般的には社会人経験で得たものを活かして会社設立をするケースです。会社に勤め始めたことからいつかは独立と心に決めている人もいれば、何年も独立の仕事への憧れを持って会社設立…
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデ…
目指せ!合計-8cmやせる体験【エルセーヌ】 テレビ番組で大反響!大幅減量ダイエットダイエット番組でエルセーヌが大幅減量をサポートしました。 「これがエルセーヌだ!」エルセーヌのエステ体験行ってみた!【画像あり】 エルセーヌ「やせる道場?」エステ体験行ってみた! MuuMuu Domain! 10日間無料お試しはこちら 【GOM Mix】簡単に使える無料動画編集ソフト 独立すべきか 会社設立の多くはどこかの企業に勤めてい人です。外部の企業に勤めることなく会社設立する人や、一般的には社会人経験で得たものを活かして会社設立をするケースです。会社に勤め始めたことからいつかは独立と心に決めている人もい…
こんにちは、タイミーでデータサイエンティストとして働いている小栗です。 先日、群馬大学にご招待いただき、大学生向けにキャリアに関する講演を行いました。 講演や学生との交流を行うにあたり、データサイエンティストの仕事やキャリアについて考える時間が自然と発生しました。 この記事では、学生からいただいた以下の質問をテーマに据えて、私やタイミーの事例を紹介しつつ考えてみます。 大企業とベンチャー企業のデータサイエンティストはどう違う? 未経験からデータサイエンティストを目指すには?
音声アシスタントとは、音声認識、音声合成、自然言語処理(NLP)を用いて、特定のアプリケーションを通じてサービスを提供するデジタルアシスタントのことである。この調査レポートは、OEMアシスタントアプリ市場に焦点を当てています。 QYResearchが発行した最新市場調査レポート「音声アシスタントアプリ―グローバル市場シェアとランキング、全体の売上と需要予測、2024~2030」によると、音声アシスタントアプリの世界市場規模は2029年までに12.8億米ドルに達し、予測期間中の年平均成長率は13.5%に達すると予測されています。 音声アシスタントアプリケーションの世界市場規模(百万米ドル)、20…
こんにちは、安部です。 最近急に、暖かさを通り越して暑いぐらいになってきましたが、皆さまいかがお過ごしでしょうか。 季節外れかなとも思いつつ、もう半袖で過ごしたいくらいの気候ですね。 さて、今回は、OpenAIのAssistants APIの使い方を紹介していきます。 題材は「PDFを和訳して要約してもらう」としました。 これはWeb版のChatGPTでも単にPDFファイルを添付して依頼すればできますが、APIの使い方を示すサンプルとしてはちょうどよいと思います。 最新情報については以下の公式ドキュメントをご覧ください。 https://platform.openai.com/docs/ass…
G-gen の杉村です。当記事では、Google Cloud Next '24 in Las Vegas の総括(総評と、注目すべきアップデートのご紹介)をお届けします。セッションレポートなど、Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 Google Cloud Next '24 in Las Vegas 総評 生成 AI 発表ラッシュ 生成 AI だけでない、サービスの進化 注目の発表 はじめに Grounding generative AI with Google Search Vertex…
こんにちは、品川です。実益を兼ねた趣味として、気になった話題をブログにまとめる趣味を始めようと思います。今回はAppleのFerret-UIです。 Ferret-UIの概要 Ferret-UIはMobile Web UIのためのMLLMです。記事にとりあげられていたのを見かけました。注目が集まっているようです。 www.itmedia.co.jp gigazine.net 原著はこちら。 arxiv.org 要点: Ferret(Appleが以前に発表したMLLM)がベース 画像をサブ画像に分割して処理する 訓練データ:250K iPhoneやAndroidのUIスクリーンショットを利用 An…