機械学習

岡野原 大輔 著 「大規模言語モデルは新たな知能か」メモ 大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界 (岩波科学ライブラリー) 作者:岡野原 大輔 岩波書店 Amazon 岡野原 大輔 著「大規模言語モデルは新たな知能か」メモ １ 大規模言語モデルはどんなことを可能にするだろうか ランキング参加中数学・科学・工学 ランキング参加中はてなブログ同盟！初心者歓迎・なんでもOK！日記・雑記10・20・30・40・50・60代

Pythonのインストール Pythonインストールサイト www.python.org とりあえず最新バージョンをインストール 「Add_Python 3.10 to Path」にチェック（重要！！） インストールが進みます。 gitのインストール 下記のサイトよりダウンロードします。 gitインストールサイト git-scm.com Windows版をインストールします。 特に設定はいじらず、nextで先に進みインストール完了。 Stable Diffusionをインストールの準備が整いました。

AIの予想結果 今回の自作AIシステムの予想は このようになりました！ HOMEAWAY予想102 鹿島Ｃ大阪136.7%36.7%26.7% 札幌湘南134.7%31.9%33.5% 広島神戸237.8%17.9%44.2% 横浜FC柏016.7%52.2%31.1% Ｇ大阪新潟234.7%29.9%35.5% 福岡名古屋137.8%27.9%34.3% 山形岡山232.3%33.5%34.3% 藤枝町田230.3%18.3%51.4% 群馬いわき153.0%28.7%18.3% 大宮熊本137.1%33.1%29.9% 仙台水戸235.1%23.5%41.4% 金沢清水220.7%25.1…

こんにちは、CTO室リサーチャーの長山と申します。 モルフォでは毎週金曜日に持ち回りで論文紹介等を行うJournal Clubという取り組みを行っています。 今回は、私がその場で発表したSchrödinger Bridge（シュレーディンガー橋; SB）という確率論的生成モデルスキームの解説スライドを公開いたします。 Stable DiffusionやMidjourneyに代表されるような画像生成AI手法は、ここ一年間で目覚ましい発展を遂げたことは記憶に新しいと思います。 その原動力となった基礎技術の一つが拡散モデル（Diffusion Models）です。 拡散モデルとは、データからノイズへ…

どうもー投資ロウトです！ 学習に関して 学習目的 アウトプット 文字列を数値へ置換 最後に分析データセットを完成させる 学習に関して 学習目的 最初に前処理を選んだのは、雑務ができないと案件に参画できないからです。 アウトプット それではいつも通り学んだことのアウトプットや所感を記載していきます。 文字列を数値へ置換 機械学習は数値データを主に受け付けるとのことで、文字列を数値に置き換える必要があるとのことでした。 4種類の値はyes, noの2値で、他の5種は多数の値を取りうるとのことでした。 dataframe = dataframe.replace('yes', 1) dataframe…

どうもー投資ロウトです！ 学習に関して 学習目的 アウトプット データ準備 欠損値の除外 外れ値 学習に関して 学習目的 最初に前処理を選んだのは、雑務ができないと案件に参画できないからです。 アウトプット それではいつも通り学んだことのアウトプットや所感を記載していきます。 データ準備 アルゴリズムが受け付けるように、データを前処理していくとのこと。 # 事前に現在のデータを確認 dataframe = pd.read_csv('csvファイル名', sep=',') dataframe.head()# 事前に現在のデータを確認 print(dataframe.shape) print(da…

はじめに データサイエンティストの五十嵐です。今回は「帰納バイアスと理論研究」というタイトルでお送りします。 機械学習のモデルは、与えられたデータからパターンを学習し、未知のデータに対する予測を行います。この機械学習モデルにおいて、帰納バイアスが存在する場合があり、多くのモデルではそれらの帰納バイアスを上手く利用することにより様々な成果を上げてきています。しかし、近年のLLM (Large Language Model)では、帰納バイアスの弱い手法により大きな成果を上げており、大量のデータセットを利用可能な場合、帰納バイアスが弱くても高い性能を発揮することができることが明らかになってきました。…

注目が続くプログラミング言語「Python」をご紹介します。どんなことができるのか、なぜ話題になっているのか。“初心者にやさしい言語”といわれる、その特徴も。プログラミングを学びたい人に共通して役立つ内容です。ぜひご活用ください。 Pythonは初心者にやさしい言語？ Pythonの自習で大事なことは？（9月29日掲載予定） Pythonの自習でつまずいたら？（10月13日掲載予定） Pythonってどんな言語？ Pythonはちょっとした処理を容易に書けることが特徴です。 ■電卓のように使える たとえば、「3 + 5」と書いて実行すると「8」という答えが得られ、「4 * 5」と書いて実行する…

独自アルゴリズムで地震を予知にチャレンジしています。ただの趣味でやっているもので全く精度はありません。流行りの機械学習を利用しています。 もちろん地震の予知はできるものではありません。気象庁のページにも地震予知について書いてありますので御覧ください。 www.jma.go.jp また、毎日集計しているため、この記事は毎日自動で更新されるはずです。更新が止まったらプログラムがエラーになったんだなと思ってください。 これから1週間の予測 これから1週間の予想です。ざっくり天気で表現しています。 日時 天気 2023-09-22 ☀ 2023-09-23 ☀ 2023-09-24 ☀ 2023-09…

人工知能は人間を超えるか ディープラーニングの先にあるもの 松尾 豊 本作品の全部または一部を無断で複製、転載、配信、送信したり、ホームページ上に転載することを禁止します。また、本 作品の内容を無断で改変、改ざん等を行うことも禁止します。 本作品購入時にご承諾いただいた規約により、有償・無償にかかわらず本作品を第三者に譲渡することはできません。 本作品を示すサムネイルなどのイメージ画像は、再ダウンロード時に予告なく変更される場合があります。 本作品は縦書きでレイアウトされています。 また、ご覧になるリーディングシステムにより、表示の差が認められることがあります。 本文中に「＊」が付されている箇…

人工知能はなぜ未来を変えるのか 松尾 豊・塩野 誠 本作品の全部または一部を無断で複製、転載、配信、送信したり、ホームページ上に転載したりすることを禁止します。また、本作品の内容を無断で改変、改ざん等を行うことも禁止します。 本作品購入時にご承諾いただいた規約により、有償・無償にかかわらず本作品を第三者に譲渡することはできません。 本作品を示すサムネイルなどのイメージ画像は、再ダウンロード時に予告なく変更される場合があります。 本作品の内容は、底本発行時の取材・執筆内容に基づきます。 本作品は縦書きでレイアウトされています。 また、ご覧になるリーディングシステムにより、表示の差が認められること…

やりたい仕事ではなく必要な仕事をやる、と考えていても、気持ちは嫌になることもある。 私はシステムの基盤を作り運用する仕事をしている。社内のデータサイエンティストが基盤の上に機械学習モデルを搭載し、一機能として提供している。専門用語が多いが、システムのためのシステムを作ってて、社内の人に使ってもらうシステムが基盤なんだな、と思って貰えば十分だ。 基盤の仕事の場合、社内の人か使いやすくするのは重要だ。インターフェースを分かりやすくするのも大事だし、ドキュメントを整備するのも大事だ。 特にドキュメント整備はすごく大事なのだけど、あまり好きじゃない。特にやり始める時が大変だ。結構泥臭い仕事だから。だけ…

データ*1で世の中の構造や動きを明らかにしたい。2010年代初頭、IoTの進展に伴うデジタルデータの利用可能性の高まりによる民間企業の取り組み、その後のデジタルトランスフォーメーション（DX）を推進する官公庁の取り組み、またEBPM（証拠に基づく政策立案）の推進や公教育における情報教育の充実によりデータの利用が大きく増えることが予想される。一方、PCの高性能化やエクセルやR言語等のデータ分析用ソフトの普及、、Python等によるAI・機械学習の応用、ITパスポート等の各種資格の充実で我々がデータ分析で何かをやろうと考える環境も整えられた。 [情I703] 高校情報Ｉ Python 情報科用 高…

強化学習と深層学習（ディープラーニング）：共通点と相違点を解説 人工知能（AI）の分野では、様々な学習手法が開発されています。その中でも、近年注目を集めているのが強化学習と深層学習（ディープラーニング）です。 強化学習と深層学習は、どちらもAIの高度化に貢献している技術ですが、その仕組みや応用範囲は異なります。本記事では、強化学習と深層学習の共通点と相違点について、わかりやすく解説します。

現代のテクノロジーの基盤となるプログラミングは、私たちの日常生活において非常に重要なスキルとなっています。コンピュータやスマートフォン、ウェブサイトなど、私たちが日常的に利用している多くのものがプログラミングによって実現されています。しかし、プログラミングの基礎知識を理解することは初心者にとって容易ではありません。この記事では、プログラミングの基礎知識について詳しく解説し、初心者の方々がプログラミングの世界に足を踏み入れる際の手助けとなることを目指します。 プログラミング言語の選択 プログラミングの基礎を学ぶには、まずプログラミング言語の選択が非常に重要です。プログラミング言語は、コンピュータ…

はじめに こんにちは、イノベーションセンターの鈴ヶ嶺です。 普段はクラウドサービスをオンプレミス環境でも同様のUI/UXで使用できるハイブリッドクラウド製品の技術検証をしています。 我々は以下のように過去にAWSのサーバ型ハイブリッドクラウドの解説や実施検証などを行ってきました。 engineers.ntt.com engineers.ntt.com このたび、新たにAWS Graviton2搭載のOutposts Serverを導入しさまざまな検証を進めています。 本記事では、AWS Graviton2搭載のOutposts ServerとIntel Xeon搭載のOutposts Serv…

こちらの記事で、最新版のAI （Artificial Intelligence）のおすすめ資料を紹介します。 ぜひ、ご活用ください。 執筆者の紹介 AIでSEOに強い文章を自動生成する「Transcope（トランスコープ）」 AI（Artificial Intelligence）という言葉について考える 「10分で理解できる」AIで実現できる顧客マーケティングの世界 「顧客データｘAI」実データに基づくペルソナ構築方法とは AI（Artificial Intelligence）でデキる4つのこと AIを応用した流行のアプリ企画事例7選 マーケティング＆調査データ無料ダウンロードサイト「マーケメ…

NumpyはPythonで数値計算を行うためのライブラリであり、データ分析や機械学習、自然言語処理(NLP)などに広く利用されています。この記事では、Numpyを用いて自然言語処理の基本的な操作を実行する方法について解説します。 目次 はじめに テキストデータの読み込みと前処理 単語のトークン化 単語のベクトル化：One-hot Encoding 単語頻度によるフィルタリング：TF-IDF コサイン類似度による文章間の類似度計算 まとめ 1. はじめに import numpy as np import re from sklearn.feature_extraction.text impor…

NumpyはPythonで数値計算を行うためのライブラリです。Numpyを使うことで、大量のデータを効率的に処理することが可能になります。この記事では、Numpyの高度な配列操作について解説します。 目次 はじめに ufuncs (Universal Functions) Broadcasting Stride Tricks まとめ 1. はじめに import numpy as np まずはnumpyモジュールをインポートします。 2. ufuncs (Universal Functions) Numpyのufuncs（universal functions）は、配列上で要素ごと（eleme…