アメリカンフットボールで攻撃チームが前方に投げるパス。 フォワードパスは1回の攻撃(ダウン)で1回だけ許される。 ラグビーとアメリカンフットボールの違いをいっそう際だたせるポイントである。 前進するためには前にパスを投げても良いじゃないかというアメリカ人の合理的精神の現れとも言えるが、ではなぜ何回もフォワードパスをしないのかはわからない。
書籍「機械学習エンジニアのためのTransformers」を読んだので内容をまとめる。 以下の内容は、ほとんどClaude3 Opusを使用して作成している。 第1章 入門Transformers いる。さらに、Transformer系モデルのGPTとBERTが紹介され、自然言語処理の分類、固有表現認識、質問応答などのタスクにおいて、TransformersライブラリがTransformerモデルを簡単に適用できることが示されている。最後にはHugging Faceのエコシステムが概観されている。 重要なポイント Transformerはエンコーダ・デコーダのフレームワーク、アテンション機構、…
BitNet: Scaling 1-bit Transformers forLarge Language Models Hongyu Wang†‡ Shuming Ma† Li Dong† Shaohan Huang† Huaijie Wang§ Lingxiao Ma† Fan Yang† Ruiping Wang‡ Yi Wu§ Furu Wei†⋄† Microsoft Research ‡ University of Chinese Academy of Sciences § Tsinghua University arxiv.org Abstract 目的:大規模言語モデルの展開にお…
NFLのルールブック「OFFICIAL PLAYING RULES OF THE NATIONAL FOOTBALL LEAGUE※」を理解するための翻訳。 ※NFL Football OperationsのHPで閲覧可能 12 プレーヤーの行為 12-1 ブロック、手や腕の使用 12-1-5 ディフェンス選手の適正な手の使用 ディフェンスの選手は、オフェンスの選手を押したり引いたりどかしたりするために手や腕や身体を使ってよい。 (a)ランナーに向かおうとしているときに相手からの妨害を避ける場合。 (b)相手が明らかにブロックしようとしている場合。 (c)バックワードパスやファンブルやキックに…
NFLのルールブック「OFFICIAL PLAYING RULES OF THE NATIONAL FOOTBALL LEAGUE※」を理解するための翻訳。 ※NFL Football OperationsのHPで閲覧可能 12 プレーヤーの行為 12-1 ブロック、手や腕の使用 12-1-3 オフェンス選手の不正なブロック 以下の場合はブロックするオフェンス選手の反則である。 (a)手を前方に突き出し、相手の頭や首、顔に力を込めて当てる。 ノート:クロースラインプレーにおける接触は、直接かつ強引であるか、または長時間にわたらない限り、反則とはならない。 罰則:オフェンスの手の不正な使用に対し…
NFLのルールブック「OFFICIAL PLAYING RULES OF THE NATIONAL FOOTBALL LEAGUE※」を理解するための翻訳。 ※NFL Football OperationsのHPで閲覧可能 11 得点 11-5 セイフティ 11-5-1 セイフティ 以下の場合はセイフティとなる。 (a)オフェンスが自陣エンドゾーン内で反則した場合。あるいは (b)ゴールラインより後ろでどちらかのチームによりボールに勢いがつき、エンドゾーン内で所有権があるチームがボールを確保してボールデッドとなった場合、もしくはボールがゴールラインより後ろでアウトオブバウンズとなった場合。 例…
arxiv.org Gu, Albert, and Tri Dao. "Mamba: Linear-Time Sequence Modeling with Selective State Spaces." arXiv preprint arXiv:2312.00752 (2023). ©2023 The Authors License: Creative Commons Attribution 4.0 International License(CC-BY) github.com huggingface.co 本記事は、原著の内容に基づき筆者が要約または翻訳したものです。以下の図は、そこから引…
この記事では、nn.Sequentialの基本的な概念から始め、自作のCustomSequentialクラスを通してその挙動を解説します。 1. nn.Sequentialとは? nn.Sequentialは、PyTorchでネットワークを構築するためのシンプルで便利なツールです。これは順番にモジュールを適用することができ、モデルの構築を簡略化します。まず、基本的な使い方を見てみましょう。 import torch.nn as nn # nn.Sequentialを使った例 model = nn.Sequential( nn.Linear(10, 20), nn.ReLU(), nn.Line…
九月四日。ダナン空港を発ち無事成田に到着。往復の航空機では読書スランプながらほかにすることもないので若山牧水の歌集と随筆を読んだというより眺めていた。なかの一首。 人の世にたのしみ多し然れども酒なしにしてなにのたのしみ これと似た、ウィスキーなしに人生はないといった文言をどこかで読んだ気がするけれど思い出せない。もう一首 酒の香の恋しき日なり常盤樹に秋のひかりをうち眺めつつ 牧水の随筆「酒の讃と苦笑」に「私は獨りして飲むことを愛する。かの宴會などといふ場合は多くたゞ酒は利用せられてゐるのみで、酒そのものを味はひ樂しむといふことは出来難い」とあった。酒は好きだが、宴会の嫌いなわたしとしてはうれし…
いいかたあの頃の…というと悪い印象を持ってしまうかもしれないけれど、ヨーヨーリクリエーションの新作5iveはとても面白い。制作秘話的な物は、パノラマでおなじみタカツさんのチャンネルやリクリのノートをぜひ見てほしい。 まぁそんな難しく考えず。引き戻しでめちゃくちゃ回るコンセプトではなく、幅もとっても狭いからトリックの成功率は下がる。修行用とも言えるし、ゴリゴリに趣味ヨーヨーと言えるユーザーと、ルーキーや興味を持つかどうかの人たちをつなぐ架け橋になるかもしれない魁作。何より投げてキャッチする。このヨーヨーたる、そのゆえんたる動作がとても気持ちが良い。ずっとスローしてキャッチしていたくなる。そしてこ…
2023年6月4日、JJUG CCC 2023 Springにボランティアとして参加してきました! オフライン技術カンファレンス初参加にも関わらずボランティア参加というよくわからないことをしましたが、とても有意義で、楽しい時間を過ごせました。 www.java-users.jp ボランティア参加の経緯 聞いたセッション ボランティアとして参加してみて 戦利品 お気持ち ボランティア参加の経緯 なぜオフライン技術カンファレンス初参加にも関わらずボランティア参加というよくわからないことになったかについてです。 きっかけは、プロになるJavaを読んだことにあります。 業務でJavaを書くことになりそ…
Brain-inspired learning in artificial neural networks: a review arxiv.org Schmidgall, Samuel, Jascha Achterberg, Thomas Miconi, Louis Kirsch, Rojin Ziaei, S. Hajiseyedrazi, and Jason Eshraghian. "Brain-inspired learning in artificial neural networks: a review." arXiv preprint arXiv:2305.11252 (2023)…
0.目次 1.やりたいこと 2.使用するライブラリ 3.使用するデータ 4.Self-Attentionモデルの学習/判断根拠の可視化 4.1.Self-Attention 4.2.学習モデルの定義 4.3.Dataloaderの作成/学習 4.4.Self-Attentionによる判断根拠の可視化 5.CNNモデルの学習/判断根拠の可視化 5.1.GradCAM 5.2.学習モデルの定義 5.3.Dataloaderの作成/学習 5.4.GradCAMによる判断根拠の可視化. 6.まとめ 7.参考 1.やりたいこと ・sin波とcos波の分類を行う機械学習モデルを作成し、その予測の判断根拠を…
Retrieval Augmentation Reduces Hallucination in Conversation aclanthology.org Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. 2021. Retrieval Augmentation Reduces Hallucination in Conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pages 3784…