Vision Transformerで“軽くて速い”モデルを作るには?
画像分析で人気のViT(Vision Transformer…
画像分析で人気のViT(Vision Transformer…
Transformerはもともと自然言語処理(NLP)向けに…
キーワード:PyTorch / Transformer / …
背景 メルスペクトログラムとは?(用語解説) メルフィルタバ…
パッチサイズとは? コード例(PyTorch) なぜ効く? …
なぜ重みの初期化が重要なのか? ニューラルネットワークは、学…
学習率Warmupとは、学習開始直後の学習率を低く抑えてから…
ミニバッチ学習とは? AIの学習では、大量のデータを一度に処…
なぜ毎回結果が違うの? 機械学習では、重みの初期化・データの…
1. GELU ってなに? GELU(Gaussian Er…