softmax(A+B+C) における A, B, C の寄与度の KL 分解
softmax(A+B+C) の分布変化に対して、A, B, C がどれだけ寄与しているかを KL ベースで定量化するためのメモ。
Notes
One-hot target と確率分布
言語モデルの教師ラベルはone-hotでよいのか、という疑問を少し解消するためのメモ。
cmd英かな on Hammerspoon
configのコード
言語処理学会年次大会のプログラムスクショ
自分の発表部分を抜き出すためのスクリプトメモ
VSCodeで開くボタンをMacのFinderに追加する
VSCodeで開くボタンをMacのFinderに追加する方法のメモ
torch.nn.functional.kl_div
torch.nn.functional.kl_divのメモ
RoPE Implementation
How RoPE is implemented in practice.
PCA
PCAの基礎と実装について
GPT-OSS Attnention Sink
The bias term for preventing attention sink in GPT-OSS may have other effects than just preventing attention sink.
LogitLens without bias
Removing bias term from LogitLens.
RMSNorm and LayerNorm
Relationship between RMSNorm and LayerNorm and rewritten LayerNorm using centering matrix.
HHKB配列分割キーボード
7sProのメモ