✅ Paper accepted to EMNLP 2026
“It’s Not RoPE That Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention”
Recent Posts
👑 Award at YANS 2026
「大規模言語モデルにおける文内Attentionメカニズムの分析」が奨励賞を受賞しました。
🎤 Presentation at YANS 2026
YANS 2026 にて「大規模言語モデルにおける文内Attentionメカニズムの分析」を発表します。
✅ Paper accepted to the ICML 2026
“SoftMatcha 2: A Fast and Soft Pattern Matcher for Trillion-Scale Corpora”
🏆 Won 1st place in open-source division and 2nd place overall in the math task of the FT-LLM 2026 competition.
LLM-JP ファインチューニングコンペ 数学タスクでオープン部門1位・総合2位を獲得