学習・ファインチューニング A

100 件中 31〜60 件目を表示
  • arXiv cs.CL (Computation and Language) · EN 安全性・評価 抜粋
    IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
    IndicContextEval、音声 LLM の文脈活用を 8 印度語で評価
    Meta ニューラルネットワーク ソフトウェア工学 音声処理
    音声 LLM は、ドメイン説明や固有名詞リストなど文章プロンプトを条件に音声認識を行えるが、こうした文脈を本当に活用しているかは不明だ。本研究は 8 つのインド系言語にわたり、音声 LLM の文脈活用能力を評価するベンチマーク「IndicContextEval」を提案する。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗
  • arXiv cs.AI (Artificial Intelligence) · EN 学習・ファインチューニング 抜粋
    AdsMind: A Physics-Grounded Multi-Agent System for Self-Correcting Discovery of Adsorption Configurations on Heterogeneous Catalyst Surfaces
    AdsMind、物理基盤のマルチエージェントで触媒の吸着配置を探索
    AI エージェント 機械知能 機械学習
    不均一系触媒のモデル化では、表面と吸着種の最低エネルギー配置の特定が重要だが、第一原理計算による網羅探索は計算的に困難だ。本研究は物理に基づくマルチエージェント系「AdsMind」を提案し、自己訂正しながら吸着配置を効率的に発見する。
    元記事を読む (arXiv cs.AI (Artificial Intelligence)) ↗
  • arXiv cs.LG (Machine Learning) · EN 学習・ファインチューニング 抜粋
    On Local Population-Risk Certificates
    現モデル周りの母集団リスク増分に局所証明書を与える理論
    人間のフィードバックによる強化学習 (RLHF)
    本論文は、現在のモデルの近傍における母集団リスク(population risk)の増分に対する局所的な証明書(certificate)を構築する。局所的な候補集合に対し、両側の信頼限界としてリスク変化を保証する枠組みを示し、モデル更新の安全性を理論的に裏付ける。
    元記事を読む (arXiv cs.LG (Machine Learning)) ↗
  • arXiv cs.AI (Artificial Intelligence) · EN 学習・ファインチューニング 抜粋
    Leadership as Coordination Control: Behavioral Signatures and the Recovery-Advantage Boundary in Multi-Agent LLM Teams
    マルチエージェント LLM のリーダーシップを協調制御として分析
    Llama
    チーム科学では、リーダーシップは条件依存で、有能で自律的なチームには不要なこともあるとされる。本研究はこれをマルチエージェント LLM に当てはめ、リーダーシップを協調制御として捉え、その行動的特徴と「回復の優位性」が成り立つ境界を分析する。
    元記事を読む (arXiv cs.AI (Artificial Intelligence)) ↗
  • arXiv cs.LG (Machine Learning) · EN 業界導入・応用 抜粋
    JourneyFormer: Encoding Airbnb Guest Journey with Sequence Modeling
    JourneyFormer、系列モデリングで Airbnb 宿泊客の行動を符号化
    アルゴリズム・理論 埋め込み (Embeddings) 推論 (Inference)
    系列モデリングは、利用者の過去の行動を捉え意図を推定できることから推薦・ランキングで普及している。本研究は Airbnb のゲストの一連の行動(ゲストジャーニー)を系列モデルで符号化する「JourneyFormer」を提案し、予約に至る行動理解と推薦の改善を図る。
    元記事を読む (arXiv cs.LG (Machine Learning)) ↗
  • arXiv cs.AI (Artificial Intelligence) · EN 学習・ファインチューニング 抜粋
    ProductConsistency: Improving Product Identity Preservation in Instruction-Based Image Editing via SFT and RL
    ProductConsistency、指示画像編集で商品の同一性保持を改善
    ファインチューニング 機械学習 強化学習
    指示ベースの画像編集は、自然言語の指示から複雑な編集を可能にしてきた。しかし商品中心の場面では、特徴やブランディングの保持が課題だ。本研究は SFT と RL を用いる「ProductConsistency」を提案し、編集後も商品の同一性(アイデンティティ)を保つ性能を高める。
    元記事を読む (arXiv cs.AI (Artificial Intelligence)) ↗
  • arXiv cs.AI (Artificial Intelligence) · EN 新モデル・リリース 抜粋
    ARIADNE: Agnostic Routing for Inference-time Adapter DyNamic sElection
    ARIADNE、推論時にアダプタを動的選択する汎用ルーティング
    埋め込み (Embeddings) ファインチューニング 推論 (Inference) Llama 検索拡張生成 (RAG)
    パラメータ効率の良い微調整(PEFT)の普及で、単一のバックボーンに多数のタスク特化アダプタを組み合わせるモデル生態系が生まれている。本研究は「ARIADNE」を提案し、推論時に入力へ応じて適切なアダプタを動的に選ぶ、モデル非依存(agnostic)なルーティング機構を実現する。
    元記事を読む (arXiv cs.AI (Artificial Intelligence)) ↗
  • arXiv cs.AI (Artificial Intelligence) · EN 学習・ファインチューニング 抜粋
    Where Did the Variability Go? From Vibe Coding to Product Lines by Regeneration
    Vibe コーディングの多様性はどこへ、再生成で製品ライン化
    ソフトウェア工学
    AI 駆動の新潮流「Vibe コーディング」では、LLM が自然言語の指示からプログラム全体を生成する。しかし従来のソフトウェア工学が扱ってきた「多様性(variability)」はどうなるのか。本研究は再生成(regeneration)を通じて、vibe コーディングからソフトウェア製品ラインへつなぐ道を探る。
    元記事を読む (arXiv cs.AI (Artificial Intelligence)) ↗
  • arXiv cs.AI (Artificial Intelligence) · EN 新モデル・リリース 抜粋
    Spotlight: Synergizing Seed Exploration and Spot GPUs for DiT RL Post-Training
    Spotlight、シード探索とスポット GPU で DiT の RL 事後学習を低コスト化
    深層学習 ニューラルネットワーク 検索拡張生成 (RAG) 強化学習 Transformer
    拡散トランスフォーマー(DiT)の RL 事後学習は数千台の高性能 GPU を要し非常に高価だ。本研究は「Spotlight」を提案し、シード探索の工夫と安価なスポット GPU の活用を組み合わせることで、DiT の RL 事後学習を大幅に低コスト化する。
    元記事を読む (arXiv cs.AI (Artificial Intelligence)) ↗
  • arXiv cs.CL (Computation and Language) · EN 学習・ファインチューニング 抜粋
    GraphPO: Graph-based Policy Optimization for Reasoning Models
    推論モデル向けグラフベース方策最適化「GraphPO」
    ニューラルネットワーク 強化学習 ソフトウェア工学
    検証可能な報酬による強化学習(RLVR)は推論モデルの標準的な学習法となった。GraphPOは推論過程をグラフとして捉える方策最適化手法を提案し、推論ステップ間の構造を活用してより効果的に推論能力を引き上げることを狙う。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗
  • arXiv cs.CL (Computation and Language) · EN 新モデル・リリース 抜粋
    SAGE: Stochastic Prompt Optimization via Agent-Guided Exploration
    エージェント探索による確率的プロンプト最適化「SAGE」
    文脈設計(コンテキストエンジニアリング)はAIシステムの性能を引き上げる主要な手段となっている。SAGEはエージェントが探索を導く確率的なプロンプト最適化手法を提案し、効果的なプロンプトを自動的に発見してタスク性能を改善する。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗
  • arXiv cs.CL (Computation and Language) · EN 政策・規制 抜粋
    Output Vector Editing for Memorization Mitigation in Large Language Models
    出力ベクトル編集でLLMの記憶再生を抑制
    Llama 機械学習
    大規模言語モデルは訓練データの系列を記憶し、そのまま再生してしまうことがある。本研究は出力ベクトルを編集することで、こうした記憶の再生(メモリゼーション)を緩和し、著作権や個人情報の漏洩リスクを下げる手法を提案する。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗
  • Preferred Networks Tech Blog · JA 学習・ファインチューニング 抜粋
    PLaMo-3.0-Prime-β を LLM 開発の現場で使う
    Preferred Networks、PLaMo-3.0-Prime-β の実開発活用法を紹介
    深層学習
    Preferred Networks は自社の大規模言語モデル PLaMo の開発を継続しており、最新版 PLaMo-3.0-Prime-β を実際の LLM 開発現場で活用する方法を紹介した。モデル学習だけでなく付随する多様な作業を含め、高性能 LLM を効率的に開発するための実践的な知見を共有する。
    元記事を読む (Preferred Networks Tech Blog) ↗
  • Publickey · JA 新モデル・リリース 抜粋
    GitLab、AIエージェント向けの次世代Git互換ソースコード管理サービス「Project Switch」発表。最大で50倍高速かつ半分のトークンで利用可能に
    GitLab、AIエージェント向けGit互換管理サービス「Project Switch」発表
    AI エージェント 機械学習
    GitLabは英ロンドンのイベント「GitLab Transcend」で、AIエージェント向けの次世代Git互換ソースコード管理サービス「Project Switch」を発表したと報じられている。報道によれば最大50倍高速かつ約半分のトークン消費で利用できるとされる。数値・性能は発表内容に基づく報道であり、第三者検証は未確認。
    元記事を読む (Publickey) ↗
  • arXiv cs.AI (Artificial Intelligence) · EN 新モデル・リリース 抜粋
    EvolveNav: Proactive Preflection and Self-Evolving Memory for Zero-Shot Object Goal Navigation
    軌跡記憶を自己進化させるゼロショット物体探索ナビゲーションを提案
    AI エージェント ニューラルネットワーク 検索拡張生成 (RAG)
    事前学習なしに目標物体を探すゼロショット物体目標ナビゲーションで、過去の軌跡から行動可能な知識を抽出する自己進化型の枠組みを提案する論文。ルール記憶と検索戦略により、テスト時の継続的な改善を実現すると述べる。
    元記事を読む (arXiv cs.AI (Artificial Intelligence)) ↗
  • arXiv cs.CL (Computation and Language) · EN 新モデル・リリース 抜粋
    Darshana Graph: A Parallel Commentary Corpus for Comparative Indian Philosophy, with Stylometric and Exploratory Graph Analyses
    Darshana Graph、印度哲学の並列注釈コーパスを構築
    機械学習 ニューラルネットワーク
    ヒンドゥー・仏教・ジャイナの古典哲学伝統にまたがる12.5万件超のテキスト記録から成るコーパスDarshana Graphを公開。パブリックドメイン等の翻訳を基に、比較印度哲学のための文体計量およびグラフ解析を行う。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗
  • arXiv cs.CL (Computation and Language) · EN 新モデル・リリース 抜粋
    Learning from the Self-future: On-policy Self-distillation for dLLMs
    拡散LLM向けのオンポリシー自己蒸留OPSDを探究
    深層学習 ファインチューニング 強化学習 ソフトウェア工学
    オンポリシー自己蒸留(OPSD)はLLMの事後訓練に有効だが拡散LLM(dLLM)への応用は未開拓。既存OPSDは自己回帰中心で左から右への接頭辞条件付けに依存しており、拡散LLMに適した自己蒸留の在り方を検討する。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗
  • arXiv cs.LG (Machine Learning) · EN 学習・ファインチューニング 抜粋
    Multi-Source Cybersecurity Logs: An ATT&CK-Labeled Dataset and SLM Evaluation
    ATT&CK注釈付き多源セキュリティログ集と小型LM評価
    ファインチューニング Llama 機械学習 ニューラルネットワーク 人間のフィードバックによる強化学習 (RLHF)
    複数ソースのサイバーセキュリティログにMITRE ATT&CKラベルを付与したデータセットを構築し、小型言語モデル(SLM)での評価を行う研究。タイトルベースの中立要約で、詳細・数値は原論文発表ベース・第三者検証は未確認と明記。
    元記事を読む (arXiv cs.LG (Machine Learning)) ↗
  • arXiv cs.AI (Artificial Intelligence) · EN 学習・ファインチューニング 抜粋
    WEQA: Wearable hEalth Question Answering with Query-Adaptive Agentic Reasoning
    装着型健康データのQAを行うエージェント推論手法WEQAを提案
    深層学習 ニューラルネットワーク ソフトウェア工学
    連続的で高次元な装着型センサーの健康データに対する質問応答が難しい点に着目し、クエリ適応的なエージェント推論を行う枠組みWEQAを提案する論文。多様なセンサー様式や利用者意図を固定の推論手順では扱えないと論じる。
    元記事を読む (arXiv cs.AI (Artificial Intelligence)) ↗
  • arXiv cs.LG (Machine Learning) · EN 推論・効率化 抜粋
    S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices
    S4oP、状態空間モデルを演算子単位で枝刈り軽量化
    ファインチューニング 推論 (Inference) 強化学習
    S4などの構造化状態空間モデル(SSM)は長距離依存に強いが資源制約環境への展開は難しい。S4oPは演算子レベルの枝刈りにより、時間・資源が限られたデバイスでの効率的な展開を狙う。
    元記事を読む (arXiv cs.LG (Machine Learning)) ↗
  • arXiv cs.AI (Artificial Intelligence) · EN 学習・ファインチューニング 抜粋
    EAGG: Embodiment-Aligned Grasp Generation via Geometry-Aware Graph Conditioning
    身体性に整合した把持生成手法EAGGを提案
    ファインチューニング 検索拡張生成 (RAG)
    平行グリッパから多指ハンドまで多様な身体性に汎化する把持生成を目指し、各エンドエフェクタを位相考慮グラフで表現する身体性整合型生成器EAGGを提案する論文。固定身体性向けや静的記述子では転移が弱まる課題に対処すると述べる。
    元記事を読む (arXiv cs.AI (Artificial Intelligence)) ↗
  • arXiv cs.LG (Machine Learning) · EN 学習・ファインチューニング 抜粋
    From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning
    推論トレースを再利用モジュール化し合成的汎化を解明
    ファインチューニング 検索拡張生成 (RAG) 強化学習
    教師ありファインチューニングと強化学習を組み合わせる事後訓練はLLMを頑健な推論器にする鍵となっている。本研究は推論トレースを再利用可能なモジュールへ変換する観点から、言語モデル推論の合成的汎化を理解する。
    元記事を読む (arXiv cs.LG (Machine Learning)) ↗
  • arXiv cs.LG (Machine Learning) · EN 学習・ファインチューニング 抜粋
    Uncertainty Quantification for Flow-Based Vision-Language-Action Models
    フローベースVLAモデルの不確実性定量化
    コンピュータビジョン ファインチューニング 検索拡張生成 (RAG) 強化学習
    視覚言語行動(VLA)モデルは視覚言語基盤に、フローマッチングで訓練した表現力ある行動ヘッドを組み合わせる。強い実績を持つ一方、本研究はフローベースVLAに対する不確実性定量化の手法を検討する。
    元記事を読む (arXiv cs.LG (Machine Learning)) ↗
  • arXiv cs.CL (Computation and Language) · EN 学習・ファインチューニング 抜粋
    When English Isn't the Best Teacher: Source Language Effects in Cross-Lingual In-Context Learning
    言語間文脈内学習で英語が最良の教師とは限らない
    ファインチューニング ニューラルネットワーク 自然言語処理 (NLP)
    多言語NLPの言語間転移は教師ありFTで広く研究され、データ量や言語的近さが質を左右する。few-shotの文脈内学習(ICL)へ移る中、本研究はソース言語の効果を検証し、英語が常に最良の教師ではないことを示す。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗
  • arXiv cs.LG (Machine Learning) · EN 学習・ファインチューニング 抜粋
    Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation
    破滅的忘却は低ランク、継続適応の関数空間理論
    ファインチューニング 強化学習
    継続適応における破滅的忘却は通常パラメータのドリフトや再生で論じられるが、どの出力方向が脆弱かは分からない。本研究はNTK領域で関数空間の説明を与え、新課題訓練が交差課題カーネルを介し旧課題予測を低ランクにずらすことを示す。
    元記事を読む (arXiv cs.LG (Machine Learning)) ↗
  • arXiv cs.LG (Machine Learning) · EN 新モデル・リリース 抜粋
    Fast Nonparametric Conditional Independence Testing via Two-Stage Regression
    二段階回帰による高速なノンパラ条件付き独立性検定
    アルゴリズム・理論 人間のフィードバックによる強化学習 (RLHF)
    条件付き独立性検定は統計・因果推論の基本課題である。本研究は二段階回帰に基づく高速なノンパラメトリック条件付き独立性検定を提案し、計算効率と検出力の改善を狙う。
    元記事を読む (arXiv cs.LG (Machine Learning)) ↗
  • arXiv cs.CL (Computation and Language) · EN 新モデル・リリース 抜粋
    Fine-tuning LLMs for Passive Depression Severity Estimation from AI Mental Health Dialogue
    AIメンタルヘルス対話からうつ重症度を受動推定するLLM微調整
    Claude ファインチューニング ニューラルネットワーク 強化学習
    うつは広く見られる疾患である。本研究はAIによるメンタルヘルス対話を用い、LLMを微調整して対話から受動的にうつの重症度を推定する手法を検討する。数値・効果は論文ベース・第三者検証は未確認と明記。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗
  • arXiv cs.LG (Machine Learning) · EN 安全性・評価 抜粋
    KANLib -- An Modular, Extensible and Fast Kolmogorov-Arnold Network Implementation
    KANLib、高速で拡張可能なKAN実装ライブラリ
    コルモゴロフ・アーノルドネットワーク(KAN)は線形重みを学習可能な一変数関数に置き換える有望な代替だが、計算コストの高さが実践研究を妨げる。KANLibはモジュール式で拡張可能、高速なKAN実装を提供する。
    元記事を読む (arXiv cs.LG (Machine Learning)) ↗
  • arXiv cs.CL (Computation and Language) · EN 新モデル・リリース 抜粋
    Environment-Grounded Automated Prompt Optimization for LLM Game Agents
    環境に接地した自動プロンプト最適化でLLMゲームエージェント
    AI エージェント ファインチューニング 強化学習
    対話的環境のLLMエージェントはプロンプトに敏感だがプロンプト工学は手作業で課題依存。本研究は観測から行動への過程を分解し、環境に接地した自動プロンプト最適化の枠組みをLLMゲームエージェント向けに提案する。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗
  • arXiv cs.CL (Computation and Language) · EN 学習・ファインチューニング 抜粋
    Perceptual compensation for tonal context in self-supervised speech models
    自己教師あり音声モデルにおける声調文脈の知覚補償を検討
    埋め込み (Embeddings) 検索拡張生成 (RAG) 音声処理
    本研究は自己教師あり音声モデルが声調(トーン)の文脈に対し知覚補償を行う程度を検討し、人間の音声知覚に見られる文脈効果がモデル表現にどの程度現れるかを分析する。
    元記事を読む (arXiv cs.CL (Computation and Language)) ↗