AIとチーム開発の実践
AIとチーム開発の実践
何ができそうか
提案
LLM内部構造の実践学習プロジェクト
「つくりながら学ぶ！LLM自作入門」の手法に則って、Transformerブロック1層・Attentionヘッド1個の最小構成モデルを自前で実装し、学習と生成の仕組みを視覚的に理解する個人プロジェクトを立ち上げる。
次の一歩
今週中に「idea-stockリポジトリにLLM-Researchディレクトリを作成し、FineWeb2 Edu Japaneseを用いたトークン埋め込み実装を試す
具体的には、idea-stock/LLM-ResearchディレクトリをGitで作成し、Pythonでトークン化と埋め込み行列の初期化コードを書く。コードレビューはCodex CLIで自動実行する。
着想の背景
「つくりながら学ぶ！LLM自作入門」の記事に記載されている「最小構成から実装し、学習ステップごとに生成文の変化を観察する」というアプローチが、自身のシステム設計・機械学習理解のスキル向上に直接寄与する可能性があることを認識した。また、既存のfeed-digestリポジトリのRSS処理技術やdotfiles-ubuntuの環境構築ノウハウを活かすことで、個人ブログでの成果物公開がスムーズに行えると考えた。