DX支援のデータサイエンティストが、あえてWindowsで自給自足のAIデータ分析ラボをゼロから作る理由
はじめに：なぜ今「自給自足」なのか？
本業では、エンタープライズ（大企業）向けのDX支援やデータサイエンス、AIの導入コンサルティングを行っています。日々、何千万円、何億円という最先端のクラウドインフラやツール群を目にしていますが、ふと一つの疑問が湧き上がりました。
「莫大な予算とベンダーが用意してくれた環境に頼らず、自分一人の手で、モダンデータスタック（MDS）のインフラをゼロから組んだら、一体どれだけの本質が見えてくるだろうか？」
手元にあるのは、使い慣れたWindows PC（Ryzen 7 / 内蔵グラフィックス）。この限られたローカル環境と、世界中の素晴らしいサービスが提供してくれている「無料枠」を極限まで使い倒し、画面のログ収集からクラウドデータウェアハウス（DWH）への集約、BIでの可視化、そして生成AIや機械学習のモデル構築までを一気通貫で繋ぐ「自給自足型のデータパイプライン」を構築するプロジェクトを始動します。
本プロジェクトの全体アーキテクチャ
このブログ（Data & AI Horizon）自体が、単なるテキストメディアではなく、**「生きたデータ収集の実験場」**として機能します。構築していくデータスタックの全貌は以下の通りです。
- フロントエンド: Astro + Vercel による爆速の静的サイト生成（SEO・分析の土台）
- Web分析: GA4 ＋ 自作JavaScriptタグによる高度なユーザー行動検知
- データ連携基盤 (ETL): Python + FastAPI による軽量・高速なAPIサーバー
- データベース: PostgreSQL (Local) ➔ Supabase (Cloud) への24時間化移行
- データウェアハウス: Snowflake / Microsoft Fabric による本格実機検証
- 生成AI: API経由のセキュアなAI制御（RAG・インサイトの自動生成）
- 機械学習: LightGBM ＋ Kaggle Notebooks によるCVR（クリック率）予測モデル
パッケージ化されたツールを導入するのではなく、通信、DB設計、ETL処理の泥臭いインデックス貼りなどを自分の手で行うことで、ベンダーの仕様に依存しない「データエンジニアリングの普遍的な本質」を体得し、本業のDX要件定義や顧客提案への圧倒的な還元を目指します。
5ヶ月間の限界突破ロードマップ
この挑戦は、以下の5つのフェーズで段階的に進めていきます。
- 1ヶ月目（現在）: ベースキャンプ構築（独自ドメイン公開、GA4/Clarity/サイトマップ、SEO基盤完了）
- 2ヶ月目: ローカル自前DB構築（FastAPI ➔ PostgreSQLによる生ログ収集APIの自作）
- 3ヶ月目: 無料クラウドデータ基盤化（Render ＋ Supabaseへ移植し、24時間自動ログ蓄積）
- 4ヶ月目: Snowflake ＋ 生成AI連携（AIインサイト自動生成、Tableau Publicでのダッシュボード埋め込み）
- 5ヶ月目〜: 機械学習 ＋ Kaggleコンペ挑戦（蓄積した自作生ログデータによるユーザー行動予測モデルの構築）
おわりに：エラーはお宝、プロセスをすべて資産にする
個人開発において、エラーは障害ではなく「最高級のブログネタ（需要）」であり、技術習得のための「お宝」です。このラボで起きるトラブル、解決のプロセス、ソースコードのすべてをリアルタイムでこのブログに書き残していきます。
「分析ができるデータサイエンティスト」から「インフラ・AI・ビジネスまでを一気通貫で設計できるDXアーキテクト」へ。最初の一歩を、ここから踏み出します。
📚 hiroのデータサイエンス・バイブル（技術的ルーツ）
私がこれまでのキャリアにおいて強烈に影響を受け、今回の自給自足データ基盤構築のバックボーンにもなっている、全データ人材必読の技術書たちです。
1. 達人に学ぶSQL徹底指南書
データサイエンティストにとってSQLは空気のような存在ですが、本書は一歩進んだ「手続き型から集合論的思考へのパラダイムシフト」を教えてくれます。フェーズ2での高度なテーブル設計の基礎となります。
達人に学ぶSQL徹底指南書 第2版 初級者で終わりたくないあなたへ （CodeZine BOOKS） [ ミック ]
2. Kaggleで勝つデータ分析の技術
フェーズ5での予測モデル構築、特徴量エンジニアリングにおいて、実務とコンペの架け橋となってくれる実践的な一冊です。
