Databricks on AWS案件について

Databricks on AWS役割分担は非常に明確です

Amazon Web Services
VPC / IAM / S3 / KMS / EC2 を提供
ネットワーク・セキュリティの土台

Databricks
Spark / Delta Lake / MLflow / Workflow
データ処理・ML 実行基盤

① Databricks Account / Workspace

  • Account Console(アカウント全体管理)

  • Workspace(プロジェクト単位)

  • ユーザー・グループ・権限設計

  • クラスターポリシー(サイズ制限・コスト管理)

    ② VPC Injection(日本案件で最重要)

    ③ IAM / S3 / KMS(AWS 三種の神器)

    IAM

    • Databricks が使う IAM ロール

    • Instance Profile

    • 最小権限設計

    Databricks を 顧客管理 VPC 内で動かす方式