Databricks on AWS役割分担は非常に明確です
Amazon Web Services
VPC / IAM / S3 / KMS / EC2 を提供
ネットワーク・セキュリティの土台
Databricks
Spark / Delta Lake / MLflow / Workflow
データ処理・ML 実行基盤
① Databricks Account / Workspace
-
Account Console(アカウント全体管理)
-
Workspace(プロジェクト単位)
-
ユーザー・グループ・権限設計
-
クラスターポリシー(サイズ制限・コスト管理)
② VPC Injection(日本案件で最重要)
③ IAM / S3 / KMS(AWS 三種の神器)
IAM
-
Databricks が使う IAM ロール
-
Instance Profile
-
最小権限設計
Databricks を 顧客管理 VPC 内で動かす方式
-