自分が知らなかったAWS用語のおぼえがき
Amazonが提供するデータウェアハウス
データウェアハウス(DWH)とは、意思決定のために、基幹系などの複数システムから、必要なデータを収集し、目的別に再構成して時系列に蓄積した統合データベースで、データ分析や意思決定に役立てます。
Redshift 拡張VPCルーティング
VPCエンドポイントやゲートウェイと接続したい場合に設定する必要がある
アーカイブに最適な低コストのオブジェクトストレージ
- 迅速 : 250 MB 以下のアーカイブ 1〜5 分以内で取得可能
- 標準 : デフォルト。 3〜5 時間で取得可能
- 大容量 : 5〜12 時間で取得可能。安い
Vault Lock
ロックを掛けて、以降そのデータの編集を不可能にする仕組み。 コンプライアンス目標を達成しやすくなります
とのこと
PUTできるファイルのサイズ制限は5G
アクセス制限
S3 MFA Delete
オプションでオブジェクトの削除にMFAデバイスによる二段階認証をできるようにする
オプションで有効な機能
- オブジェクトの暗号化
- アクセスログの取得
- オブジェクトのバージョニング
暗号化
KMSを使って、いろいろな方法で暗号化できる
高速化のベストプラクティス
ファイル名の先頭にランダムな文字列を入れると、格納先のパーテーションが分散して、速度が上がる
- S3はオブジェクトをキー名毎にアルファベット順に、複数のパーテーションに格納している
- タイムスタンプやアルファベット順のキーを大量に作成すると、特定のパーテーションにアクセスが集中して、速度が低下する
リクエスト率およびリクエストパフォーマンスに関する留意事項 - Amazon Simple Storage Service
古いノウハウになってしまったが、テストではそのままなので残す...
AWS KMSを使って、ディスクの暗号化ができる
ボリュームの種類
価格と性能のバランスが良い
- 容量: 1G〜16T
- 最大IOPS: 10,000
プロビジョンドIOPS SSD
高スループット&高価
- 容量: 4G〜16T
- 最大IOPS: 32,000
低コスト&低性能
ブートボリュームにはできない
ブートボリュームにはできない
さらに低コスト&低性能
Amazon EBS ボリュームの種類 - Amazon Elastic Compute Cloud
EC2インスタンスに紐づけできるファイルストレージサービス
Amazon EFSを使ってみた(前編) - 株式会社ネディア
タスクにIAMロールを紐づけることができる
異なるユーザのタスクを1つのクラスタで実行しても、権限のないコンテナやサービスへの接続を制御することができる
AmazonCloudFront
Amazon CloudFront は、静的および動的なウェブコンテンツ (.html、.css、.js、イメージファイルなど) をユーザーに高速に配信するウェブサービスです。
キャッシュを破棄するのに10分ほどかかるので、リアルタイム性が求められるデータには向かない
AWS CodeBuild
CIサービス
AWS CodeDeploy
EC2などのAWSサービスへの自動デプロイサービス
AWS CloudFormation
クラウド環境内のすべてのリソースを記述してプロビジョニングするためのツール
AWS Security Token Service
AWS リソースへのアクセスを制御できる一時的セキュリティ認証情報を持つ、信頼されたユーザーを作成および提供することができます。
一時的なIAMを作るようなサービス
メッセージキューサービス
プッシュサービス、SMSやメールやアプリへのpushができる
大規模なストリーミングデータを処理するサービス
EC2で直接受けたり、SQSで受けるよりも安く、スケールするらしい
分散処理基盤
ETL(雑多な情報をデータウェアハウスにまとめる処理)向け
EC2でClusterを作ってくれる(インスタンスタイプと台数を指定できる
Map Reduce とかの分散コンピューティング用の実装が必要
EMR と違って、分散コンピューティング用の処理は不要
MySQL や PostgreSQL と互換性のあるリレーショナルデータベース
- 最大テーブルサイズは64TiB
- RDSのテーブルのファイルサイズは最大16TiB
ポイントインタイムリカバリ
自動バックアップからの復帰のこと
サポートエンジン
PostgreSQL、MySQL、MariaDB、Oracle、Microsoft SQL Server
- インターネットVPN: 安い、遅い、即時に設定可能
- 専用線: 高い、速い、設置に数週間
データストリームの処理基板
EC2関係
AWSで余剰したインスタンスを格安で利用できるが、確実に取得できるとは限らないので
問題の用途によっては不適なインスタンスタイプ
料金設定が上限を超えたり、そもそもインスタンスがなくなった時等に強制終了される
- 2017年までは、1時間以内に強制終了された場合は無料だった。現在は秒課金
標準メトリクスは以下のとおり
- CPU クレジット利用数(CPUCreditUsage)
- CPU クレジット累積数(COUCreditBalance)
- CPU 利用率(CPUUtilication)
- 1秒あたりの Disk 読み込み回数(DiskReadOps)
- 1秒あたりの Disk 書き込み回数(DiskWriteOps)
- インスタンスストレージの読み取りバイト数(DiskReadBytes)
- インスタンスストレージの書き込みバイト数(DiskWriteBytes)
- 受信したバイト数(NetworkIn)
- 送信したバイト数(networkOut)
- OS・インフラストラクチャステータスチェックの成功・失敗(StatusCheckFailed)
- OSステータスチェックの成功・失敗(StatusCheckFailedInstance)
- インフラステータスチェックの成功・失敗(StatusCheckFailedSystem)
基本モニタリング
無料
ステータスチェック系は1分間隔
他は5分間隔
詳細モニタリング
有料
全て1分間隔でモニタリングできる
Auto Scaling グループ
- クールダウンタイム: インスタンスが起動してから準備完了になるまでの時間を指定できる
- 終了ポリシー: 最初に終了するインスタンスを指定できる、作成日が古い/新しいなど
ロードバランシング関係
ELBはマルチリージョン不可
Weighted Round Robin (WRR
Route53の機能。マルチリージョンでロードバランシングするならこっち
設定した割合でラウンドロビンされる
ネットワークACL関係
ネットワークACLとセキュリティグループの違い
セキュリティグループ
AWSのネットワークACLとセキュリティグループの違い - プログラマでありたい
0.0.0.0/0
の意味
ワイルドカード
一時ポート(エフェメラルポート)
TCP/IPにて、通信の帰りに特定範囲のポートを使用する
ネットワークACLでは、エフェメラルポートのイン/アウトバウンドを許可する必要がある
- エフェメラルポートはOSやアプリによって異なる
- NATゲートウェイやELBでは、
1024~65535
を使用する
ネットワーク ACL - Amazon Virtual Private Cloud
VPCエンドポイント
プライベートサブネットから、インターネットを経由せずにS3やRedshiftにアクセスする仕組み
VPCルートテーブルで、S3やRedshiftへアクセスするときのIPアドレスを、VPCエンドポイントに設定する
インターネットを経由しない分、よりセキュアにS3やRedshiftにアクセスできる
プライベート、パブリックサブネット
サブネットのトラフィックがインターネットゲートウェイにルーティングされる場合、そのサブネットはパブリックサブネットと呼ばれます。
インターネットゲートウェイへのルートがないサブネットは、プライベートサブネットと呼ばれます
プライベートサブネット内のインスタンスから、インターネットに接続するためのゲートウェイ
逆にインターネットからは、プライベートサブネットに接続できない
インターネット側へのトラフィックはNATのIPアドレスになる
NATゲートウェイは、プライベートサブネットとインターネットゲートウェイの仲介をするゲートウェイ
コンピュータネットワークにおけるルーティングテーブルとは、ルーターやネットワーク接続されたコンピュータが持つ、個々のネットワークの宛先への経路の一覧を保持しているテーブル状のデータ構造である。