kasei_sanのブログ

かせいさんのIT系のおぼえがきです。胡乱の方はnoteとtwitterへ

2023-01-01から1年間の記事一覧

RDS Auroraのreaderからのpg_dumpの途中で接続が切れる場合、max_standby_streaming_delay を上げると良いよ

タイトルで言いたいことだいたい言っちゃったんですが、 readerエンドポイントでpg_dump を実行していたら、大きめのテーブルをdumpしている時に接続がちょこちょこ途切れる現象が発生していました。 それで、DBのログを見てみたら以下のエラーがありました …

Amazon Athenaでアクセスログから、特定PATHの分ごとのアクセス数をカウントする方法

以下は、2023/11/18の15:00〜15:10の間の https://example.com:443/hoge への分単位のアクセス数を取るSQL SELECT minute, COUNT(minute) AS count FROM ( SELECT date_trunc('minute', from_iso8601_timestamp(time)) AS minute FROM "alb_access_logs" WHE…

AUTOVACUUMが動かない時に調べること

AUTOVACUUMの設定 SELECT name, setting FROM pg_settings WHERE name LIKE '%autovacuum%'; autovacuum が on であること 他の数値も異常な値でないこと(どう考えても実行されない閾値とか) AUTOVACUUMの最終実行日時 SELECT relname, last_autovacuum,last…

Railsのdatabase.ymlのpoolの適正数

先に結論 Railsの中でスレッド処理をしていないのであれば Unicornの場合 1 Pumaの場合 スレッドの数 なんで UnicornとPumaで数が違うの? ざっくりいうと、Unicornはマルチプロセスで、Pumaはマルチスレッドだから (厳密には違うけど) それで、コネクション…

AWSコスト最適化ガイドブック 読書メモ

AWSコスト最適化ガイドブック作者:門畑 顕博,仁戸 潤一郎,柳 嘉起,杉 達也,小野 俊樹,藤本 剛志KADOKAWAAmazon 初学者やAWS詳しくない人が、最適な使い方を学ぶのには良い本でした 逆にある程度くわしい人は、知らないところをつまみ食いすればそれで終わる…

メール関係の用語おぼえがき

勉強する必要が出たのでおぼえがき レピュテーション(reputation) 「レピュテーション(reputation)」とは、電子メールの送信元の信頼性や評判を示す指標 スパムメールや悪意のあるメールの送信者と、信頼性のあるメール送信者を区別するために使用される …

RDS の Aurora の昇格についておぼえがき

RDS Auroraでライターインスタンスが死んだ場合、どういうルールで昇格するんだっけ? ライターインスタンスの内「優先度」が最も低い値のインスタンスから選ばれる(0がデフォルト) 同じ「優先度」の場合、同じサブネット、AZのものが優先される Terraformで…

GitHubのRSA SSH ホスト鍵変更に対してクライアント側の修正方法

GitHubのRSA SSH 秘密鍵が漏洩したため、2023/03/24 にGitHubのRSA SSH ホスト鍵が変更されました github.blog RSA SSH 秘密鍵って? RSAは暗号化方式 RSA SSH 秘密鍵は、RSAでSSHするためにGitHubが持っている秘密鍵 今回これが漏洩した RSA SSH ホスト鍵っ…

AWS コスト削減チェックリスト

前提 金銭的なコスト削減のために、運用コストが上昇したら元も子もないので注意!!! 全体 EC2 から、ECS(Fargate)、lambdaへの移行を検討中ならば、Compute Savings Plansを使用する そもそも使っていないインスタンスを停止する EC2 性能が過剰ならば、より…

PostgreSQLでのdump、restore、COPYおぼえがき

データベースの dump pg_dump -d ${dbname} > /var/tmp/dbname.dump 特定のテーブルのみ dump pg_dump -d ${dbname} -t ${tablename} > /var/tmp/dbname.dump 特定のテーブル 以外を dump pg_dump -d ${dbname} -T ${tablename} > /var/tmp/dbname.dump デー…