データハンドリング on lunaplus*

Athena Federated QueryでCloudwatchにSQL実行する

Fri, 05 May 2023 00:00:00 +0000

Athena Federated Queryとは…

突然ですが、S3以外のデータソースに対してAthenaからSQLを実行したい場合がありますよね。前回紹介したAWSサービスの「セキュリティログ」だけでなく、LambdaやFargateといったサービスのログは Clowdwatch Logsに直接出力されていたりします。
もちろん、Kinesis firehoseを経由してS3に保存してからAthenaで検索するという方法もあると思いますが、 Athena Federated Queryのコネクタを利用すると直接、Athenaからクエリが実行できるようになります。

AWSのセキュリティログをAthenaで検索する

Thu, 04 May 2023 00:00:00 +0000

セキュリティログの活用

セキュリティインシデントの発生時の対応や各種証跡の保全のためにログを取得することは、これまでも一般的に行われてきました。特にクラウドでは、セキュリティに関する各種のログが簡単に取得できる各種のサービスやツールが公開されており、企業や個人でも活用されている方は多いと思います。

その一方で、データ量も多く、万一のために取得しているという認識から、なかなか活用に至らないケースも多くあるのではないでしょうか。昨今では、発見的統制(Detective Control)という言葉も出てきており、セキュリティの問題と潜在的な脅威を見つけ出すことも必要となっていると言われております。

Amazon Athenaを使ってみよう

Tue, 03 Oct 2017 22:30:23 +0000

AWSを利用したデータ分析の話です。蓄積されたログをはじめとする各種のデータを傾向分析や障害調査などでちょっと集計するようなことはよくあると思います。”ファイルを集めてきて必要な情報を切り取って平均値を求める” だけなのですが、数万のファイルを集めてその後Grepする？(マジで…)となる状況を幾度となく見てきました。

IPアドレスからアクセス元の国名を割り出す

Sun, 05 Jan 2014 23:00:54 +0000

グローバルIPアドレスの管理

グローバルIPアドレスは、Internet Assigned Numbers Authorityによって管理され、その下部組織によって国ごとに割り当てが決められています。この割り当て表を使って、Webサイトへアクセスしてきたユーザーの国を割り出してみるというデータに関連するTipsを紹介します。

MaxMind GeoLite Databases

今回は、MaxMind社が提供している GeoLite Free Downloadable Databasesの CSVファイルを利用してみます。 MaxMind社では毎月データを更新しており、より詳細なレベルのデータについても有償で提供していたりするようです。（利用に際しては、ライセンスを守った上で利用してください）データをダウンロードしてみるとこのような形のデータが取得できます。