読者です 読者をやめる 読者になる 読者になる

docker基盤としてECSを採用しました②

こんにちはmatsです。 今回はdocker環境への全面移行について、運用環境や全体構成について書こうかと思います。 全体構成 デプロイフロー GitHubとCircleCIの連動を軸に自動化しています。流れ的には [GitHub] PRをmasterブランチにマージ [CircleCI] 自動…

docker基盤としてECSを採用しました①

こんにちはmatsです。 IMでは2016年の夏頃からdocker環境への全面移行を行っております。 一旦、一段落したので、色々とまとめてみようかと思います。 なぜECSを採用したのか dockerの基盤としてはKubernetesやDocker Swarmなど、いくつか選択肢があり、IMで…

他社サイトに設置するjsタグを作る時のTips(prototype汚染の話)

こんにちは、g0eです。 アドテク業界ではjavascriptのタグ(以下、jsタグ)をクライアントサイトに埋め込んでもらうことがよくあります。 自社サイトの開発と違って、設置先のサイトでどのようなjavascriptが動いているかわからないので、他のjavascriptと競合…

AWS Lambdaを使ってmackerelにEC2のSpotPriceを投げ込む

こんにちは。g0eです。 昨日、弊社のコーポレートサイトをリニューアルしました。 なかなかかっこよく仕上がったんじゃないかと満足している一方で、随分と更新をサボっていたこのブログにも、きちんとしたリンクが貼られてしまったので、とりあえず何か書い…

Rundeckをクラスターモードで構築する

こんにちはmatsです。 最近、更新サボってましたが久しぶりの投稿です。 今回は前に下の記事でご紹介していたジョブスケジューラー「Rundeck」について書こうかと思います。 http://tech.im-dmp.net/archives/1681 最近、2.6.0がリリースされたのでアップデ…

Elasticsearch勉強会でLTしてきました

こんにちはmatsです。 昨日行われていた「第11回elasticsearch勉強会」でLTをしてきました。 今回は来日していたElasticsearchのCTO向けに英語スライドで事例紹介をとのオーダーがあったので、全編英語になっています。(さすがに日本語でしゃべりましたが)…

Aerospikeのスケールアウト

こんにちはmatsです。 先日、「Aerospike Deep Dive」に登壇したのですが、その際にスケールアウト(ノードの追加)について聞かれる方が多い様に思いました。 http://tech.im-dmp.net/archives/3971 今回はそのスケールアウトの手順と注意事項について書こ…

「Data Connector for Amazon S3」でELBのログを取り込む

こんにちは。matsです。 トレジャーデータからこんなサービスがリリースされました。 http://blog-jp.treasuredata.com/entry/2015/06/22/125518 たまたま社内でELBのログを調査する機会があったので、「Data Connector」でELBのアクセスログをTDに送るのに…

AWSでAerospikeをインストールする

こんにちは。matsです。 ちょうどAerospikeを増強する機会があったので、インストールについてまとめてみました。 基本的にはこちらのリファレンスを参考にしています。 サーバの起動 下記の構成で立ち上げます。 インスタンスタイプ: r3.2xlarge以上 OS: …

Airbnbの「Airflow」を試す

こんにちは。最近pythonと戯れているmatsです。 6月の頭にこんなリリースがありました。 http://japan.cnet.com/news/service/35065498/ 今回はこの「Airflow」を試してみようかと思います。 Airflowとは 「Airflow」はAirbnbがオープンソースとして公開した…

Aerospikeの勉強会に登壇してきました

こにちは、matsです。 昨日、行われていた「Aerospike Deep Dive」に登壇してきました。 Deepと付いているのですが、どちらかと言うと導入事例やTips的なものがメインだったので全くDeepではありませんでした。。 内容的には IMでの使われ方(導入事例) ← …

AWS運用における3種の神器

こんにちは。matsです。 IMは膨大な量のデータを扱うビッグデータカンパニーでありますが、それと同時にAWSをゴリゴリつかうオートスケールカンパニー(?)でもあります。 ほぼ全てのサーバをオートスケールによって運用しており、高い対障害性と運用の効率…

mackerelのスクリプトによる監視を使ってみる

こんにちはmatsです。 以前、こんな記事を投稿しました。 http://tech.im-dmp.net/archives/632 強引かつ(´・ω・`)ショボイ方法で監視をしていたのですが、はてなさんが神アップデートをしてくれたので、試したいと思います。 http://help-ja.mackerel.io/entry/c…

PythonでTreasureDataにBulkImportした話

こんにちは、g0eです。 mats氏によって「中の人」の紹介記事が勝手に書かれていることに最近気づきました。javaはもう忘れました。 弊社では各種ローデータの収集や一次加工にTreasureData(以下:TD)を活用しています。 そして、アプリケーションは主にpython…

Elasticsearch勉強会に登壇してきました

こんにちは、matsです。 6/1に行われていた第10回Elasticsearch勉強会に登壇してきました。 内容としては、AWS上にAutoScallingを利用して大規模なクラスターを組んでますよという事例紹介がメインになります。 1.5ヶ月でリリースまで持っていったこともあり…

Aerospikeを採用した話2

こんにちは。社内でApple Watchをイジられているmatsです。 少し前に、 http://tech.im-dmp.net/archives/421 このような記事を書きましたが、今回はその続きになります。 プレスリリースや前回の記事では他社とのID連携の部分にフォーカスしていましたが、…

AzureのWordpressを無料で使い倒す

こんにちは。イマイチ5月病のビッグウェーブに乗り切れていないmatsです。 IMではインフラ基板にAWSを採用していますが、本ブログを含めいくつかのwebサイトではMicrosoft Azureを利用しております。 メインのプロダクト以外は極力マネージドのサービスを利…

Mackerelのカスタムメトリックをechoで取得する

どうもmatsです。 みなさんはサーバの監視は何をお使いでしょうか? IMではリソースの監視にmackerelを、サービス監視にNagiosを採用しております。 100台超のサーバ群を監視するのにmackerekは非常に便利かつ強力なのですが、問題はNagiosです。 IMではほと…

Aerospikeを採用した話

こんにちは。matsです。 先日、このようなプレスリリースを出させて頂きました。 http://prtimes.jp/main/html/rd/p/000000012.000009210.html 今回はその裏側の話をしようかと思います。 Aerospikeを初めて聞く方もいるかと思うので、簡単に説明しておきま…