こんにちは!株式会社エイトハンドレッドの原口です。 本記事では大規模データ用の分析環境を構築する際、何を意識したかご紹介したいと思います。 対象読者 どのような課題があったか 何をしたか どの環境を利用したか スコープ外とした作業 連携処理のステップ 実装した連携処理で意識したこと 学び 課題 対象読者 クラウドのサービス連携に興味がある人 これからクラウド上で分析環境とストレージ環境を連携する必要がある人 分析におけるAWSの活用方法を知りたい人 どのような課題があったか 案件で大規模なデータを処理する必要があり(6,000万行弱)、これまで使用していたストレージ環境ではファイルサイズ上限な…