serverlessconf tokyo

Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤

serverlessconf tokyoに登壇しました

こんにちは。データ基盤の構築、運用をしている山田(@nii_yan)です。

先日開催されたserverlessconf tokyoに参加させていただき、登壇もしてきました。

登壇内容

yu

弊社は来春トリップAIコンシェルジュという商品をリリースする予定です。

こちらは宿に対する「お風呂は何時から入れますか?」などの問い合わせに対し、botが人間の代わりに応答してくれるという商品になっていまして、裏側で機械学習をしています。

今回話した内容はこの機械学習のバッチを動かす基盤についてになります。

Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤

新しい基盤を作る上で1番気をつけたいと思っているところが運用負荷の軽減になります。
なので、極力運用負荷を下げれるような形で今回の設計、開発を行いました。

メインのバッチはETLのバッチと機械学習の2本のバッチとなり、それぞれAWS Batchで動かしています。

そして2つのバッチをつなぐserverlessなpipelineを構築しました。

serverlessな基盤を作る際は、構成管理やモニタリングが複雑になりがちですが、そこら辺をどのように解決したのかも書いてあるので、よかったらご覧ください。

スポンサー

弊社もスポンサーになり、ブース出展を行いました!! sponsor

スポンサーブースではトリップAIコンシェルジュの商品説明をメインに行っていたのですが、登壇内容に対する質問に来てくださる方も大勢いて、色んな方と交流が出来たかなぁと思います。

最後に

serverlessconfでは他の方の発表も色々聞いたのですが、使ってみただけではなく、そこから1歩踏み込んだ発表が多く、とても勉強になりました。

serverlessのサービスは次々と新しいサービスが出てきています。
実際に今回構築した基盤は1年前では到底構築が不可能な基盤でした。serverlessはインフラレイヤーを意識することなく、開発に集中できるので、開発好きの人にはとても向いている技術かなと思っています。

今後もserverlessサービスの動向を追い続け、どんどん取り入れて行きたいと思います。

このようなカンファレンスを開いてくださった主催の吉田さんはじめスタッフの皆様ありがとうございました!

来年も参加したいと思います!!

※スポンサーブースでの打ち上げ uchiage

山田 雄

(データ基盤チーム)

ビックデータおじさん

NEXT