新卒3年目である2019年11月に転職をしてから8ヶ月程経ちました いわゆる、「転職エントリ」というものは転職が決まった直後であったり、実際に退職をするあたりで書かれることが多いように思いますが、転職して8ヶ月という今更感半端ない転職エントリという…
最近AWSをいじり始めてみてるので、まずはS3のアクセス制限から備忘録としてまとめてみたいと思います。 やりたいこと AWS S3に格納されているオブジェクトを、特定のIPからのみアクセスできるようにしたい 今回説明する方法をもとに様々な方法でアクセス制…
今回は、dockerのmulti stage buildとやらを紹介したいと思います。 (※この機能は、Docker 17.05以降のversionで使用できます。) multi stage buildとは いつ使うのか なぜ使うのか 使い方 single stage build multi stage build イメージサイズの比較 おま…
最近、大規模分散処理について学ぼうという機運が高まっており、Hadoopについて学んでいるのでその備忘録です。(勉強を始めたばかりなので、間違っていることもあるかもしれませんが、その場合は指摘していただけると嬉しいです) 今回は、MapReduceに関する…
コードを書く時だったり、コードレビューをする時にラムダ式を見かけることがちょくちょくあるのですが、毎回こんな感じだろうなって感じで曖昧な理解のままで素通りしていたので、今回はラムダ式をちゃんと理解しようということで、まとめてみました。 ラム…
Hadoopとは？ どのようにデータを管理しているのか サーバーに障害が起こった場合は？ DataNodeに障害が起こった場合 NameNodeに障害が起こった場合 HDFSのメリット・デメリット メリット デメリット 最後に 参考 Hadoopとは？ HDFSとはHadoopで採用されてい…
Courseraのdeep learningに特化したコースを修了したので、備忘録もかねてどのようなことを学んだのか、どのような点がおススメかということについて、紹介していきたいと思います www.coursera.org deep learning specializationの概要 deep learningに特化…
Chart.jsのvue用のラッパーであるvue-chartjsを使って、いろんなグラフを書いてみたので、その簡単な使い方と詰まったところを紹介したいと思います 実装はgithubに公開してあります github.com 完成イメージはこんな感じです 完成イメージ コンポーネント構…
今回は自分の勉強がてら、物体検出アルゴリズムとして有名なYOLOについて簡単に紹介したいと思います YOLOとは CNNについて 物体検出に基本的なCNNを適用してみる YOLOの仕組み まとめ 参考 YOLOとは YOLOとはリアルタイム物体検出アルゴリズムで、「You onl…
画像データを水増しするときに、kerasのImageDataGeneratorとやらを使うと以下のような感じで簡単に水増しできたので、今回はそれについて紹介していきます 画像の読み込み データ拡張 もう少し遊んでみる 参考 画像の読み込み まずは画像の読み込みを行いま…
分類問題の評価をするときにROC曲線をよく使うと思うんですが、それの縦軸ってなんだっけ？とかなってしまいがちなので、備忘録としてROC曲線について紹介していきます ROC曲線を評価する指標としてAUCというのもあるので、それも合わせてまとめていきます R…
recall, precision, accuracy F値など機械学習モデルの評価尺度はいろいろあるのですが、どれがどれだかよくわからなくなってしまうのでまとめてみました 今回は1か0を予測する問題について考えたいと思います ※正例は1とします はじめに 各評価指標の解説 a…
備忘録としてgitでよく使うコマンドをユースケースごとに紹介したいと思います 随時アップデートしていく予定です ※本記事で紹介しているコマンドで事故ったとしても責任は負えないので、自己責任で参考程度にお使いいただければと思います 変更をremoteに反…
データ分析とかを行うときにjupyter notebookをよく使うと思うんですが、それをgitで簡単に管理できるようにするjupytextなるものを知ったので、備忘録としてまとめてみたいと思います。
docker-composeの使い方について、備忘録として簡単にまとめておきます。
jupyter notebookから上位階層にあるモジュールをimportするときに、通常のpythonファイルのようにはいかなかったので、その解決方法を紹介します
