2018-01-01から1年間の記事一覧

前処理18本ノック

いろいろ前処理で泣きそうになりながらやってきた証をここに記す(お墓みたいだな・・・) 前処理X本ノックとあるがこのXの数は随時増える予定。 bash 1. csvの連結 2. テキストファイルの分割 3. csvの不要列を削除 4. csvの不要行を削除 5. tsvをcsvに変換…

コンサル寄りのデータサイエンティスト(自称)によるmac環境整備

調教…!調教…! データサイエンティストならずとも、 プログラムを書く人にとってPCは神聖なるツールで、 買ったばかりのものは調教し無くてはならないかと思います。 (神聖なものは調教しないといけないという価値観) 私はvimやemacsの宗教戦争に巻き込ま…

SBI証券口座の資産残高を自動で取得する(python & selenium)〜selenium基礎編〜

資産がいくらあるのかを毎回確認するのはめんどくさい みなさん、自分の口座においくら入ってますか?? …と問われたときにパッと答えられる人はなかなかいませんし、私も5桁円以下は全く覚えてません。 というか外貨もあるので、レートとか考えなきゃいけ…

macbook air(2018)買いました〜17年ぶりのmac開封の儀でおふざけ〜

…! ズズズ…! バーンッ! このマックではありません。 いや、買ったものですが。 (美味しくいただきました。) 買ったのはマックのホットアップルパイでもなく、 ラズベリーパイでもなく、 Raspberry Pi3 Model B ボード&ケースセット 3ple Decker対応 (C…

よくわからずmodel.compile(loss='binary_crossentropy',xxx...)している方むけのcross entropy入門

私です すみません、出落ちです。 (adsbygoogle = window.adsbygoogle || []).push({ google_ad_client: "ca-pub-6404589633988620", enable_page_level_ads: true }); 私のようなコピペプログラマにとって、 他人が書いたソースコードを適当に自分用に変数…

juliaで単純パーセプトロンをライブラリを使わずに実装(を多少きれいに)

juliaで単純パーセプトロンを実装した例が僕の日本語ググり力では見つからなかったので、 こちらに多少きれいにまとめておく。 julia初心者過ぎてclassとかの作り方が不明(moduleをどうやら使うらしい)なので、 関数のみ!関数、バンザイ…!only function! n…

単純パーセプトロンの学習python vs julia

juliaで単純パーセプトロン 特にやる理由もなかったんですが、 前回単純パーセプトロンをpythonで構築したんで、その比較ついでにjuliaでも実装。 (adsbygoogle = window.adsbygoogle || []).push({ google_ad_client: "ca-pub-6404589633988620", enable_pa…

単純パーセプトロンの学習を可視化してみる

結局DLって何やってるのよ、の復習、の前段 東大松尾研のDL研修を受け、 今までのコピペプログラマから脱却し、 数式から学んで自分でDLのライブラリが書けるレベルになったぜ! …と思いいざ改めて書こうとするとキーボードが全く動かない。あるある。 (adsb…

juliaの速度を試してみる(vs python)

pythonが遅くてイライラするあなたへ pythonっていうかscript言語全般、for文おっせーよな!(湯川専務が聞いている風) ってか動的型付けなんて速度出るわけねーよな! って思ってる方はたくさんいるかと思いますし、 それを克服したjulia言語が速いってこ…

pythonからpostgresqlにsqlファイルを実行しまくる

sqlファイルを全部処理したい postgresqlにsqlを順番に実行したいとき、一々一個ずつ実行するのはだるいですよね。 まとめて実行するプログラムを書きました。 PostgreSQL徹底入門 第3版作者: 笠原辰仁,北川俊広,坂井潔,坂本昌彦,佐藤友章,石井達夫出版社/メ…

numpyでオーグメンテーションその1 flip

画像のオーグメンテーションでのnumpyを使えばflipが一行で出来るのを知らない人がいたので紹介。 a = np.zeros(5*5).reshape(1,5,5) a[0,1,1] = 1 # vertical flip a = np.append(a,a[:,::-1,:],axis=0) # horizon flip a = np.append(a,a[:,:,::-1],axis=0…

pandasでgroupby.XXX()の結果をdataframeに再投入する

SQLの集計関数結果をテーブルにつっこむ、みたいな SQLでよくこんな処理をするのではないだろうか。 create table 集計結果 as select 集計キー ,count() as カウント from 元データ group by 集計キー な感じで集計結果をテーブルにつこむ処理。 集計の中間…

raspberry pi でカメラ自動撮影&自動送信アプリを作る

子供の写真を自動で返してもらう みなさんご存知のraspberry piで遊んでみました。 今回はこのバージョンでの動作確認を行ってます。 Raspberry Pi3 Model B ボード&ケースセット 3ple Decker対応 (Clear)-Physical Computing Lab出版社/メーカー: TechShar…

pythonでfrom to形式の時間を分単位で展開する

pythonで時間展開してみる こんなデータがあったとして、 from_time : 2018/3/30 20:00:05 to_time : 2018/3/30 20:05:10 こんなふうに展開したい 2018/3/30 20:00:00 2018/3/30 20:01:00 2018/3/30 20:02:00 2018/3/30 20:03:00 2018/3/30 20:04:00 2018/3/…

blog移行

こちら↓でazureでwordpressの運用をしていたけれども、 無料の容量制限にひっかかりそうなので、はてブに移行します。 kazuhitogo.azurewebsites.net やったね! <script async src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script><script> (adsbygoogle = window.adsbygoogle || []).push({ google_ad_client: "ca-pub-6404589633988…

モンティ・ホール問題をシミュレーションしてみる

モンティ・ホール問題 こんなのを読んでたら、モンティ・ホール問題なんてのがあったので それをpythonシミュレータを作ってやってみた。 モンティ・ホール問題とは詳しくはこちら 下記引用 1.ドアが3つあります 2.その中に 当りが1つ、ハズレが2つ …