【改名】ストックドッグ

金融系の会社で働くSEが株やPython、その他諸々について書いています。システムトレードもやってるよ!

bitFlyerのAPIをPythonで使ってみた

bitFlyerのAPIを使ってみた すごく丁寧なドキュメントなので、本当にわかりやすいです。こちらがAPIの公式ドキュメント。https://lightning.bitflyer.jp/docs?lang=ja&_ga=2.266574860.321189620.1504178349-1321023365.1503200033 bitFlyerのAPIが使えるpyt…

エラーの対処法 chrome not reachable

VPSなどの仮想環境でseleniumを扱っていると、こんなエラーに遭遇しました。 selenium.common.exceptions.WebDriverException: Message: chrome not reachable (Driver info: chromedriver=2.29.461571 (8a88bbe0775e2a23afda0ceaf2ef7ee74e822cc5),platform…

sublime textの環境を整えた for Ubuntu

とてもクールで扱いやすいテキストエディタの1番手「sublime text」 こいつの環境を整えました。sublime textはウェブ系の人からインフラ系の人まで幅広く使われているテキストエディタです。同期のインフラ系のエンジニアもsublime textけっこう使っていて…

システムトレード開始

4月から会社で働きはじめたということもあり、なんだかんだ忙しかった4ヶ月でした。セキュリティの勉強をしたり、金融の勉強をしたり...色々と寄り道はしましたが、今日からシステムトレードを開始しました。 まだテスト段階 しばらく...少なくとも今週は少…

「株も歩けば犬に当たる」改め、「ストックドッグ」

ブログ名がダサいという理由だけで、周りの人にはブログの存在を教えていません。それが改名理由です、しょうもなくてすみません。。。笑

「sudo: pip: コマンドが見つかりません」というエラー

原因はよくわからないが... このエラーは、pipコマンド自体をアップデートしていなかったら現れるようです。 #pip単体でのインストールはエラーは出ないが pip install library #sudoを組み合わせると、エラーが発生 sudo pip install library sudo: pip: コ…

pythonでシェルスクリプト実行(カレントディレクトリ取得したり、cdしたり)

pythonでシェルスクリプト実行をしたい import os os依存のコマンドをこのライブラリで実行することが出来ます。端末(ubuntu)やターミナル(mac)の上でうつコマンドをpythonのプログラムで書けるなかなか汎用性の高いライブラリです。例えば...カレントデ…

独自ドメインを取得しました

独自ドメインを取得しました。いないとは思いますが、URL直打ちで当サイトにお越しの方はURLが変わってしまったので、ご不便おかけします。お気に入り登録派の方は、ドメインサーバーがよしなにやってくれるので特に何も対応はいらないと思います。 サブドメ…

証券外務員一種はトレードに役立つのか!?

目次 証券外務員一種を取得しやした そもそも証券外務員一種ってどんな資格? ちょっと前ですが、合格率はこんな感じ。 ちなみに問題はこんなのが出ます。 証券外務員一種はトレードに役立つのか 最後に。 証券外務員一種を取得しやした 7月はちょいと証券外…

Pythonで画像処理 〜2枚の画像を重ねてみる〜

pythonのライブラリ、pillowを使って、2つの画像を重ねてみたいと思います。重ねる画像はこの2つ。アナログテレビ時代のザザーッって感じのやつ。微妙にこの2つの画像、違います。これを重ねてみます。 以下が重ねるコードです。画像のピクセルを配列に入れ…

パスワードをかけても中身を見られてしまうZIPファイルの脆弱性〜既知平文攻撃〜

目次 ZIPファイルとは 既知平文攻撃 実演 まとめ ZIPファイルとは 主にWindowsで使用されるデータ圧縮フォーマットです。 #ZIPのフォーマットで圧縮されたファイル file.zipデータ圧縮によく使用されるフォーマットで、シンプルな暗号化機能も備えています。…

The Sleuth Kitの使い方メモ

The Sleuth Kitは、ファイルシステム周りの調査をするためのツールです。使い方 fls file.imgこれでfile.imgの中身の一覧を表示してくれる。 icat target.jpg 14 > sample.jpgこれで対象となるファイルを参照。【参考サイト】qiita.com

カーネルパニック(kernel panic)でUbuntuが起動しない問題

慎重にやれとあれほど言ったのに... Ubuntuのアップデートと石橋は叩いて渡れ。愚か者の私が叩かずに渡った結果、カーネルパニック(Kernel panic)が発生しました。 kernel panic not syncing unable to mount root fs on unkonown-block(0,0)こんな素敵な…

リクルートのTalk APIをubuntuとpythonで使ってみた

リクルートがAPIを公開したので使ってみる 今日、こんなハッカソンに参加してきました。(会社以外のエンジニアと交流するのは久々で楽しかったです)www.xn--78j2ayab5gxloexbxg1q.com機械学習 × ハッカソンで、機械学習を使ったWebアプリをチームで作るの…

HTTPリクエストの改ざんをBurp Suiteでやってみた

目次 セキュリティについて少し勉強しました リクエストとレスポンス 使用するツール HTTP通信を使ってるWebサービスないかなぁ 改ざんする手順 はてなの記事を改ざんしてみる まとめ セキュリティについて少し勉強しました 浅い知識なので、メモ程度です。…

Ubuntu16.04にJAVAの開発環境を整える

おそらく一番手っ取り早い方法で、さっさと環境を整える 手順 JREをインストール JDKをインストール 終了 必要最低限を整えて、今日のところは終わります。 JDKとJREは一体何? javaを実行するには、まずコンパイルが必要です。 #javacでコンパイル javac Ja…

base64でエンコードとデコードをしてみる

少しセキュリティについて勉強を。 作ったwebアプリをherokuからVPSへ移行するにあたって、少しセキュリティの知識が必要になりました。何とか移行してサーバーにファイアーウォールを設定して、ポートのhttpとhttpsのポートだけをとりあえず開けましたが、…

ROT13をPythonで実装してみる

目次 目次 ROT13って何? 実装手順 実装してみる このプログラムをじっこうした結果 まとめ ROT13って何? ROT13 または ROT-13、rot13 は単換字式暗号(シーザー暗号)の一つである。アルファベットを一文字毎に13文字後のアルファベットに置き換える。Aは …

seleniumで自動売買 〜SBI証券から自動で株を買ってみる〜

自動売買ってどうやってやるの? アルゴリズムトレードが昨今流行りではありますが。残念ながら日本の証券会社は一般向けに株式売買のAPIは公開されていません。そのため、APIを通してのアルゴリズムによる株の自動売買は現状できません。FXやビットコインは…

環境変数パス(PATH)がよくわからいのでunset $PATHしてみた

Linuxを使用している人なら、いや、WindowsでもOS Xでも、環境変数が何たるかをわかっている人なら、このタイトルのヤバさはわかるはずです。普通に考えたら、絶対にやってはいけないコマンドをうってみました。 そもそもPATHを通すってなんだ? pythonをイ…

conoha(VPS)にanacondaを利用してpython3をインストール

conoha(VPS)にanacondaを利用して、pythonの環境を整えました。最近、ちょっとしたメモ系の記事が多いです、そして今回も。 Anacondaをローカル環境にダウンロード Download Anaconda Now! | Continuum 2秒だけ悩んだのは、どうやってconohaにanacondaの元ソ…

ufwでファイアーウォールを構築

ファイアーウォールを設定する conohaでVPSを借りたので、ファイアーウォールを設定します。今のところガバガバセキュリティなのでよくありません。 ufwで設定 ufwは、Ubuntuのファイアーウォールを設定するためのツールです。このコマンドでufwの状態を確認…

Ubuntuからconoha(VPS)にSSH接続してみる

苦労したよ SSH接続、けっこう詰まったので自分なりにまとめておきます。あと、conohaのサイトは案外サラッとしか書いていないので、自分なりにではありますが設定を行う理由なんかも書いて詳しめの記事にしています。間違っていたらすみません。笑 SSH接続…

seleniumの環境構築と簡単な使い方

今は日曜日の夜2時 環境構築 Youtubeで「YUI」と検索する操作をseleniumを使ってやってみる クリックもできるselenium id要素以外の見つけ方 けっこう簡単だったselenium 今は日曜日の夜2時 早く寝ないと!!明日は仕事なんです。急いで書くのでぶっきらぼう…

隠しファイルの見方

ドット(.)から始まるファイルは通常、lsコマンドをうっても表示することは出来ません。 lsドットから始まるファイルは隠しファイルと呼ばれ、例えば環境変数を格納するために使ったりする.bashrcなどがあります。これらを表示するにはlsコマンドにオプショ…

herokuにルート権限はあるのか?

4月からはもっぱらherokuにつきっきりです。ようやくherokuの全貌をつかめてきた感覚があり、前は読んでもわからなかった記事も少しづつではありますが、理解できるようになってきたところです。今までローカルで動かしていたプログラムを自動プログラムに書…

herokuのタイムゾーンを変更したらAPSchedulerが動いた話

APSchedulerがピクリともしない問題発生 APSchedulerをcron式タイムスケジュールで0:20に命令を実行したいのですが、なぜか0:20になってもピクリともしませんでした。 from apscheduler.schedulers.blocking import BlockingScheduler sched = BlockingSched…

herokuでのスケジュール管理にAPSchedulerを使ってみる

目次 herokuで定期的にファイルを実行したいとき何を使っていますか? cron...? heroku scheduler...? cronよりもheroku schedulerよりAPSchedulerが良い heroku上でAPSchedulerを使ってみる 用意するもの まとめ 参考 herokuで定期的にファイルを実行したい…

herokuのworker dynoとweb dynoの違いって何?

目次 dyno? web dyno worker dyno one-off dyno ログ 使用中のdynoを確認する まとめ dyno? herokuでは、プロセスの処理はdynoによって行われます。プロセスの処理とはHTTPのリクエストやレスポンス、バックグラウンド処理などです。dynoは3種類あり、処理…

cronで定期的にフォルダを作成してみる(Ubuntu 16.04)

色々とcronについて勉強したので、今回はcronで一分毎にTestという名のフォルダを作成するまでやってみようと思います。 cronとは 設定したファイルを定期的に実行させるためのツール crontabに登録されているcronを確認 crontab -e編集等はvimで行うことに…

bootの容量がいっぱいなのに、古いカーネルが消せない問題(ubuntu 16.04)

bootの容量がいっぱいすぎて、新しいカーネルに更新できず、まわりまわって他のソフトウェアもアップデートできないという問題が発生しました。試しにbootの容量を確認してみると... df /bootFilesystem 1K-blocks Used Available Use% Mounted on /dev/sda7…

SQLite3をPandasから操作する

SQL文の操作を覚えるのが面倒...select * from tbl_nameまでが覚えれる限界でした。データの検索・変更などのwhere文等を覚えるのが面倒かつ、逃げ道を見つけてしまったので、逃げ道のほうに行くほかない。ということで、SQLite3のデータをPandasのDataFrame…

PandasのデータをSQLite3で保存する

スクレイピングしたデータをどうすればいいかわからない問題発生 株価データ等をYa〇〇〇ファ〇〇〇〇などからスクレイピングして、今まではCSVファイルでローカルのディレクトリに置いていました。言ってしまえば、スクレイピングして放置状態でした。デー…

Yahooファイナンスの株価予想ページをScrapyでクローリング・スクレイピング

目次 本日やること 必要な環境 なぜscrapy? スクレイピングの流れ Scrapyのインストール Scrapyプロジェクトの作成 Spiderの作成 スクレイピングするサイトを確認 スクレイピングはじまるよー スクレイピング内容をファイルに保存 参考 本日やること Yahoo…

株価の予測精度が60%を超えた

【更新 2017-08-15】 未だによくアクセスがあるので、書いておきます。 この結果が検証したわけではないですが、きっと間違いです。 シミュレーション期間がとても短いこともあって、運が良かっただけのように思います。 検証するのも面倒なので、しませんが…

強化学習で銘柄を選んでみた(検証)

目次 今日やること 強化学習 そもそもn本腕バンディット問題って何? 検証方法 結果 今回のシミュレーションの問題点 非定常環境に対応させたバージョン 今日やること 銘柄選択を強化学習に任せてみよう、ということをお題にシンプルな検証をやってみたいと…

勝機はリスク管理と分散投資にあり!?コツコツドカンはもう嫌だ!

目次 的中率は悪くないのになぜ? 正体はコツコツドカン コツコツドカンを撲滅するために シミュレーションについての説明 売買戦略 リスク管理の方法 分散投資の方法 検証方法 検証期間 シミュレーション結果発表 パターンA 1つの銘柄を購入(リスク管理な…

最強の銘柄を決めようではないか

目次 最強の銘柄はどれだ? 最強の定義 リターンとリスクの求め方 最強の銘柄はこれだ! デンジャラスな冒険銘柄 まとめ 最強の銘柄はどれだ? 粉飾決算発覚、トランプツイート砲、突如現れる空売り勢、常に起こる株式市場での混乱。これらの横風を受けなが…

Pythonで機械学習を使った株価予測のコードを書こう

目次 はじめに 準備するもの 記事の流れ 予測手法 データ収集 前処理 モデルの学習 もう一段ステップアップするには何をしたらいい? まとめ 今回使ったコード はじめに プログラミングを始めたばかりの人、機械学習を使って株価を分析してみたい人、このよ…

クラウドファンディングの成功率ってどのくらい?徹底調査してみた

目次 クラウドファンディングとは? 日本の有名ドコロは? どんなプロジェクトにどのくらいお金が集まっているかを調査します! 調査結果 以上が集計結果でした お金が足りない...はもう言い訳にならない 最後に告知(2回目だけどワクワク) 本記事の調査方…

予測精度向上のための次なる手 〜クラウドファンディングはじめました〜

目次 この記事は前回の続き 前回のシミュレーション結果を踏まえて、熟考と改善を重ねた結果 予測する銘柄数を大幅に減らしました 予測している銘柄少なすぎる問題が発生 シミュレーション結果 いぜん安定せず... クラウドファンディングはじめました おまけ…

機械学習で株価を予測(まとめ) 〜平均予測精度57%〜

過去1年の株価予測シミュレーション結果目次 この記事はまとめ記事です この記事を読んでわかること まず自己紹介 そもそも株価の予測って何?どうやるの? もう少し詳しく 予測手法 決定木についておさらい ランダムフォレストも万能じゃない 説明変数一覧…

1月分の株価予測結果を掲載しました

【目次】 弱くなって戻ってきました 弱くなった原因 問題点 実用には程遠いが株選びの参考にはなる まだまだ改善の余地はある 弱くなって戻ってきました Prediction 〜人工知能による株価の予測〜 https://stockdogi.herokuapp.com/index 予測精度の理論値は…

1月の株価予測を1月頭に出すのは無理

月始めに予測を出さればそれがベストだが... 基準日を設けることにしました これが仕様変更ってやつか 1月10日あたりに今月の株価予測を出せればうれしい 月始めに予測を出さればそれがベストだが... 1月の予測を1月1日に出せれば、シンプルでわかりやすいの…

Prediction -人工知能による株価の予測- というサービスをリリースしました

Prediction -人工知能による株価の予測- どんなサービス? 予測方法 かなりビビってる 多くの困難を乗り越えて... Prediction -人工知能による株価の予測- ↓WebサイトURL https://stockdogi.herokuapp.com/index どんなサービス? 1ヶ月後の株価を予測し、その…

交差検証法の罠

【結論】交差検証法はモデル性能を完璧に測ることはできない まずは交差検証法とは なぜ交差検証法では完璧に測ることができないのか まとめ 【結論】交差検証法はモデル性能を完璧に測ることはできない 交差検証法で出るモデル性能と未知データを与えた時の…

銘柄によって予測精度が異なるようだ

目次 前回の記事の訂正 どうやら銘柄によって予測精度が異なりそう やっぱり説明変数の選択が大事 前回の記事の訂正 doz13189.hatenablog.com前に60%の正答率の株価予測システムでけた〜っと喜んでいたのですが、どうやら糠喜びっぽかったです。検証を重ねた…

正答率53%の株価予測システムできた

目次 釣りタイトルじゃあありません 前回までのあらすじ 結果を先に発表! どうやって予測したのか 仮説:現在の相場と似た相場は高確率で同じ結果になる この結果どう向き合う 釣りタイトルじゃあありません ただ先に謝っておきますが、60%はちょっとだけ盛…

君、過学習してるね...

目次 前回までのあらすじ なんかおかしくない? いや、適当ではない! 君、過学習してるね... 過学習の見極め方 過学習を解消すれば精度が上がったのか 説明変数がよくない。 前回までのあらすじ doz13189.hatenablog.com決定木を使って、明日上がる株価と下…

機械学習で株価は予測できるのか!?

目次 流行ってるなぁ、機械学習で株価予測 予測の精度は53%でした どんな予測の仕方? 決定木の弱点 私なりの弱点の気をつけ方 あとで話すと言った予測結果 じゃあ、これは失敗なのか?機械との付き合い方を考える といいつつも今後工夫する点 流行ってるな…