ニシキヘビってかわいいよね、実際みたことないけど。

無職がいよかん国でプログラミングとかの備忘録を書いてます。 一日一食たまごかけごはん。

MongoDB コレクションごとの圧縮方法を変更しなおす

某動画サイトの動画情報を定期的に集める簡単なWebクローラーを作って、 クローリングしたWebページのスクラップ前(ダウンロードしたままのXMLとかHTMLとか)データをそのままと、 情報をスクラップしてjsonにしたものをMongoDBに保存している。 2回目のクロ…

けものフレンズ1話のニコニコ動画コメント数推移で去年を振り返ってみる。

私は過去の思い出に引きずられやすい人間です。

Ubuntu16.04にNYSOLのminingパッケージを用意するメモ

おとしだま。

TornadoのApplicationRouterで例外が出たら

tornado.testingでの単体テスト中、ドツボにハマったのでメモ。 Failure Traceback (most recent call last): """前略""" line 62, in create_app app = Application(handlers, debug=debug) File "/home/nyanmao/python35_vir_env/lib/python3.5/site-packa…

TornadoでJSONを吐くAPI作るときにつかうことあれこれ

久しぶりにコード書くと、細かいところが思い出せない......

pythonでUUIDを扱う

データベースのプライマリキーにしたかったので。 そして案の定、いつもググってる気がするので。

Google翻訳の翻訳元テキストボックスにコピペした時改行を整形するブックマークレット

書籍や論文などが書かれたPDFから英文をコピペすると、文中に存在するPDFの改行もコピペされるので、 Google翻訳が改行位置を文の区切りと判断し、妙な結果がでることがある。 手直ししてるとめんどくさいので、自動で修正を行うブックマークレットを作って…

DVWAでOSコマンドインジェクション

注入つながりで、SQLインジェクションの次はOSコマンドインジェクションを試す。

DVWAでブラインドSQLインジェクションを試す

つづいた。タイトルのまんまです。

DVWAでSQLインジェクションを試す

タイトルのまんま。 このくらいなら有名ですし、どんな手順で学べばよいかウォームアップになるので。

DVWAのセットアップ

DVWAは脆弱性を体験できるWebアプリケーションです。 Damn Vulnerable Web Applicationの略です。 めちゃくちゃ脆弱なウェブアプリ、火の玉直球な名前ですね。 実際のコードを見て勉強したくなったので、探してたらありました。 環境構築した時のメモ書き。

SSHポートフォワーディング

いつも本見たりgoogleしたり--helpしたりしてるので ssh -L [sshクライアント側で利用するポート]:[sshサーバからみて通信したいホスト名]:[通信したいホストにある通信したいポート] その他オプション 例えば ssh -L 8989:localhost:8888 remote.server で,…

SVGのプロパティがつかえない時はnamaspaceが設定されているか確認する

こんなHTML(一部分)があって <div id="svg_wrapper"></div> 動的にSVG要素を用意していた var svg = document.createElementNS('http://www.w3.org/2000/svg', 'svg'); var poly = document.createElementNS('http://www.w3.org/2000/svg', 'polygon'); // 中略 svg.appendChild(poly); v…

wgetコマンドでApacheのファイル一覧以下のファイルをダウンロード

wget -e robots=no -i server.list -nc -S -w 10 --random-wait -r -A pdf -np 以下、メモ書き。 -e: `.wgetrc'形式のコマンドを実行。 このコマンドでrobots.txtを読みに行かない。 -i:ファイルに書かれたURLよりダウンロードを行う。 ファイルは1行ごとにU…

ワンライナーでauth.logからsshdのアクセス元ip抽出

ちょっと用事ができたので。 grep -oP '.*sshd.*(\d{1,3}\.){3}\d{1,3}.*' /var/log/auth.log | sed -E "s/^.*sshd\[([0-9]+)\]:.* (([0-9]{1,3}\.){3}[0-9]{1,3}).*$/\1 \2/g" | uniq grepでipが書かれてるっぽいsshdのログ行を抽出して、sedでログ番号とip…

日本語WordNet(sqlite版)の中身メモ

タイトルのまんまです。

Pythonで値の数え上げと速度比較

時間が空いたらやってみたかった自然言語処理100本ノックをしてます。 問83を愚直に実装して、処理速度とメモリ空間の消費に苦しみました() その時の単語数の数え上げで、処理が早いのはどのような方法か気になったので調べてみました。

iptablesでログを保存せずに破棄しても良さそうなポートとかを調べてみた

引越前に一旦実家に帰って自分の部屋を見てみると、物置部屋化してました。さもありなん。 実家の部屋の掃除をしてると、VPSのログ掃除もしたくなりました。 今のiptablesの設定では、送信元が * ブロードキャストアドレス * マルチキャストアドレス * マイ…

ボカロ楽曲の検索サービス(アルファ版)作りました。

VOCALOID MINING NII・IDRで提供されているニコニコデータセットを利用した、ボーカロイド楽曲の検索サービスです。 大学3回生の時に自分で遊ぶ用、兼、卒業研究の受講資格用に作ったアプリを転職時の面接ネタのために公開したくなったので、すごい大雑把に…

Closure Compiler ADVANCED最適化のためのプロパティアクセス方法変更で忘れがちなところ

JavaScriptを外部公開するにあたって、TODOとか妙なコメントや若干怪文書めいてるJSDocを消したいわけで、そういうものがないか探していると、 それ以外にもファイル連結、コード圧縮や難読化を行うminifyと呼ばれることをするツールがあるようですね。 いろ…

apacheやっつけ設定

CentOS 7.2, Apache2.4.6 【httpd.conf】 ServerAdmin にメールアドレスを書いておく /var/www/html以外で「Require all granted」 となっているところがあったら一旦全部コメントアウト /で 「Require all denied」 が設定されていることを確認 ディレクト…

iptablesのノリでfirewalldをつかう

サーバー周りとかむりぃ... しかもファイアウォールなんかfirewalldに変わってから触ったことないしむりぃ... とか思いながら,RadHatカスタマーポータルの「4.5.14.6. ダイレクトインターフェイスの使用」を見てたら,iptablesみたいな使い方できるっぽいこと…

zabbixインストールでテーブルを作成するときの注意

(pythonの)fabricでzabbixのインストールをしようとして # データベース初期設定 path_to_init_sql = "/usr/share/doc/zabbix-server-mysql-*/create/" for file_name in ["data.sql", "schema.sql", "images.sql", ]: run("mysql -u root -p zabbix < "+pat…

Amazonアソシエイトに登録してはてなブログに貼り付けるまで

広告収入で月に1回宅配ピザを食べたいです。 画像投稿の練習も兼ねて。 まず、管理画面の「アカウント設定」から項目「Amazon アソシエイトID」の「変更する」をクリック。 こんな画面にとびます。項目「Amazon アソシエイトID」の「取得方法」をクリック。 …

gensimのLdaModel実行時に「too few updates ~」 と怒られた時

投稿の練習,昨日Qiitaで書いたやつ. なんすかこれ... passesかiterationsをいじればいいっぽいけど 数値計算のパラメタ調整とか中身知らないので本当に怖い. model_lda = LdaModel(corpus=corpus, num_topics=30, id2word=corpus.id2word) WARNING:gensim.mo…