TornadoとWebSocketとふれあう

前回の↓の記事の続きです。

naari.hatenablog.com

今回はTornadoを使い、WebSocketともふれあいます。

TornadoとWebSocket

WebSocket

WebSocketはHTTPとは違うプロトコルで、HTML5から使えるようになったらしいです。

双方向通信が可能で、Ajaxとは違い、一度コネクションを貼るだけで全てのデータの送受信が可能になります。

Tornado

前回の記事でも書きましたが、TornadoはノンブロッキングなWebフレームワークです。

非同期処理をさせるならTornadoが向いてるので、今回はTornadoでやっていこうと考えました。

今回作るアプリ

今回作ろうと思うものはWebSocketを使ったチャットですが、なんかつまらないので、受信した日本語の文字を形態素解析し、文節ごとに空白を挟んでからみんなに送信するようなものにしたい思います。

コードを書く

こんな感じで書きました。

# -*- coding: utf-8 -*-
import os
import random

from pypugjs.ext.tornado import patch_tornado

import tornado.httpserver
import tornado.ioloop
from tornado import template
import tornado.web
import tornado.websocket
from tornado.web import url

patch_tornado()

from janome.tokenizer import Tokenizer
import json


class IndexHandler(tornado.web.RequestHandler):
    def get(self):
        self.render("index.pug")


class TokenizeHandler(tornado.websocket.WebSocketHandler):

    users = set()

    def open(self):
        self.users.add(self)
        print('Session opened by {}'.format(self.request.remote_ip))

    def on_message(self, message):
        message = json.loads(message)
        t = Tokenizer()
        tokens = t.tokenize(message["text"])
        message["text"] = ""
        for token in tokens:
            message["text"] += "{} ".format(token.surface)
        for user in self.users:
            user.write_message(message)

    def on_close(self):
        self.users.remove(self)
        print('Session closed by {}'.format(self.request.remote_ip))

class Application(tornado.web.Application):
    def __init__(self):
        BASE_DIR = os.path.dirname(os.path.abspath(__file__))
        handlers = [
            url(r'/', IndexHandler, name='index'),
            url(r'/tokenize', TokenizeHandler, name='tokenize'),
        ]
        settings = dict(
            template_path=os.path.join(BASE_DIR, 'templates'),
            static_path=os.path.join(BASE_DIR, 'static'),
            debug=True,
        )
        tornado.web.Application.__init__(self, handlers, **settings)


if __name__ == '__main__':
    app = Application()
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.listen(8000)
    tornado.ioloop.IOLoop.instance().start()

tornado.websocket.WebSocketHandlerを継承している、TokenizeHandlerが今回の主役です。

openメソッドはコネクションが確立したときに発火されるもので、on_messageメソッドはクライアントからのメッセージ受信時、on_closeメソッドはコネクションが閉じられたときに発火されるものです。

ユーザーからのテキストの形態素解析には簡単に使用できて手軽だったJanomeを使用しました。

ailaby.com

ハンドラーの中にusersという集合を設け、コネクションが来たらそのコネクションを追加しています。

誰かの発言を受け取ったところで処理をし、集合の中身をfor文で回して全員にテキストを送っています。

そんなTokenizeHandler/tokenizeで待ち受けておくというコードになっています。

また、write_messagesメソッドなんですが、文字列でないものが渡るとjsonの形になおしてから送ってくれるようです。便利ですね。

これだけです。とても簡単に書くことが出来ました。

あとはこれをクライアント側で受け取るコードを書くのですが、今回は割愛します。あとでgithubリポジトリを貼るので気になる方はそっちで見て下さい。

f:id:naari_3:20161205004034p:plain

おわりに

今回のGithubリポジトリです。Helloworldは前回の分です。

github.com

とても簡単にWebSoketのサーバーを書くことが出来ました。

便利な上にきれいなコードになるTornadoですが、けっこういい印象を持つことが出来ました。

小規模なアプリ開発でもTornado使ってしまっていいんじゃないか?と思えるくらいいい感じです。

他にもTornadoにはログイン処理に関する機能だったり、ログだったり、多機能かつ高機能らしいです。

またいろいろ使ってみてもいいかなーと思えました。

Tornadoとはじめてふれあう

そいえばブラウザを介したWebSocketでの通信ってあまりやってなかったなーと思って、いろいろ調べてるうちにTornadoがよさそうだなと思って、まずはHello Worldからやりました。

Tornadoとは

ここによると、

Apache Licence 2.0に基づくオープンソースのノンブロッキングなWebサーバ&Webフレームワーク

  • ノンブロッキングI/O
  • リアルタイム性
  • シンプルなテンプレート
  • シングルスレッド、シングルプロセス

だそうです。

先程も書きましたが、ノンブロッキングI/Oな感じならばWebSocketにも向いてるんじゃないか?と考え、Tornadoを選んでいます。

インストール

$ pip install tornado

Hello World

# -*- coding: utf-8 -*-
import tornado.ioloop
import tornado.web


class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("Hello, world")


application = tornado.web.Application([
    (r"/", MainHandler),
])

if __name__ == "__main__":
    application.listen(8000)
    tornado.ioloop.IOLoop.instance().start()

そしてhttp://localhost:8000/にアクセスします。

f:id:naari_3:20161204230226p:plain

ハンドラーを継承して書いていくからか、きれいなコードにまとまりました。多分大規模な開発に向いてるんだろうなと思います。flaskやbottleとの違いですね

テンプレートにレンダリング

この前触り始めたばかりですが、僕はPugが好きです。閉じ忘れが無くなったり、見やすくなったりでいいことが多かったです。

なので、テンプレートにはPugを使おうと思います。

pypugjsを使う

$ pip install pypugjs

github.com

PythonでPugをレンダリングするライブラリです。

PyPugJS is a high performance port of PugJS for python, that converts any .pug source to the each Template-language (Django, Jinja2, Mako or Tornado).

さまざまなPythonのWebフレームワークに対応しているようです。

Append this after importing tornado.template

from tornado import template
from pypugjs.ext.tornado import patch_tornado
patch_tornado()

とても手軽にPugを使う準備が出来ました。

実際に使う

書いてみると、こんな感じになりました。

# -*- coding: utf-8 -*-
import os
import time

from pypugjs.ext.tornado import patch_tornado

import tornado.ioloop
import tornado.web

from tornado import template

patch_tornado()


class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.render("index.pug", nowtime=time.time())


application = tornado.web.Application([
    (r"/", MainHandler),
    ],
    template_path=os.path.join(os.getcwd(), "templates"),
    static_path=os.path.join(os.getcwd(), "static"),
)

if __name__ == "__main__":
    application.listen(8000)
    tornado.ioloop.IOLoop.instance().start()
// templates/index.pug
doctype html
html(lang="ja")
  head
    meta(charset="utf-8")
    style(src="{{ static_url('css/style.css') }}")
    title render test
  body
    h1.sitettl Hello World 2
    main.main
      h2.content_ttl あ
      span {{ nowtime }}

{{}} で囲んだ変数名の部分に埋め込まれます。

{{ static_url('file/to/path') }} で静的なファイルの場所を示すことが出来ます。

f:id:naari_3:20161205003928p:plain

まとまった感じがして好印象が持てました。

おわりに

flaskやbottleと違い、ハンドラーを継承して書いていくので、大きなものを作るとしたらとても作りやすそうです。

今回のソースコードはこちらに置いてあります。↓

github.com

次の記事ではTornadoを使い、WebSocketで通信する予定です。

naari.hatenablog.com

pipの9.0.0でた eggが非推奨になりました 他いろいろ

追記

2016/11/08 訳されていなかった文章を訳しました。(pip downloadの追加オプションについての項)

pip 9.0.0

pyenvで新しい仮想環境作ってpip使った時に教えてくれました。
興味あったしどういう変更があったか調べました。

2系とのお別れの日が近づいている

[Distutils] Released: pip v9.0.0

どうやら9.x系がPython2.6に対応する最後のバージョンになるらしいです。

  • The 9.x series will be the last pip versions to support Python 2.6.

更新点一覧

Release Notes — pip 9.0.1 documentation

  • このバージョンより前には後方互換性がなくなります。
    自動検出をしないので、egg使いたい時は#egg=ってちゃんと書かないといけなくなりました。

  • pip install --eggが非推奨なものになった上に、そのうちegg自体の機能が削除されるようになるらしいです。
    eggはpipの他の機能のメリットをぶち壊すようなデメリットをたくさん持ってるから、だそうです。

  • pip checkという、インストールされているパッケージの依存関係をチェックしてくれるコマンドが標準でインストールされるようになりました(PR #3750)。

  • pipコマンドの操作中で既にファイル/ディレクトリが存在する際、ユーザーの操作を中止させることができるオプションが追加されました。

  • Appveyor CIが追加されました。(?)

  • インストールするパッケージが既に存在しているパッケージの場合、既存のパッケージをアンインストールするようになりました(#1548)。

  • pip showのデフォルトの表示がすっきりしました。–verboseオプションをつけるといつもどおりになります。(PR #3858)

$ pip show flask
Name: Flask
Version: 0.11.1
Summary: A microframework based on Werkzeug, Jinja2 and good intentions
Home-page: http://github.com/pallets/flask/
Author: Armin Ronacher
Author-email: armin.ronacher@active-4.com
License: BSD
Location: ふぁいるtoぱす
Requires: click, Werkzeug, Jinja2, itsdangerous
  • pip listのフォーマットに新しいフォーマットcolumnsが追加されました(#3651)。
$ pip list --format columns
Package       Version
------------- -------
click         6.6    
Flask         0.11.1 
itsdangerous  0.24   
Jinja2        2.8    
MarkupSafe    0.23   
mecab-python3 0.7    
pip           9.0.0  
requests      2.11.1 
setuptools    18.2   
Werkzeug      0.11.11
  • また、pip listのデフォルトのフォーマットであるlegacyが非推奨になり、そのうちデフォルトのフォーマットがcolumnsに切り替わるそうです。
$ pip list
DEPRECATION: The default format will switch to columns in the future. You can use --format=legacy (or define a list_format in your pip.conf) to disable this warning.
  • pip list--not-requiredという、依存関係にないもののみを表示するようなオプションが追加されました。
$ pip list --format columns
Package       Version
------------- -------
click         6.6    
Flask         0.11.1 
itsdangerous  0.24   
Jinja2        2.8    
MarkupSafe    0.23   
mecab-python3 0.7    
pip           9.0.0  
requests      2.11.1 
setuptools    18.2   
Werkzeug      0.11.11

$ pip list --format columns --not-required
Package       Version
------------- -------
Flask         0.11.1 
mecab-python3 0.7    
pip           9.0.0  
requests      2.11.1 
setuptools    18.2   
  • ビルド時にシンボリックリンクとかの相対的なファイルパスではなく、os.path.realpathを使った絶対的なファイルパスを使用するようになりました(PR #3701)。(これ訳自信ない)

  • pip freezeの回帰修正: 1つより多い数のgitのremoteがある場合、リモートの名前がoriginのものを優先するようになりました(PR #3708, #3616)。

  • pip freezeした時、おかしい(invalidな)requirementのものがあるときにクラッシュする問題が修正されました(PR #3704, #3681)。

  • 複数のファイルにpip freezeした結果を分割して書き出せるようになりました(PR #3703)。(ここ訳自信ない)

  • pep-503 data-requires-pythonを実装しました。

  • pip wheelがeditable packagesとしても動くようになりました。このおかげでeditable requirementsの場合にpip freezeにwheelの実行結果が使えるようになりました(PR #3695, #3291)。

  • .netrcファイルから証明書(credential)を読み込むようになりました(PR #3715, #3569)。

  • pip download--platform--python-version--implementation--abiが追加されました。
    これらのオプションで、utilitiesとadvanced usersは今pipが動いている環境用ではないディストリビューションを収集することができるようになります(PR #3760)。(訳自信ない)

  • venv/bin/pythonシンボリックリンクを持っていてもvirtual envの環境のスキャンをしなくなりました。

  • fish-shellの補間に対応しました。

  • Windows上のPython2にて、ユーザー名もしくはホスト名がnon-ASCIIな文字を含んでいた時の問題を修正しました(#3463, PR #3970, PR #4000)。

  • git fetch --tagsでtagをfetchするようになりました。ブランチにないコミットまたはタグがrequirementのurlとして指定されたとき用(PR #3791)。(これまじで自信ない)

  • pip showでパッケージ名を正規化するようになりました(#3976)。

  • Requires-Pythonが実行しているPythonのバージョンと食い違っている場合または--ignore-requires-pythonオプションが付けられていない場合Raiseするようになりました(PR #3846)。

  • へんなケース(corner case)でアップグレードを実行した時、正確なインストールされたバージョンを報告するようになりました(#2382)。

  • pip searchにおいて、--index-iという簡略記法を追加しました。

  • 必要に応じてCの依存関係を読み込まないようになりました(#1840, #2930, #3024)。

  • SVNのurlにおいて、認証部分(ユーザーネーム、パスワードの部分)をカットするようになりました(PR #3697, #3209)。

  • --targetオプションをつけることでplatlib内にもインストールするようになりました(PR #3694, #3682)。

  • pip freezeで作成されたrequirements.txtにコメントをつける機能を復元しました(#3680)。(ここ訳自信ない)
    (requirements.txtにコメントできないようにしたものを出来るようになおしたのかもしれないです。)

  • --default-vcsオプションが非推奨になりました(#4052)。

基本的に心配な和訳能力なので、違うような部分がありましたらぜひとも教えていただきたいです。

所感

pipっていつも使ってるものだから、むしろ更新にあまり気を取られなかったけど、今回みたいに更新点とかしっかり把握したほうがより親身になるんだろうなって思いました。

pip listにフォーマットがあること知らなかったし、pip downloadpip showにおいては存在すら知らなかったし、結構勉強になりました。
pip showの便利感がすごい。

あと多分pip list --format=freeze --not-requiredするとrequirements.txtの記述もスッキリするんじゃないかって思いました。それが良いかどうかは置いときます。

CTF for ビギナーズ 2016 東京 自分がやった分 write-up

CTF for ビギナーズ

CTF for ビギナーズは、コンピュータセキュリティ技術を競う競技であるCTF (Capture The Flag) の初心者を対象とした勉強会です。本勉強会では、CTFに必要な知識を学ぶ専門講義と実際に問題に挑戦してCTFを体験してもらう演習を行います。

自分は東京の勉強会に参加してきました。

write-up

フラグは全て ctf4b{EXAMPLE} のような文字列でした。

Warmup

Welcome (10 pts)

問題文にあるフラグが答えでした。

Misc

CountUp Game (200 pts)

[Never say 21 game]
Rule:   1.Count up numbers alternately.
        2.Don't say 21(lose)
        3.When you win to me 10 times continuously, you can get a flag.

ncコマンドで繋げたサーバーと対話し、1,2,3のどれかを入力することができ、10回連続で勝つことができればフラグを取得することができます。

3つまで数字をカウントできるよくやったあのゲームです。

まず必勝法なのですが、今回は後攻でした。このルールの場合、後攻は全てのターンで4の倍数で数え終え続けることができれば必ず勝つことができます。
もっと単純に言うと、4 - 相手の出した数字の数 だけ数えあげれば勝つことができます。

[相手 : 1, 2, 3] [自分 : 4] [相手 : 5, 6] [自分 : 7, 8] [相手 : 9] [自分 : 10, 11, 12] [相手 : 13, 14, 15] [自分 : 16] [相手 : 17, 18] [自分 : 19, 20] [相手 : 21]

今回は10連続勝利ということで、必要な連続勝利回数もそんなに多くなく、自分は自分の手で10回勝ってしまいました。

自分の環境だけかもしれないけど外とネットで繋げなかったからncと繋ぐいい方法を調べられなかった。しっかり準備しておきたい。

You Win!

Congratz! flag is "ctf4b{7h3_51mpl3_numb3r_pl4y}"

てけいさん for ビギナーズ (200 pts)

1桁と1桁の四則演算を100回繰り返す問題でした。

最初はn + m、その後何問目かからn - m、さらに何問目かからはn * mというようになっていました。除算についてはしっかり確認してませんでした。ないかもしれないしあるかもしれない。

これはタイプミスのことを考えると、毎回手計算しているとどこかでミスりそうな気がしたので、Python3でスクリプトを組みました。

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup

url = 'http://172.20.1.30/php_math/index.php'

s = requests.session()

req = s.get(url)
for i in range(103):
    soup = BeautifulSoup(req.text, "lxml")
    atags = soup.findAll("a")
    a0 = int(atags[0].text)
    a1 = int(atags[1].text)
    div = soup.find("div").text
    if "+" in div:
        ans = a0 + a1
    elif "-" in div:
        ans = a0 - a1
    elif "*" in div:
        ans = a0 * a1
    elif "/" in div:
        ans = a0 / a1
    else:
        print(soup)
    print(ans)
    req = s.post(url, data={"answer": ans})

何故100回以上回しているのかについては、100回回した後の挙動がわからなかった(意地悪なことをしてくるかもしれない)ため、-iをつけ実行後にインタラクティブモードに入り、その後の操作で柔軟に対応しようと考えたからです。

あまりよくないかもしれないし、もっといい方法があれば知りたい。

実行すると、100回回した後にエラーが吐き出され、インタラクティブモードに入りました。

>>> soup
<html><body><p>正解flag is ctf4b{85806158171ced5f3ccb7aca56a7a574f6dd8af8}</p></body></html>

Web

Fix it (100 pts)

問題文のURLにブラウザでアクセスすると、「どこかミスっててうまく動かない」みたいなことを言っていました。

chromeのdevtoolsを開き、リクエストに対するレスポンスを見てみると、Locatin:という値があり、そこにアクセスした後のページだったか、その値がフラグでした。

ctf4b{Locatin_is_typo_of_Location}

Can you login as admin? (200 pts)

adminとしてログインすることが目標の問題でした。

よく見かけるような簡単なSQLインジェクションのようでした。

クエリ文を直接.で繋げている?のかはわかりませんが、ID: adminPASS: ' or 1 = 1 'で通りました。

FLAG is ctf4b{SQLiNjec7ion_foR_beGInNer}

1M4G3 V13W3R (200 pts)

画像のアップローダーがあり、

  • 画像をアップロードすること
  • 画像を閲覧すること

ができるWebサービスが題材の、典型的なディレクトリトラバーサルの問題でした。

画像をクリックすると、http://172.20.1.60:31337/web200-2/view.php?file=b452a2840a43b8f3.jpgのような形のアドレスに飛び、画像が表示されます。

本日の勉強会で習ったように、とりあえずindex.phpを表示させようとしました。

http://172.20.1.60:31337/web200-2/view.php?file=../index.php

すると、思惑通りindex.phpの内容が表示された気がして、たしかフラグが表示されたと思います。

ctf4b{path_trav3rsal_1s_the_r3al_fun}

Binary

Plain (100 pts)

Plainという名前からして、stringsだろうなと思い、かけてみるとフラグが出てきました。

$ strings ./bin100

反省

f:id:naari_3:20161022225446p:plain

合計で1010点でした。

f:id:naari_3:20161022225345p:plain

順位表では21位で、18位の方まで1010点だったので、そんなかんじです。

Forensicsの分野を1問も解けませんでした。 Find key1に関しては、一番上と一番下のフラグが偽物っぽかったので、似ているhttpリクエスト全てを偽物だと判断してしまいました。 Find key2は、zipファイルの取り出しまではできたのですが、その後2.pcapの中での立ち振舞いがクソでした。

運営の方がくれたwrite-upが素敵でした。

また、binaryのPlainの解説をしたので本をもらいました。

デバッガによるx86プログラム解析入門【x64対応版】

デバッガによるx86プログラム解析入門【x64対応版】

最近CTFを初めた自分にとって、基礎固め的な意味でとてもいい勉強会でした。

次はSECCONのオンライン予選です。記念として参加しようと思っています。チームメンバーがいないので誰か一緒に出ましょう。

Androidアプリ開発処女膜を破る その1 環境を整える

動機

僕はたまに電車にのるのですが、毎回と言っていいほど頻繁に乗り過ごしてしまいます。

これが遊びに行く程度の用事なので乗り過ごしても何の損害もないのですが、もし将来自分がどこかの社員になっていたとして、そのまま乗り過ごして何かに遅刻するのはとても大変です。

余裕を持って出ればいいじゃないかと言われたこともありますが、生憎僕は先のことを考えずに今を大事にしてしまう人間なので、そんなことは「できたらいいな」程度にしか思えていません。

おそらくは僕が欠陥しているのだとは思いますが、そうだとしたらそれこそ何の打つ手もなくなってしまい困っています。

しかし、僕はパソコンを持っており、幸いスマートフォンも持っています。

つまり、自分で解決する手段を作ることが出来るわけです。

スマートフォンは本当に便利で、内蔵されたGPSを使えば地球上のどこにいるかが判別できるのです。
こんな便利なものだったら使わない他ないでしょう。

早速作っていこうと思います。

開発環境を整える

とは言っても何の準備もできていないので、まずは準備から始めます。

MacにAndroidStudioをインストール(update)する - Qiita

以上。

コードを書きはじめる一歩手前まで

Android Studioを起動し、New Projectをクリックしたところで、手が止まってしまった。

Application Nameは「GPS Notifier」でいいとして、Company Domainとは、、、?

パッケージ名

Javaのコードを書いた経験というのは、ほんの少ししかなく、既にこの時点で止まってしまいました。

調べてみると、どうやら

といった意味合いでCompany Domainの入力を求められていたようです。

しかし、僕は自分のドメインを持っていません。

が、ユニークになればいいので、それなりに適当な文字列を入れておくことにしましょう。

f:id:naari_3:20160923032546p:plain

Rendering Problems

次に進み、APIのレベルは自分の持っている全ての端末の最低条件であるAPI 19(4.4)にしてみます。
よくわかってないので、もしかしたら不都合が生まれるかもしれないです。

次に出てきた初期テンプレートみたいなものは一番シンプルそうなものを選びました。

これでようやくコードが書ける状態になりました。

と思いきや、何やらエラーが起きていました。

f:id:naari_3:20160923033221p:plain

Rendering Problems
Android N requires the IDE to be running with Java 1.8 or later
[Install a supported JDK](https://developer.android.com/preview/setup-sdk.html#java8)

要素?を配置する画面のレンダリングで失敗したらしいです。

Install a supported JDKをクリックすると、なんと404エラーのページに飛ばされました。

めんどくさくなったのでちょっと考えたのですが、今回は別にAndroid Nの事を考慮しなくてもいいのではないか?ということで、レンダリングを24(N向け)ではなく、22(多分M向け)まで下げてみました。

f:id:naari_3:20160923033732p:plain

どうやら上手くいったようで、それっぽい画面が描画されました。

次回からはコードを書いていきます。

寝られない時の

まず寝る前にレッドブルモンスターエナジーを飲むのは本当に辞めてくれ

 

寝てない場合、例外なく出発準備前に眠くなる

 

出発準備をしてしまえば動ける

 

風邪を引いた時、ほんとに寝てない時はやすめ

 

3連休で睡眠バランスを崩したら、24時間以上起きたりして無理やり寝る時間を整えろ

 

1時間だけの睡眠がすごくいい感じになる