Git 強制pull

git pull時出現 error: Untracked working tree file 'foo.bar' would be overwritten by merge. Aborting

git fetch --all
git reset --hard origin/master

ref: http://stackoverflow.com/questions/1125968/force-git-to-overwrite-local-files-on-pull

[Python][Javascript] Python抓Javascript產生的頁面 (phantomJs)

一向都是用Python的Beautiful Soup來parse網頁，現在出到第四版，更好用文件也好看多了。

from BeautifulSoup import BeautifulSoup

改成

from bs4 import BeautifulSoup

method name也有改，參考。 不過這次遇到的是內容是javascript產生的，如play.google.com，以前可能看一下js的code，學他送http request出去就可抓回來，現在的js越來越複雜，不好搞。
幸好有PhantomJS這種東西(headless WebKit with JavaScript API)，就可以很方便的用webkit把網頁內容全開出來(跑完javascript)。 既然是javascript，DOM的selector就用jquery吧(page.injectJs("jquery.min.js"))。

var page = require('webpage').create(),
    t, address;

if (phantom.args.length === 0) {
    //console.log('Usage: loadspeed.js ');
    phantom.exit();
} else {
    address = phantom.args[0];
    page.open(address, function (status) {
        if (status !== 'success') {
            //console.log('FAIL to load the address');
        } else {
          
           if (page.injectJs("jquery.min.js")) {
                //console.log("jQuery loaded...");
            }

            var get_data = page.evaluate(function () {
              var data = {}
              data['title'] = $('h1.doc-banner-title').text();
              data['content'] = $('#doc-original-text').text();
              data['icon'] = $('.doc-banner-icon img').attr('src');
              var img_list = []
              $('.screenshot-carousel-content-container img').each(function(){ img_list.push($(this).attr('src')) });
              data['images'] = img_list

              return JSON.stringify(data);
            });
          console.log(get_data);
          phantom.exit();
        }

    });
}

command line執行$ phantomjs my_scrapy.js my_url console.log裡的資料就回跑出來了。 Python裡用commands.getoutput，再json.loads把JSON拆成dict，大改就這樣吧。

import commands
import json

out = commands.getoutput(my_cmd)
data = json.loads(out)

[Flask] multiple file input 上傳多檔案

這個害我傷腦筋好久，Flask處裡form的post，透過Werkzeug處理，如果是單一name，用request.values()(串列list)或request.form(dict)，就可以抓到。如過是多重name，如：

<input name="animal" type="checkbox" value="lion" />
<input name="animal" type="checkbox" value="tiger" />

就要用request.form.getlist('animal')取的list。

檔案上傳:

<input name="icon[]" type="file" />

就要用request.files，是一個werkzeug自定的ImmutableMultiDict。 如果是同一個name的多檔案(input array)

<input name="image[]" type="file" />
<input name="image[]" type="file" />

request.files裡有值，但是用for j in request.files:同一個input name只能抓第一個出來，有人說：Flask-WTF的FileField可以解決(沒試過)。後來去看了Werkzeug的原始碼:

class MultiDict
...
def iteritems
...

學他用

for key, values in dict.iteritems(request.files):
     for value in values:
         print key, value

就可以了。