顯示具有 Python 標籤的文章。 顯示所有文章
顯示具有 Python 標籤的文章。 顯示所有文章

2012年11月14日 星期三

[SQLAlchemy] foreign key constraint 問題


以不delete, SET NULL為例:

1. database level
db.Column(db.Integer, ForeignKey(db.ForeignKey('category.id',ondelete='SET NULL')))

2. pythen level
db.relationship(passive_deletes=True)

2012年5月2日 星期三

[Python][Javascript] Python抓Javascript產生的頁面 (phantomJs)

一向都是用Python的Beautiful Soup來parse網頁,現在出到第四版,更好用文件也好看多了。
from BeautifulSoup import BeautifulSoup
改成
from bs4 import BeautifulSoup
method name也有改,參考。 不過這次遇到的是內容是javascript產生的,如play.google.com,以前可能看一下js的code,學他送http request出去就可抓回來,現在的js越來越複雜,不好搞。
幸好有PhantomJS這種東西(headless WebKit with JavaScript API),就可以很方便的用webkit把網頁內容全開出來(跑完javascript)。 既然是javascript,DOM的selector就用jquery吧(page.injectJs("jquery.min.js"))。
var page = require('webpage').create(),
    t, address;

if (phantom.args.length === 0) {
    //console.log('Usage: loadspeed.js ');
    phantom.exit();
} else {
    address = phantom.args[0];
    page.open(address, function (status) {
        if (status !== 'success') {
            //console.log('FAIL to load the address');
        } else {
          
           if (page.injectJs("jquery.min.js")) {
                //console.log("jQuery loaded...");
            }

            var get_data = page.evaluate(function () {
              var data = {}
              data['title'] = $('h1.doc-banner-title').text();
              data['content'] = $('#doc-original-text').text();
              data['icon'] = $('.doc-banner-icon img').attr('src');
              var img_list = []
              $('.screenshot-carousel-content-container img').each(function(){ img_list.push($(this).attr('src')) });
              data['images'] = img_list

              return JSON.stringify(data);
            });
          console.log(get_data);
          phantom.exit();
        }

    });
}
command line執行$ phantomjs my_scrapy.js my_url console.log裡的資料就回跑出來了。 Python裡用commands.getoutput,再json.loads把JSON拆成dict,大改就這樣吧。
import commands
import json

out = commands.getoutput(my_cmd)
data = json.loads(out)

2012年2月17日 星期五

[Python] 像PHP的associate array一樣初始Dict

Python的dict不能像PHP的associate array一樣"任意給值",當不知道dict有幾維時很麻煩。
有一個defaultdict可以用,只是不好看,哈哈!

cat = {} # 先初始一個dict
for k, v in foo_list:
cat.setdefault(k, []).append(v)


ref: collections

2011年10月23日 星期日

[Slides] PHP之惡, Flask (Python)之優

滿主觀的, 不過可姒參考

http://zakx.de/phprant-en.pdf

2011年10月14日 星期五

[Python] PyPI實在太常連不到了

pip 0.8.1之後:
pip install --use-mirrors $PACKAGE

舊版pip (Debian 6用的是0.7.2)
pip install -i http://d.pypi.python.org/simple $PACKAGE

或是把mirror資料寫在"~/.pip/pip.conf"裡
[global]
index-url = http://d.pypi.python.org/simple


via: http://jacobian.org/writing/when-pypi-goes-down/

2011年10月4日 星期二

Python的dict用某一key排序

有個dict有title和date二個key, 要指定用date來排序:
>>> list = []
>>> list.append({'title':'abc','date':1})
>>> list.append({'title':'def','date':2})
>>> list.append({'title':'ghi','date':0})
>>> print sorted(list, key=lambda x: x['date'])
[{'title': 'ghi', 'date': 0}, {'title': 'abc', 'date': 1}, {'title': 'def', 'date': 2}]
>>> print sorted(list, key=lambda x: x['date'], reverse=True)
[{'title': 'def', 'date': 2}, {'title': 'abc', 'date': 1}, {'title': 'ghi', 'date': 0}]

2007年9月30日 星期日