2012年11月14日 星期三
[SQLAlchemy] foreign key constraint 問題
以不delete, SET NULL為例:
1. database level
db.Column(db.Integer, ForeignKey(db.ForeignKey('category.id',ondelete='SET NULL')))
2. pythen level
db.relationship(passive_deletes=True)
2012年5月2日 星期三
[Python][Javascript] Python抓Javascript產生的頁面 (phantomJs)
一向都是用Python的Beautiful Soup來parse網頁,現在出到第四版,更好用文件也好看多了。
幸好有PhantomJS這種東西(headless WebKit with JavaScript API),就可以很方便的用webkit把網頁內容全開出來(跑完javascript)。 既然是javascript,DOM的selector就用jquery吧(page.injectJs("jquery.min.js"))。
from BeautifulSoup import BeautifulSoup改成
from bs4 import BeautifulSoupmethod name也有改,參考。 不過這次遇到的是內容是javascript產生的,如play.google.com,以前可能看一下js的code,學他送http request出去就可抓回來,現在的js越來越複雜,不好搞。
幸好有PhantomJS這種東西(headless WebKit with JavaScript API),就可以很方便的用webkit把網頁內容全開出來(跑完javascript)。 既然是javascript,DOM的selector就用jquery吧(page.injectJs("jquery.min.js"))。
var page = require('webpage').create(), t, address; if (phantom.args.length === 0) { //console.log('Usage: loadspeed.jscommand line執行$ phantomjs my_scrapy.js my_url console.log裡的資料就回跑出來了。 Python裡用commands.getoutput,再json.loads把JSON拆成dict,大改就這樣吧。'); phantom.exit(); } else { address = phantom.args[0]; page.open(address, function (status) { if (status !== 'success') { //console.log('FAIL to load the address'); } else { if (page.injectJs("jquery.min.js")) { //console.log("jQuery loaded..."); } var get_data = page.evaluate(function () { var data = {} data['title'] = $('h1.doc-banner-title').text(); data['content'] = $('#doc-original-text').text(); data['icon'] = $('.doc-banner-icon img').attr('src'); var img_list = [] $('.screenshot-carousel-content-container img').each(function(){ img_list.push($(this).attr('src')) }); data['images'] = img_list return JSON.stringify(data); }); console.log(get_data); phantom.exit(); } }); }
import commands import json out = commands.getoutput(my_cmd) data = json.loads(out)
2012年2月17日 星期五
[Python] 像PHP的associate array一樣初始Dict
Python的dict不能像PHP的associate array一樣"任意給值",當不知道dict有幾維時很麻煩。
有一個defaultdict可以用,只是不好看,哈哈!
ref: collections
有一個defaultdict可以用,只是不好看,哈哈!
cat = {} # 先初始一個dict
for k, v in foo_list:
cat.setdefault(k, []).append(v)
ref: collections
2011年10月23日 星期日
2011年10月14日 星期五
[Python] PyPI實在太常連不到了
pip 0.8.1之後:
舊版pip (Debian 6用的是0.7.2)
或是把mirror資料寫在"~/.pip/pip.conf"裡
via: http://jacobian.org/writing/when-pypi-goes-down/
pip install --use-mirrors $PACKAGE
舊版pip (Debian 6用的是0.7.2)
pip install -i http://d.pypi.python.org/simple $PACKAGE
或是把mirror資料寫在"~/.pip/pip.conf"裡
[global]
index-url = http://d.pypi.python.org/simple
via: http://jacobian.org/writing/when-pypi-goes-down/
2011年10月4日 星期二
Python的dict用某一key排序
有個dict有title和date二個key, 要指定用date來排序:
>>> list = []
>>> list.append({'title':'abc','date':1})
>>> list.append({'title':'def','date':2})
>>> list.append({'title':'ghi','date':0})
>>> print sorted(list, key=lambda x: x['date'])
[{'title': 'ghi', 'date': 0}, {'title': 'abc', 'date': 1}, {'title': 'def', 'date': 2}]
>>> print sorted(list, key=lambda x: x['date'], reverse=True)
[{'title': 'def', 'date': 2}, {'title': 'abc', 'date': 1}, {'title': 'ghi', 'date': 0}]
2007年9月30日 星期日
訂閱:
文章 (Atom)