Changeset 158 for calcium/trunk

Show
Ignore:
Timestamp:
02/12/06 19:16:24 (3 years ago)
Author:
dsandler
Message:

Move Coral stuff to a separate file.

Files:

Legend:

Unmodified
Added
Removed
Modified
Copied
Moved

  • calcium/trunk/calcium.py

    r156 r158  
    66from BeautifulSoup import BeautifulSoup 
    77import feedparser 
     8import coralcache 
    89 
    910class Feed: 
    …… 
    1819    opener = urllib2.build_opener() 
    1920    return opener.open(req).read(length) 
     21     
     22def coral_seed(url): 
     23    sys.stdout.write('[%s]' % coralcache.coralize(url)) 
     24    page = urlfetch(coral_url, 1) 
     25    return True 
    2026 
    2127CRAWL_FEEDS = [ 
    …… 
    3339print "Calcium: loaded %d old URLs" % len(links_seen) 
    3440 
    35 def coralize(url): 
    36     parts = list(urlparse.urlsplit(url)) 
    37     if parts[0] != 'http': return False 
    38     parts[1] = '%s.nyud.net:8090' % parts[1] 
    39     coral_url = urlparse.urlunsplit(parts) 
    40     sys.stdout.write('[%s]' % coral_url) 
    41     page = urlfetch(coral_url, 1) 
    42     return True 
    4341 
    4442def feedtree_fetch(url): 
    …… 
    7371                    sys.stdout.write("\n   => Coralizing new URL: %s "  
    7472                            % coral_url) 
    75                     if coralize(coral_url): 
    76                         sys.stdout.write(" (OK)\n") 
    77                     else: 
    78                         sys.stdout.write(" (ERR)\n") 
     73 
     74                    coral_seed(coral_url) 
     75                    sys.stdout.write(" (OK)\n") 
    7976 
    8077                    links_seen[link] = True