130 lines
9 KiB
Python
Executable file
130 lines
9 KiB
Python
Executable file
import requests, json, time, re, sqlite3
|
||
import urllib.parse
|
||
|
||
DB_PATH = '/workspace/ecommerce_brands_research.db'
|
||
|
||
def init_db():
|
||
conn = sqlite3.connect(DB_PATH)
|
||
c = conn.cursor()
|
||
c.execute('''
|
||
CREATE TABLE IF NOT EXISTS sources (
|
||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||
title TEXT,
|
||
url TEXT UNIQUE,
|
||
source_type TEXT,
|
||
platform TEXT,
|
||
publication_year TEXT,
|
||
category TEXT,
|
||
summary TEXT,
|
||
entities_mentioned TEXT,
|
||
http_status INTEGER,
|
||
verified_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
|
||
)
|
||
''')
|
||
conn.commit()
|
||
conn.close()
|
||
|
||
def insert_source(title, url, source_type, platform, pub_year, category, summary, entities, http_status=200):
|
||
if not url or not title:
|
||
return False
|
||
url = url.strip()
|
||
title = title.strip()
|
||
conn = sqlite3.connect(DB_PATH)
|
||
c = conn.cursor()
|
||
try:
|
||
c.execute('''
|
||
INSERT OR IGNORE INTO sources
|
||
(title, url, source_type, platform, publication_year, category, summary, entities_mentioned, http_status)
|
||
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
|
||
''', (title, url, source_type, platform, pub_year, category, summary, entities, http_status))
|
||
conn.commit()
|
||
inserted = c.rowcount > 0
|
||
except Exception as e:
|
||
inserted = False
|
||
finally:
|
||
conn.close()
|
||
return inserted
|
||
|
||
def harvest_aparat():
|
||
print("=== STARTING APARAT VIDEO HARVESTING ===")
|
||
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
|
||
|
||
queries = [
|
||
('مصاحبه حمید محمدی دیجی کالا', 'Executive Interview', 'حمید محمدی, دیجی کالا'),
|
||
('مصاحبه سعید محمدی دیجی کالا', 'Executive Interview', 'سعید محمدی, دیجی کالا'),
|
||
('مصاحبه مسعود طباطبایی دیجی کالا', 'Executive Interview', 'مسعود طباطبایی, دیجی کالا'),
|
||
('مصاحبه سهیل مقدم CTO دیجی کالا', 'Executive Interview', 'سهیل مقدم, دیجی کالا, فناوری'),
|
||
('امیرحسن موسوی روابط عمومی دیجی کالا', 'Executive Interview', 'امیرحسن موسوی, دیجی کالا, روابط عمومی'),
|
||
('نیما رسول زاده دیجی کالا', 'Executive Interview', 'نیما رسول زاده, مارکتینگ دیجی کالا'),
|
||
('پویا خاکی دیجی کالا', 'Executive Interview', 'پویا خاکی, بازرگانی دیجی کالا'),
|
||
('سعید رحمانی سرآوا دیجی کالا', 'Executive Interview', 'سعید رحمانی, سرآوا, سرمایه گذاری دیجی کالا'),
|
||
('طبقه ۱۶ دیجی کالا', 'Podcast / Talk', 'طبقه ۱۶, سهیل علوی, مدیران دیجی کالا'),
|
||
('رادیو دست کلید دیجی کالا', 'Podcast / Talk', 'رادیو دست کلید, دیجی کالا, ایکامرس'),
|
||
('کارکسب دیجی کالا', 'Podcast / Talk', 'پادکست کارکسب, ایکامرس, دیجی کالا'),
|
||
('۱۰ صبح دیجی کالا', 'Podcast / Talk', 'پادکست ۱۰ صبح, استارتاپ, دیجی کالا'),
|
||
('پیوست مصاحبه دیجی کالا', 'In-depth Media Analysis', 'ماهنامه پیوست, مصاحبه دیجی کالا'),
|
||
('راه پرداخت مصاحبه دیجی کالا', 'In-depth Media Analysis', 'راه پرداخت, فین تک, دیجی پی, دیجی کالا'),
|
||
('دیجیاتو مصاحبه دیجی کالا', 'In-depth Media Analysis', 'دیجیاتو, اکوسیستم استارتاپی, دیجی کالا'),
|
||
('زومیت بررسی دیجی کالا', 'In-depth Media Analysis', 'زومیت, بررسی کسب و کار دیجی کالا'),
|
||
('دیجی کالا مارکت پلیس', 'Platform Pivots', 'مارکت پلیس, فروشندگان دیجی کالا, پیوت کسب و کار'),
|
||
('دیجی استایل مصاحبه', 'Platform Pivots', 'دیجی استایل, پوشاک آنلاین, ادغام در دیجی کالا'),
|
||
('دیجی کالا جت مصاحبه', 'Platform Pivots', 'دیجی کالا جت, سوپرمارکت آنلاین, تحویل فوری'),
|
||
('فیدیبو دیجی کالا', 'Platform Pivots', 'فیدیبو, کتاب الکترونیک, سرمایه گذاری دیجی کالا'),
|
||
('پیندو دیجی کالا', 'Platform Pivots', 'پیندو, C2C, دیوار, شیپور, آگهی آنلاین'),
|
||
('دیجی پی مصاحبه', 'Platform Pivots', 'دیجی پی, لندتک, BNPL, وام خرید کالا'),
|
||
('ممنوعیت واردات لوازم خانگی اسنوا', 'Regulatory & Legal', 'اسنوا, انتخاب الکترونیک, ممنوعیت واردات, لوازم خانگی'),
|
||
('گلدیران جی پلاس دیجی کالا', 'Brand Case Study', 'گلدیران, جی پلاس, ال جی, دیجی کالا'),
|
||
('مادیران ایکس ویژن دیجی کالا', 'Brand Case Study', 'مادیران, ایکس ویژن, تلویزیون, دیجی کالا'),
|
||
('سام الکترونیک دیجی کالا', 'Brand Case Study', 'سام الکترونیک, سامسونگ, تولید داخلی'),
|
||
('کاله سوپرمارکت دیجی کالا', 'Brand Case Study', 'کاله, گروه سولیکو, دیجی کالا فرش, FMCG'),
|
||
('زر ماکارون فروش آنلاین دیجی کالا', 'Brand Case Study', 'زر ماکارون, فروش آنلاین, مواد غذایی'),
|
||
('میهن دیجی کالا جت', 'Brand Case Study', 'صنایع غذایی میهن, دیجی کالا جت, لبنیات و بستنی'),
|
||
('پاکشو گلرنگ فروش اینترنتی', 'Brand Case Study', 'گروه صنعتی گلرنگ, پاکشو, اکتیو, فروش آنلاین'),
|
||
('سینره لوازم آرایشی دیجی کالا', 'Brand Case Study', 'سینره, طبیعت زنده, محصولات بهداشتی, دیجی کالا'),
|
||
('قاچاق موبایل رجیستری دیجی کالا', 'Regulatory & Legal', 'طرح رجیستری, سامانه همتا, قاچاق موبایل, دیجی کالا'),
|
||
('ممنوعیت واردات آیفون ۱۴ و ۱۵', 'Regulatory & Legal', 'آیفون ۱۴, آیفون ۱۵, ممنوعیت واردات, قاچاق'),
|
||
('کالای تقلبی دیجی کالا', 'Marketplace & Quality', 'کالای تقلبی, نشان غیراصل, اصالت کالا, مارکت پلیس'),
|
||
('تعزیرات احتکار دیجی کالا', 'Regulatory & Legal', 'تعزیرات حکومتی, انبارهای دیجی کالا, اتهام احتکار'),
|
||
('سامانه جامع تجارت دیجی کالا', 'Regulatory & Legal', 'سامانه جامع تجارت, شناسه کالا, کد رهگیری, قاچاق'),
|
||
('دارورسانی آنلاین دیجی کالا', 'Regulatory & Legal', 'سازمان غذا و دارو, فروش آنلاین دارو, دیجی کالا سلامت'),
|
||
('گزارش سالانه دیجی کالا', 'Annual / BI Report', 'گزارش سالانه, آمار فروش, رفتار کاربران, GMV'),
|
||
('رویداد فروشندگان دیجی کالا', 'Marketplace & Quality', 'سلر آکادمی, کمیسیون فروشندگان, همایش فروشندگان')
|
||
]
|
||
|
||
total_added = 0
|
||
for q, cat, ents in queries:
|
||
try:
|
||
url = f'https://www.aparat.com/api/fa/v1/video/video/search/text/{urllib.parse.quote(q)}'
|
||
r = requests.get(url, headers=headers, timeout=8)
|
||
if r.status_code != 200:
|
||
continue
|
||
data = r.json()
|
||
inc = data.get('included', [])
|
||
q_added = 0
|
||
for item in inc:
|
||
attr = item.get('attributes', {})
|
||
uid = attr.get('uid')
|
||
title = attr.get('title')
|
||
sender = attr.get('sender_name', '')
|
||
desc = attr.get('description', '') or ''
|
||
duration = attr.get('duration', '')
|
||
|
||
if uid and title and isinstance(title, str):
|
||
video_url = f'https://www.aparat.com/v/{uid}'
|
||
summary = f"ویدیو منتشر شده توسط {sender}. مدت: {duration} ثانیه. توضیحات: {desc[:200]}"
|
||
year_match = re.search(r'139\d|140\d|201\d|202\d', title + " " + desc)
|
||
pub_year = year_match.group(0) if year_match else "1395-1403"
|
||
|
||
if insert_source(title, video_url, 'Video Interview', 'Aparat', pub_year, cat, summary, ents):
|
||
q_added += 1
|
||
total_added += 1
|
||
print(f"[Aparat] '{q}' -> Added {q_added} new sources. (Total DB: {total_added})")
|
||
time.sleep(0.3)
|
||
except Exception as e:
|
||
print(f"[Aparat] Error for '{q}': {e}")
|
||
|
||
print(f"=== APARAT FINISHED: Added {total_added} unique videos ===")
|
||
|
||
if __name__ == '__main__':
|
||
init_db()
|
||
harvest_aparat()
|