hamed-dashboards/dashboards/ecommerce/harvest_aparat.py

130 lines
9 KiB
Python
Executable file
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

import requests, json, time, re, sqlite3
import urllib.parse
DB_PATH = '/workspace/ecommerce_brands_research.db'
def init_db():
conn = sqlite3.connect(DB_PATH)
c = conn.cursor()
c.execute('''
CREATE TABLE IF NOT EXISTS sources (
id INTEGER PRIMARY KEY AUTOINCREMENT,
title TEXT,
url TEXT UNIQUE,
source_type TEXT,
platform TEXT,
publication_year TEXT,
category TEXT,
summary TEXT,
entities_mentioned TEXT,
http_status INTEGER,
verified_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
)
''')
conn.commit()
conn.close()
def insert_source(title, url, source_type, platform, pub_year, category, summary, entities, http_status=200):
if not url or not title:
return False
url = url.strip()
title = title.strip()
conn = sqlite3.connect(DB_PATH)
c = conn.cursor()
try:
c.execute('''
INSERT OR IGNORE INTO sources
(title, url, source_type, platform, publication_year, category, summary, entities_mentioned, http_status)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
''', (title, url, source_type, platform, pub_year, category, summary, entities, http_status))
conn.commit()
inserted = c.rowcount > 0
except Exception as e:
inserted = False
finally:
conn.close()
return inserted
def harvest_aparat():
print("=== STARTING APARAT VIDEO HARVESTING ===")
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
queries = [
('مصاحبه حمید محمدی دیجی کالا', 'Executive Interview', 'حمید محمدی, دیجی کالا'),
('مصاحبه سعید محمدی دیجی کالا', 'Executive Interview', 'سعید محمدی, دیجی کالا'),
('مصاحبه مسعود طباطبایی دیجی کالا', 'Executive Interview', 'مسعود طباطبایی, دیجی کالا'),
('مصاحبه سهیل مقدم CTO دیجی کالا', 'Executive Interview', 'سهیل مقدم, دیجی کالا, فناوری'),
('امیرحسن موسوی روابط عمومی دیجی کالا', 'Executive Interview', 'امیرحسن موسوی, دیجی کالا, روابط عمومی'),
('نیما رسول زاده دیجی کالا', 'Executive Interview', 'نیما رسول زاده, مارکتینگ دیجی کالا'),
('پویا خاکی دیجی کالا', 'Executive Interview', 'پویا خاکی, بازرگانی دیجی کالا'),
('سعید رحمانی سرآوا دیجی کالا', 'Executive Interview', 'سعید رحمانی, سرآوا, سرمایه گذاری دیجی کالا'),
('طبقه ۱۶ دیجی کالا', 'Podcast / Talk', 'طبقه ۱۶, سهیل علوی, مدیران دیجی کالا'),
('رادیو دست کلید دیجی کالا', 'Podcast / Talk', 'رادیو دست کلید, دیجی کالا, ایکامرس'),
('کارکسب دیجی کالا', 'Podcast / Talk', 'پادکست کارکسب, ایکامرس, دیجی کالا'),
('۱۰ صبح دیجی کالا', 'Podcast / Talk', 'پادکست ۱۰ صبح, استارتاپ, دیجی کالا'),
('پیوست مصاحبه دیجی کالا', 'In-depth Media Analysis', 'ماهنامه پیوست, مصاحبه دیجی کالا'),
('راه پرداخت مصاحبه دیجی کالا', 'In-depth Media Analysis', 'راه پرداخت, فین تک, دیجی پی, دیجی کالا'),
('دیجیاتو مصاحبه دیجی کالا', 'In-depth Media Analysis', 'دیجیاتو, اکوسیستم استارتاپی, دیجی کالا'),
('زومیت بررسی دیجی کالا', 'In-depth Media Analysis', 'زومیت, بررسی کسب و کار دیجی کالا'),
('دیجی کالا مارکت پلیس', 'Platform Pivots', 'مارکت پلیس, فروشندگان دیجی کالا, پیوت کسب و کار'),
('دیجی استایل مصاحبه', 'Platform Pivots', 'دیجی استایل, پوشاک آنلاین, ادغام در دیجی کالا'),
('دیجی کالا جت مصاحبه', 'Platform Pivots', 'دیجی کالا جت, سوپرمارکت آنلاین, تحویل فوری'),
('فیدیبو دیجی کالا', 'Platform Pivots', 'فیدیبو, کتاب الکترونیک, سرمایه گذاری دیجی کالا'),
('پیندو دیجی کالا', 'Platform Pivots', 'پیندو, C2C, دیوار, شیپور, آگهی آنلاین'),
('دیجی پی مصاحبه', 'Platform Pivots', 'دیجی پی, لندتک, BNPL, وام خرید کالا'),
('ممنوعیت واردات لوازم خانگی اسنوا', 'Regulatory & Legal', 'اسنوا, انتخاب الکترونیک, ممنوعیت واردات, لوازم خانگی'),
('گلدیران جی پلاس دیجی کالا', 'Brand Case Study', 'گلدیران, جی پلاس, ال جی, دیجی کالا'),
('مادیران ایکس ویژن دیجی کالا', 'Brand Case Study', 'مادیران, ایکس ویژن, تلویزیون, دیجی کالا'),
('سام الکترونیک دیجی کالا', 'Brand Case Study', 'سام الکترونیک, سامسونگ, تولید داخلی'),
('کاله سوپرمارکت دیجی کالا', 'Brand Case Study', 'کاله, گروه سولیکو, دیجی کالا فرش, FMCG'),
('زر ماکارون فروش آنلاین دیجی کالا', 'Brand Case Study', 'زر ماکارون, فروش آنلاین, مواد غذایی'),
('میهن دیجی کالا جت', 'Brand Case Study', 'صنایع غذایی میهن, دیجی کالا جت, لبنیات و بستنی'),
('پاکشو گلرنگ فروش اینترنتی', 'Brand Case Study', 'گروه صنعتی گلرنگ, پاکشو, اکتیو, فروش آنلاین'),
('سینره لوازم آرایشی دیجی کالا', 'Brand Case Study', 'سینره, طبیعت زنده, محصولات بهداشتی, دیجی کالا'),
('قاچاق موبایل رجیستری دیجی کالا', 'Regulatory & Legal', 'طرح رجیستری, سامانه همتا, قاچاق موبایل, دیجی کالا'),
('ممنوعیت واردات آیفون ۱۴ و ۱۵', 'Regulatory & Legal', 'آیفون ۱۴, آیفون ۱۵, ممنوعیت واردات, قاچاق'),
('کالای تقلبی دیجی کالا', 'Marketplace & Quality', 'کالای تقلبی, نشان غیراصل, اصالت کالا, مارکت پلیس'),
('تعزیرات احتکار دیجی کالا', 'Regulatory & Legal', 'تعزیرات حکومتی, انبارهای دیجی کالا, اتهام احتکار'),
('سامانه جامع تجارت دیجی کالا', 'Regulatory & Legal', 'سامانه جامع تجارت, شناسه کالا, کد رهگیری, قاچاق'),
('دارورسانی آنلاین دیجی کالا', 'Regulatory & Legal', 'سازمان غذا و دارو, فروش آنلاین دارو, دیجی کالا سلامت'),
('گزارش سالانه دیجی کالا', 'Annual / BI Report', 'گزارش سالانه, آمار فروش, رفتار کاربران, GMV'),
('رویداد فروشندگان دیجی کالا', 'Marketplace & Quality', 'سلر آکادمی, کمیسیون فروشندگان, همایش فروشندگان')
]
total_added = 0
for q, cat, ents in queries:
try:
url = f'https://www.aparat.com/api/fa/v1/video/video/search/text/{urllib.parse.quote(q)}'
r = requests.get(url, headers=headers, timeout=8)
if r.status_code != 200:
continue
data = r.json()
inc = data.get('included', [])
q_added = 0
for item in inc:
attr = item.get('attributes', {})
uid = attr.get('uid')
title = attr.get('title')
sender = attr.get('sender_name', '')
desc = attr.get('description', '') or ''
duration = attr.get('duration', '')
if uid and title and isinstance(title, str):
video_url = f'https://www.aparat.com/v/{uid}'
summary = f"ویدیو منتشر شده توسط {sender}. مدت: {duration} ثانیه. توضیحات: {desc[:200]}"
year_match = re.search(r'139\d|140\d|201\d|202\d', title + " " + desc)
pub_year = year_match.group(0) if year_match else "1395-1403"
if insert_source(title, video_url, 'Video Interview', 'Aparat', pub_year, cat, summary, ents):
q_added += 1
total_added += 1
print(f"[Aparat] '{q}' -> Added {q_added} new sources. (Total DB: {total_added})")
time.sleep(0.3)
except Exception as e:
print(f"[Aparat] Error for '{q}': {e}")
print(f"=== APARAT FINISHED: Added {total_added} unique videos ===")
if __name__ == '__main__':
init_db()
harvest_aparat()