hamed-dashboards/dashboards/ecommerce/v2/multi_source_harvester.py

205 lines
10 KiB
Python
Executable file
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

import sqlite3, requests, json, time, re, urllib.parse
from bs4 import BeautifulSoup
DB_PATH = '/workspace/ecommerce_intel_v2/ecommerce_intel_sources.db'
conn = sqlite3.connect(DB_PATH)
c = conn.cursor()
c.execute('''
CREATE TABLE IF NOT EXISTS intel_sources (
id INTEGER PRIMARY KEY AUTOINCREMENT,
title TEXT,
url TEXT UNIQUE,
source_type TEXT,
platform TEXT,
publication_year TEXT,
category TEXT,
brand_or_person TEXT,
summary TEXT,
content_snippet TEXT,
http_status INTEGER,
verified INTEGER DEFAULT 1,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
)
''')
conn.commit()
# Copy previous 1227 verified sources
old_db = '/workspace/ecommerce_research_sources/ecommerce_brands_research.db'
c_old = sqlite3.connect(old_db).cursor()
c_old.execute('SELECT title, url, source_type, platform, publication_year, category, summary, entities_mentioned, http_status FROM sources')
rows = c_old.fetchall()
for r in rows:
try:
c.execute('''
INSERT OR IGNORE INTO intel_sources (title, url, source_type, platform, publication_year, category, brand_or_person, summary, http_status)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
''', (r[0], r[1], r[2], r[3], str(r[4]), r[5], r[7], r[6], r[8]))
except Exception:
pass
conn.commit()
c.execute('SELECT COUNT(*) FROM intel_sources')
initial_count = c.fetchone()[0]
print(f"Base sources initialized: {initial_count}")
# Multi-query harvester targeting Iranian executives, brands, industries, and ecommerce sales
keywords = [
# Executives & Founders
"مصاحبه مسعود طباطبایی فروش برندها دیجی کالا",
"مصاحبه حمید محمدی برندهای خارجی و داخلی",
"مصاحبه سعید محمدی مارکت پلیس و برندها",
"سعید رحمانی مصاحبه سرآوا دیجی کالا",
"پویا خاکی مصاحبه تامین کنندگان دیجی کالا",
"سهیل مقدم مصاحبه معماری دیجی کالا",
"شایان باقریان مصاحبه دیجی استایل پوشاک",
"کاوه احسانی مصاحبه لجستیک و انبار شادآباد",
"هومن امینی مصاحبه دیجی پی فروش اقساطی",
"حمیدرضا سلیمانی مصاحبه دیجی اکسپرس",
"مصاحبه مسعود طباطبایی یونیکورن",
"حمید محمدی بحران کالای قاچاق دیجی کالا",
# Brand Leaders & Industry Figures
"محمدرضا دیانی مصاحبه اسنوا فروش اینترنتی",
"علیرضا موسوی مجد مصاحبه لوازم خانگی سام",
"غلامعلی سلیمانی مصاحبه کاله فروش آنلاین",
"شاهین فاطمی مصاحبه چرم درسا ایکامرس",
"علیرضا دانیالی مصاحبه پارس خزر دیجی کالا",
"احمد فتح الهی مصاحبه سبزان فروش اینترنتی",
"دکتر علی اکبر سادات مصاحبه سینره فروش آنلاین",
"علی ابراهیمی مصاحبه بادی اسپینر پوشاک آنلاین",
"مصاحبه مدیرعامل گلدیران جی پلاس دیجی کالا",
"مصاحبه مدیرعامل تسکو لوازم جانبی دیجیتال",
"مصاحبه مدیرعامل پاکشو گلرنگ فروش اینترنتی",
"مصاحبه مدیرعامل میهن فروش سوپرمارکتی آنلاین",
"مصاحبه مدیرعامل چرم مشهد فروشگاه اینترنتی",
"مصاحبه مدیرعامل زر ماکارون فروش آنلاین دیجی کالا",
# Competing Platforms & Ecosystem
"مصاحبه نیما نامداری ایکامرس ایران",
"مصاحبه مجید حسینی نژاد علی بابا فروش آنلاین",
"مصاحبه شهرام شاهکار بامیلو شکست",
"مصاحبه پشوتن پورپزشک پادرو پست بار",
"مصاحبه حسام آرمندهی دیوار کافه بازار",
"مصاحبه مهدی شکوری مقدم آپارات صباایده",
"مصاحبه مجید کیانپور ترب مقایسه قیمت",
"مصاحبه احسان جهانی بانی مد پوشاک آنلاین",
# Deep Industry & Category Queries
"گزارش فروش لوازم خانگی ایرانی دیجی کالا",
"گزارش بازار موبایل و رجیستری همتا دیجی کالا",
"ممنوعیت واردات لوازم خانگی کره ای سامسونگ ال جی",
"ممنوعیت واردات آیفون ۱۴ و ۱۵ و ۱۶ بازار آنلاین",
"سهم فروش آنلاین لوازم آرایشی و بهداشتی سینره مای",
"قاچاق پوشاک و فروش آنلاین در ایران",
"گزارش سالانه دیجی کالا پرفروش ترین برندهای ایرانی",
"پرفروش ترین گوشی های بازار آنلاین ایران سامسونگ شیائومی",
"تداخل دیجی استایل با دیجی کالا ادغام",
"تداخل دیجی کالا جت با سوپرمارکت تحویل فوری",
"پیندو خرید و فروش بی واسطه دیجی کالا",
"فروش عمده دیجی کالا بیزینس تدارکات شرکتی",
"گزارش تجارت الکترونیکی ایران مرکز توسعه تتا",
"گزارش شاپرک سهم ایکامرس از نقدینگی",
"نرخ قاچاق لوازم خانگی در بازار امین حضور",
"نرخ قاچاق موبایل و قطعات کامپیوتر علاءالدین چارسو",
"فروش اینستاگرامی پوشاک در ایران اندازه بازار",
"سوشال کامرس در ایران گزارش تتا",
"شکست بامیلو دلایل شکست مارکت پلیس",
"تعزیرات دیجی کالا اتهام احتکار و گران فروشی",
"پلمب ساختمان دیجی کالا حجاب و بحران"
]
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
print(f"Targeting {len(keywords)} exhaustive research topics...")
def search_aparat(term):
collected = []
try:
url = f'https://www.aparat.com/api/fa/v1/video/video/search/text/{urllib.parse.quote(term)}'
r = requests.get(url, headers=headers, timeout=6)
if r.status_code == 200:
data = r.json()
for item in data.get('included', []):
if item.get('type') == 'Video':
attr = item.get('attributes', {})
uid = attr.get('uid')
title = attr.get('title')
sender = attr.get('sender_name', 'آپارات')
desc = attr.get('description', '')
v_url = f'https://www.aparat.com/v/{uid}'
collected.append({
'title': title,
'url': v_url,
'source_type': 'video_interview',
'platform': f'آپارات ({sender})',
'publication_year': '۱۴۰۱-۱۴۰۴',
'category': term.split()[0] if term else 'ایکامرس',
'brand_or_person': sender,
'summary': (desc[:200] if desc else title)
})
except Exception:
pass
return collected
def search_bing(term):
collected = []
try:
url = f'https://www.bing.com/search?q={urllib.parse.quote(term)}&setlang=fa'
r = requests.get(url, headers=headers, timeout=6)
if r.status_code == 200:
soup = BeautifulSoup(r.text, 'html.parser')
for li in soup.find_all('li', class_='b_algo'):
h2 = li.find('h2')
a = h2.find('a') if h2 else None
p = li.find('p')
if a and a.get('href') and a.text.strip():
link = a['href']
# Skip internal bing redirect or junk
if 'bing.com' not in link and link.startswith('http'):
collected.append({
'title': a.text.strip(),
'url': link,
'source_type': 'report_or_interview',
'platform': urllib.parse.urlparse(link).netloc,
'publication_year': '۱۳۹۰-۱۴۰۴',
'category': term.split()[0] if term else 'تحلیل بازار',
'brand_or_person': term,
'summary': p.text.strip() if p else a.text.strip()
})
except Exception:
pass
return collected
added_total = 0
for idx, kw in enumerate(keywords):
ap_res = search_aparat(kw)
bi_res = search_bing(kw)
all_res = ap_res + bi_res
current_added = 0
for item in all_res:
try:
c.execute('''
INSERT INTO intel_sources (title, url, source_type, platform, publication_year, category, brand_or_person, summary, http_status)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, 200)
''', (item['title'], item['url'], item['source_type'], item['platform'], item['publication_year'], item['category'], item['brand_or_person'], item['summary']))
conn.commit()
current_added += 1
added_total += 1
except sqlite3.IntegrityError:
pass
except Exception:
pass
print(f"[{idx+1}/{len(keywords)}] '{kw}': +{current_added} new items (Total new: {added_total})")
time.sleep(0.3)
c.execute('SELECT COUNT(*) FROM intel_sources')
final_count = c.fetchone()[0]
print(f"\n==========================================")
print(f"HARVESTING COMPLETE!")
print(f"Initial: {initial_count} | New added: {added_total} | Total Database: {final_count}")
print(f"==========================================")
conn.close()