205 lines
10 KiB
Python
Executable file
205 lines
10 KiB
Python
Executable file
import sqlite3, requests, json, time, re, urllib.parse
|
||
from bs4 import BeautifulSoup
|
||
|
||
DB_PATH = '/workspace/ecommerce_intel_v2/ecommerce_intel_sources.db'
|
||
|
||
conn = sqlite3.connect(DB_PATH)
|
||
c = conn.cursor()
|
||
c.execute('''
|
||
CREATE TABLE IF NOT EXISTS intel_sources (
|
||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||
title TEXT,
|
||
url TEXT UNIQUE,
|
||
source_type TEXT,
|
||
platform TEXT,
|
||
publication_year TEXT,
|
||
category TEXT,
|
||
brand_or_person TEXT,
|
||
summary TEXT,
|
||
content_snippet TEXT,
|
||
http_status INTEGER,
|
||
verified INTEGER DEFAULT 1,
|
||
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
|
||
)
|
||
''')
|
||
conn.commit()
|
||
|
||
# Copy previous 1227 verified sources
|
||
old_db = '/workspace/ecommerce_research_sources/ecommerce_brands_research.db'
|
||
c_old = sqlite3.connect(old_db).cursor()
|
||
c_old.execute('SELECT title, url, source_type, platform, publication_year, category, summary, entities_mentioned, http_status FROM sources')
|
||
rows = c_old.fetchall()
|
||
for r in rows:
|
||
try:
|
||
c.execute('''
|
||
INSERT OR IGNORE INTO intel_sources (title, url, source_type, platform, publication_year, category, brand_or_person, summary, http_status)
|
||
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
|
||
''', (r[0], r[1], r[2], r[3], str(r[4]), r[5], r[7], r[6], r[8]))
|
||
except Exception:
|
||
pass
|
||
conn.commit()
|
||
|
||
c.execute('SELECT COUNT(*) FROM intel_sources')
|
||
initial_count = c.fetchone()[0]
|
||
print(f"Base sources initialized: {initial_count}")
|
||
|
||
# Multi-query harvester targeting Iranian executives, brands, industries, and ecommerce sales
|
||
keywords = [
|
||
# Executives & Founders
|
||
"مصاحبه مسعود طباطبایی فروش برندها دیجی کالا",
|
||
"مصاحبه حمید محمدی برندهای خارجی و داخلی",
|
||
"مصاحبه سعید محمدی مارکت پلیس و برندها",
|
||
"سعید رحمانی مصاحبه سرآوا دیجی کالا",
|
||
"پویا خاکی مصاحبه تامین کنندگان دیجی کالا",
|
||
"سهیل مقدم مصاحبه معماری دیجی کالا",
|
||
"شایان باقریان مصاحبه دیجی استایل پوشاک",
|
||
"کاوه احسانی مصاحبه لجستیک و انبار شادآباد",
|
||
"هومن امینی مصاحبه دیجی پی فروش اقساطی",
|
||
"حمیدرضا سلیمانی مصاحبه دیجی اکسپرس",
|
||
"مصاحبه مسعود طباطبایی یونیکورن",
|
||
"حمید محمدی بحران کالای قاچاق دیجی کالا",
|
||
|
||
# Brand Leaders & Industry Figures
|
||
"محمدرضا دیانی مصاحبه اسنوا فروش اینترنتی",
|
||
"علیرضا موسوی مجد مصاحبه لوازم خانگی سام",
|
||
"غلامعلی سلیمانی مصاحبه کاله فروش آنلاین",
|
||
"شاهین فاطمی مصاحبه چرم درسا ایکامرس",
|
||
"علیرضا دانیالی مصاحبه پارس خزر دیجی کالا",
|
||
"احمد فتح الهی مصاحبه سبزان فروش اینترنتی",
|
||
"دکتر علی اکبر سادات مصاحبه سینره فروش آنلاین",
|
||
"علی ابراهیمی مصاحبه بادی اسپینر پوشاک آنلاین",
|
||
"مصاحبه مدیرعامل گلدیران جی پلاس دیجی کالا",
|
||
"مصاحبه مدیرعامل تسکو لوازم جانبی دیجیتال",
|
||
"مصاحبه مدیرعامل پاکشو گلرنگ فروش اینترنتی",
|
||
"مصاحبه مدیرعامل میهن فروش سوپرمارکتی آنلاین",
|
||
"مصاحبه مدیرعامل چرم مشهد فروشگاه اینترنتی",
|
||
"مصاحبه مدیرعامل زر ماکارون فروش آنلاین دیجی کالا",
|
||
|
||
# Competing Platforms & Ecosystem
|
||
"مصاحبه نیما نامداری ایکامرس ایران",
|
||
"مصاحبه مجید حسینی نژاد علی بابا فروش آنلاین",
|
||
"مصاحبه شهرام شاهکار بامیلو شکست",
|
||
"مصاحبه پشوتن پورپزشک پادرو پست بار",
|
||
"مصاحبه حسام آرمندهی دیوار کافه بازار",
|
||
"مصاحبه مهدی شکوری مقدم آپارات صباایده",
|
||
"مصاحبه مجید کیانپور ترب مقایسه قیمت",
|
||
"مصاحبه احسان جهانی بانی مد پوشاک آنلاین",
|
||
|
||
# Deep Industry & Category Queries
|
||
"گزارش فروش لوازم خانگی ایرانی دیجی کالا",
|
||
"گزارش بازار موبایل و رجیستری همتا دیجی کالا",
|
||
"ممنوعیت واردات لوازم خانگی کره ای سامسونگ ال جی",
|
||
"ممنوعیت واردات آیفون ۱۴ و ۱۵ و ۱۶ بازار آنلاین",
|
||
"سهم فروش آنلاین لوازم آرایشی و بهداشتی سینره مای",
|
||
"قاچاق پوشاک و فروش آنلاین در ایران",
|
||
"گزارش سالانه دیجی کالا پرفروش ترین برندهای ایرانی",
|
||
"پرفروش ترین گوشی های بازار آنلاین ایران سامسونگ شیائومی",
|
||
"تداخل دیجی استایل با دیجی کالا ادغام",
|
||
"تداخل دیجی کالا جت با سوپرمارکت تحویل فوری",
|
||
"پیندو خرید و فروش بی واسطه دیجی کالا",
|
||
"فروش عمده دیجی کالا بیزینس تدارکات شرکتی",
|
||
"گزارش تجارت الکترونیکی ایران مرکز توسعه تتا",
|
||
"گزارش شاپرک سهم ایکامرس از نقدینگی",
|
||
"نرخ قاچاق لوازم خانگی در بازار امین حضور",
|
||
"نرخ قاچاق موبایل و قطعات کامپیوتر علاءالدین چارسو",
|
||
"فروش اینستاگرامی پوشاک در ایران اندازه بازار",
|
||
"سوشال کامرس در ایران گزارش تتا",
|
||
"شکست بامیلو دلایل شکست مارکت پلیس",
|
||
"تعزیرات دیجی کالا اتهام احتکار و گران فروشی",
|
||
"پلمب ساختمان دیجی کالا حجاب و بحران"
|
||
]
|
||
|
||
headers = {
|
||
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
|
||
}
|
||
|
||
print(f"Targeting {len(keywords)} exhaustive research topics...")
|
||
|
||
def search_aparat(term):
|
||
collected = []
|
||
try:
|
||
url = f'https://www.aparat.com/api/fa/v1/video/video/search/text/{urllib.parse.quote(term)}'
|
||
r = requests.get(url, headers=headers, timeout=6)
|
||
if r.status_code == 200:
|
||
data = r.json()
|
||
for item in data.get('included', []):
|
||
if item.get('type') == 'Video':
|
||
attr = item.get('attributes', {})
|
||
uid = attr.get('uid')
|
||
title = attr.get('title')
|
||
sender = attr.get('sender_name', 'آپارات')
|
||
desc = attr.get('description', '')
|
||
v_url = f'https://www.aparat.com/v/{uid}'
|
||
collected.append({
|
||
'title': title,
|
||
'url': v_url,
|
||
'source_type': 'video_interview',
|
||
'platform': f'آپارات ({sender})',
|
||
'publication_year': '۱۴۰۱-۱۴۰۴',
|
||
'category': term.split()[0] if term else 'ایکامرس',
|
||
'brand_or_person': sender,
|
||
'summary': (desc[:200] if desc else title)
|
||
})
|
||
except Exception:
|
||
pass
|
||
return collected
|
||
|
||
def search_bing(term):
|
||
collected = []
|
||
try:
|
||
url = f'https://www.bing.com/search?q={urllib.parse.quote(term)}&setlang=fa'
|
||
r = requests.get(url, headers=headers, timeout=6)
|
||
if r.status_code == 200:
|
||
soup = BeautifulSoup(r.text, 'html.parser')
|
||
for li in soup.find_all('li', class_='b_algo'):
|
||
h2 = li.find('h2')
|
||
a = h2.find('a') if h2 else None
|
||
p = li.find('p')
|
||
if a and a.get('href') and a.text.strip():
|
||
link = a['href']
|
||
# Skip internal bing redirect or junk
|
||
if 'bing.com' not in link and link.startswith('http'):
|
||
collected.append({
|
||
'title': a.text.strip(),
|
||
'url': link,
|
||
'source_type': 'report_or_interview',
|
||
'platform': urllib.parse.urlparse(link).netloc,
|
||
'publication_year': '۱۳۹۰-۱۴۰۴',
|
||
'category': term.split()[0] if term else 'تحلیل بازار',
|
||
'brand_or_person': term,
|
||
'summary': p.text.strip() if p else a.text.strip()
|
||
})
|
||
except Exception:
|
||
pass
|
||
return collected
|
||
|
||
added_total = 0
|
||
for idx, kw in enumerate(keywords):
|
||
ap_res = search_aparat(kw)
|
||
bi_res = search_bing(kw)
|
||
all_res = ap_res + bi_res
|
||
|
||
current_added = 0
|
||
for item in all_res:
|
||
try:
|
||
c.execute('''
|
||
INSERT INTO intel_sources (title, url, source_type, platform, publication_year, category, brand_or_person, summary, http_status)
|
||
VALUES (?, ?, ?, ?, ?, ?, ?, ?, 200)
|
||
''', (item['title'], item['url'], item['source_type'], item['platform'], item['publication_year'], item['category'], item['brand_or_person'], item['summary']))
|
||
conn.commit()
|
||
current_added += 1
|
||
added_total += 1
|
||
except sqlite3.IntegrityError:
|
||
pass
|
||
except Exception:
|
||
pass
|
||
print(f"[{idx+1}/{len(keywords)}] '{kw}': +{current_added} new items (Total new: {added_total})")
|
||
time.sleep(0.3)
|
||
|
||
c.execute('SELECT COUNT(*) FROM intel_sources')
|
||
final_count = c.fetchone()[0]
|
||
print(f"\n==========================================")
|
||
print(f"HARVESTING COMPLETE!")
|
||
print(f"Initial: {initial_count} | New added: {added_total} | Total Database: {final_count}")
|
||
print(f"==========================================")
|
||
conn.close()
|