Site Reader

Site Reader — это сервис контекстуализации веб‑данных для LLM, который превращает произвольный сайт в структурированный, семантически очищенный Markdown‑контекст, готовый для индексации в векторное хранилище или прямой подачи в языковую модель.

Вместо ручного парсинга и предобработки работает конвейер специализированных агентов:

• fetch_url — сбор данных сайта
• clean_html — удаление навигации, рекламы, скриптов и визуального шума
• extract_semantics — выделение заголовков, мета‑данных, иерархии контента и смысловых блоков
• chunk_md — семантическая разбивка на логические сегменты с сохранением перекрёстных ссылок
• enrich_metadata — добавление URL, даты обновления, категории и тегов для точного поиска
• validate_output — проверка целостности, читаемости и соответствия MD‑стандартам

Сервис нужен, чтобы ИИ‑агенты, чат‑боты и RAG‑системы работали с актуальной информацией вашего сайта без галлюцинаций и устаревших данных, и решает ключевые боли интеграции веб‑контента: потерю структуры при парсинге, шум в исходном HTML, сложность поддержки актуальности при обновлениях сайта, отсутствие единого формата для пайплайнов и ручную рутину при подготовке данных для LLM.