def read_pdf(file):
    pdf_document = fitz.open(stream=file.read(), filetype="pdf")
    pages = []  # список страниц для хранения всех страниц
    for page_num in range(pdf_document.page_count):
        page = pdf_document.load_page(page_num)
        text = page.get_text()  # извлекаем текст каждой страницы отдельно
        pages.append((page_num + 1, text))  # добавляем номер страницы и её текст
    return pages

def process_files(files) -> list[Document]:
    """
    Функция обрабатывает загруженные файлы, преобразуя их в документы с метаданными.
    Теперь каждый чанк включает номер страницы.
    """
    documents = []
    for file in files:
        if file.type == "application/pdf":
            pages = read_pdf(file)  # получаем страницы с номерами и текстом
            for page_number, content in pages:
                
                document = Document(
                    page_content=content,
                    metadata={
                        "source": file.name,
                        "page": page_number  # добавляем номер страницы в метаданные
                    }
                )
                print(page_number)
                documents.append(document)
        else:
            # Для текстовых файлов просто читаем и декодируем содержимое
            content = file.read().decode()
            cleaned_content = clean_html(content)
            document = Document(
                page_content=cleaned_content,
                metadata={"source": file.name}
            )
            documents.append(document)
    
    return documents

def split_docs(documents: list[Document], chunk_size: int = 1000, chunk_overlap: int = 200) -> list[Document]:
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=chunk_size,
        chunk_overlap=chunk_overlap,
    )
    chunks = text_splitter.split_documents(documents)
    
    return chunks

template = """Используй приведённый ниже контекст, чтобы ответить на вопрос.
Если не знаешь ответ — просто скажи, что не знаешь, не выдумывай.
Используй только информацию из контекста
Всегда добавляй спискок источкников из запроса
Добавляй номера страниц из которых ты составил итоговый ответ
Контекст: {context}
Вопрос: {question}

Полезный ответ:"""
custom_rag_prompt = PromptTemplate.from_template(template)

    rag_chain = (
        {"context": retriever | format_docs, "question": RunnablePassthrough()}
        | custom_rag_prompt
        | giga
        | StrOutputParser()
    )

def format_docs(docs: list[Document]):
    formatted_contents = []
    sources = []
    for doc in docs:
        page = None
        source = ''
        print(doc.metadata)
        if hasattr(doc, 'metadata') and doc.metadata and 'source' in doc.metadata:
            source = doc.metadata['source']
        if hasattr(doc, 'metadata') and doc.metadata and 'page' in doc.metadata:
            page = doc.metadata['page']
        if source not in sources:
            sources.append(source)
        formatted_contents.append(f"""
                [Источник: {source}{f' страница {page}' if page is not None else ''}]\n\n
                {doc.page_content}\n\n
        """)
    return "\n\n".join(formatted_contents)