Update app.py

app.py

@@ -75,16 +75,18 @@ def delete_faiss_index():
 #         return f"Ошибка: {response.json().get('detail')}"
 
 
-def generate_response(user_query, context):
-    log_message(f"Генерация ответа на запрос: {user_query}")
+def generate_responses(user_queries, context):
+    log_message(f"Генерация ответов на {len(user_queries)} запросов")
     prompt = ChatPromptTemplate.from_template(template)
+    
+    # Формируем список полных промптов для каждого запроса
+    full_prompts = [prompt.format(context=context, input=query) for query in user_queries]
+    
+    # Используем llm.batch для получения ответов на все промпты
+    responses = llm.batch(full_prompts)
+    log_message("Ответы сгенерированы.")
+    return responses
 
-    log_message(f"Контекст из базы данных: {context[:100]}...")
-    full_prompt = prompt.format(context=context, input=user_query)
-
-    response = llm.invoke(full_prompt)
-    log_message(f"Сгенерированный ответ: {response}")
-    return response
 
 
 def process_comments(ACCESS_TOKEN, user_context):
@@ -103,15 +105,16 @@ def process_comments(ACCESS_TOKEN, user_context):
     log_message(f"ID страницы: {page_id}")
 
     processed_posts = []
-    processed_comment_ids = set()  # Отслеживание обработанных комментариев
+    processed_comment_ids = set()
+    
+    all_comments = []
+    all_comment_ids = []
 
     for post_data in posts_with_unanswered_comments:
         post_id = post_data['post_id']
         post_message = post_data['post_message']
         unanswered_comments = post_data['unanswered_comments']
 
-        post_replies = []
-
         for comment in unanswered_comments:
             comment_id = comment['id']
             if comment_id in processed_comment_ids:
@@ -120,24 +123,34 @@ def process_comments(ACCESS_TOKEN, user_context):
             processed_comment_ids.add(comment_id)
 
             message = comment['message']
-            log_message(f"Обработка комментария: {message}")
-
-            response_message = generate_response(message, context=user_context)
-            log_message(f"Ответ на комментарий: {response_message}")
-            success = reply_comment(comment_id=comment['id'], message=response_message, token=ACCESS_TOKEN)
-            if success:
-                post_replies.append({
-                    'comment_id': comment['id'],
-                    'comment_message': comment['message'],
-                    'reply_message': response_message
-                })
+            log_message(f"Добавление комментария для обработки: {message}")
+
+            # Добавляем комментарий и его ID в списки
+            all_comments.append(message)
+            all_comment_ids.append(comment_id)
+
+    # Генерируем ответы на все комментарии батчем
+    responses = generate_responses(all_comments, context=user_context)
+
+    # Отправляем ответы на соответствующие комментарии
+    for comment_id, response_message in zip(all_comment_ids, responses):
+        log_message(f"Ответ на комментарий {comment_id}: {response_message}")
+        success = reply_comment(comment_id=comment_id, message=response_message, token=ACCESS_TOKEN)
+        if success:
+            log_message(f"Успешно отправлен ответ на комментарий {comment_id}")
+        else:
+            log_message(f"Ошибка при отправке ответа на комментарий {comment_id}")
 
+    # Формируем информацию о обработанных постах
+    for post_data in posts_with_unanswered_comments:
+        post_id = post_data['post_id']
+        post_message = post_data['post_message']
         processed_posts.append({
             'post_id': post_id,
             'post_message': post_message,
             'hidden_comments': next(
                 (item['hidden_comments'] for item in hidden_comments_data if item['post_id'] == post_id), []),
-            'replies': post_replies
+            # Вы можете добавить дополнительную информацию, если необходимо
         })
 
     return {
@@ -146,6 +159,7 @@ def process_comments(ACCESS_TOKEN, user_context):
     }
 
 
+
 with gr.Blocks() as demo:
     with gr.Tab("Главная страница"):
         gr.Markdown("# Facebook Comment Filter")