Общение с BigQuery через LangChain и GPT
- LangChain вместе с GPT позволяет анализировать данные в CSV, задавая естественные вопросы.
- Этот подход снижает нагрузку на аналитиков, повышая эффективность бизнес-процессов.
- LangChain реализует концепцию агента, оптимизированного для БД через SQLAlchemy.
- Рекомендуется использовать специализированные таблицы для взаимодействия с LLM из-за ограниченного контекстного окна.
- Инструкции описывают настройку ChatInterface для Google BigQuery.
- LangChain может работать в режиме детализации или показывать только конечные результаты.
- Агенты умеют выполнять сложные запросы, преобразуя естественный язык в SQL-код.
Это делает доступ к данным BigQuery проще для пользователей без знаний SQL.
#LangChain #GPT #BigQuery
- LangChain вместе с GPT позволяет анализировать данные в CSV, задавая естественные вопросы.
- Этот подход снижает нагрузку на аналитиков, повышая эффективность бизнес-процессов.
- LangChain реализует концепцию агента, оптимизированного для БД через SQLAlchemy.
- Рекомендуется использовать специализированные таблицы для взаимодействия с LLM из-за ограниченного контекстного окна.
- Инструкции описывают настройку ChatInterface для Google BigQuery.
- LangChain может работать в режиме детализации или показывать только конечные результаты.
- Агенты умеют выполнять сложные запросы, преобразуя естественный язык в SQL-код.
Это делает доступ к данным BigQuery проще для пользователей без знаний SQL.
#LangChain #GPT #BigQuery
Datascienceengineer
Using LangChain and GPT to chat with your BigQuery data
Learn how to use the GPT LLM and LangChain to ask questions about your BigQuery data.
BigQuery и Document AI: новая эра анализа документов с ИИ
Google анонсировал интеграцию BigQuery с Document AI для автоматизированного извлечения данных.
Создание настраиваемых извлекателей и их вызов из BigQuery.
Можно использовать SQL для работы со структурированными данными из документов.
BigQuery Studio позволит анализировать тексты и создавать резюме с использованием генеративных LLM.
Предварительная версия доступна по запросу.
Можно будет обрабатывать документы с LLM не покидая Google Cloud Platform.
А с BigQuery можно обрабатывать миллионы документов, так что все эти накладные, счета, договора, акты - все можно будет прогнать через LLM.
#Google #BigQuery #DocumentAI
Google анонсировал интеграцию BigQuery с Document AI для автоматизированного извлечения данных.
Создание настраиваемых извлекателей и их вызов из BigQuery.
Можно использовать SQL для работы со структурированными данными из документов.
BigQuery Studio позволит анализировать тексты и создавать резюме с использованием генеративных LLM.
Предварительная версия доступна по запросу.
Можно будет обрабатывать документы с LLM не покидая Google Cloud Platform.
А с BigQuery можно обрабатывать миллионы документов, так что все эти накладные, счета, договора, акты - все можно будет прогнать через LLM.
#Google #BigQuery #DocumentAI
Интегрируем BigQuery & LangChain
LangChain обогащает модели ответами, используя структурированные данные из BigQuery.
Применения включают чат-боты, виртуальных помощников, генерацию кода и веб-приложения.
BigQuery - мощный инструмент для анализа массивов данных с высокой скоростью и гибкостью.
Интеграция с другими сервисами Google Cloud повышает эффективность обработки данных.
BigQuery Studio поддерживает выполнение SQL-запросов и работу с записными книжками.
Приведён пример анализа данных для выбора целевой аудитории в маркетинговых кампаниях.
Схема запроса предоставляет детальную информацию по структуре данных.
Созданная модель LLM формирует оптимизированные запросы для конкретных бизнес-задач.
BigQuery сам по себе очень мощный инструмент. В комбинации с LLM может дать действительно интересные результаты.
#LangChain #BigQuery #LLM
LangChain обогащает модели ответами, используя структурированные данные из BigQuery.
Применения включают чат-боты, виртуальных помощников, генерацию кода и веб-приложения.
BigQuery - мощный инструмент для анализа массивов данных с высокой скоростью и гибкостью.
Интеграция с другими сервисами Google Cloud повышает эффективность обработки данных.
BigQuery Studio поддерживает выполнение SQL-запросов и работу с записными книжками.
Приведён пример анализа данных для выбора целевой аудитории в маркетинговых кампаниях.
Схема запроса предоставляет детальную информацию по структуре данных.
Созданная модель LLM формирует оптимизированные запросы для конкретных бизнес-задач.
BigQuery сам по себе очень мощный инструмент. В комбинации с LLM может дать действительно интересные результаты.
#LangChain #BigQuery #LLM
BigQuery запускает векторный поиск
Основан на числовых векторах, представляющих семантическое значение объектов.
Быстрый поиск и сравнение векторов.
Позволяет генерировать эмбеддинги и повышать качество работы моделей и ответов на текстовые запросы.
Примеры использования: поиск похожих патентов, полнотекстовый поиск по контексту.
Доступен в режиме ознакомительной версии.
от 5 тысяч до 1 миллиарда строк.
до 20 терабайт данных.
#BigQuery #VectorSearch #Google
Основан на числовых векторах, представляющих семантическое значение объектов.
Быстрый поиск и сравнение векторов.
Позволяет генерировать эмбеддинги и повышать качество работы моделей и ответов на текстовые запросы.
Примеры использования: поиск похожих патентов, полнотекстовый поиск по контексту.
Доступен в режиме ознакомительной версии.
от 5 тысяч до 1 миллиарда строк.
до 20 терабайт данных.
#BigQuery #VectorSearch #Google
👍1
Google Cloud добавили очень простую интеграцию ИИ моделей в BigQuery
Google Cloud вводит революцию в обработку данных и ИИ, объединяя их через BigQuery и Vertex AI.
С новшеством BigQuery ML возможно создавать и запускать модели машинного обучения прямо из SQL-запросов в пару строчек кода.
В примере рассмотрена интеграция Gemini 1.0 Pro через Vertex AI в BigQuery.
Эта интеграция решает проблемы дублирования данных и облегчает процедуру анализа огромных массивов информации без потерь в скорости обработки.
Использование генеративных моделей вроде Gemini 1.0 Pro в BigQuery может облегчить задачи обработки, суммаризации и улучшения данных.
Видео туториал: https://www.youtube.com/watch?v=luRR3cyMqrM
Фокус на простоте использования очень важен.
#GoogleCloud #BigQuery #VertexAI #Gemini
-------
@tsingular
Google Cloud вводит революцию в обработку данных и ИИ, объединяя их через BigQuery и Vertex AI.
С новшеством BigQuery ML возможно создавать и запускать модели машинного обучения прямо из SQL-запросов в пару строчек кода.
В примере рассмотрена интеграция Gemini 1.0 Pro через Vertex AI в BigQuery.
Эта интеграция решает проблемы дублирования данных и облегчает процедуру анализа огромных массивов информации без потерь в скорости обработки.
Использование генеративных моделей вроде Gemini 1.0 Pro в BigQuery может облегчить задачи обработки, суммаризации и улучшения данных.
Видео туториал: https://www.youtube.com/watch?v=luRR3cyMqrM
Фокус на простоте использования очень важен.
#GoogleCloud #BigQuery #VertexAI #Gemini
-------
@tsingular
❤1
Gemini 1.0 Pro Vision в BigQuery: анализ изображений и видео
Google Cloud интегрировал Gemini 1.0 Pro Vision с BigQuery, позволяя анализировать изображения и видео с помощью SQL-запросов. 🖼📹
Теперь можно извлекать информацию из неструктурированных данных прямо в BigQuery, используя возможности обобщенного ИИ.
Применения включают распознавание объектов, поиск информации, генерацию описаний и создание структурированного контента.
Для использования требуется создать модель в Vertex AI и вызывать ее через функцию ML.GENERATE_TEXT().
Результаты можно преобразовать в структурированные столбцы с помощью SQL-запросов.
Удобно. Для тех, кто знаком с SQL.
#GoogleCloud #BigQuery #Vertex
-------
@tsingular
Google Cloud интегрировал Gemini 1.0 Pro Vision с BigQuery, позволяя анализировать изображения и видео с помощью SQL-запросов. 🖼📹
Теперь можно извлекать информацию из неструктурированных данных прямо в BigQuery, используя возможности обобщенного ИИ.
Применения включают распознавание объектов, поиск информации, генерацию описаний и создание структурированного контента.
Для использования требуется создать модель в Vertex AI и вызывать ее через функцию ML.GENERATE_TEXT().
Результаты можно преобразовать в структурированные столбцы с помощью SQL-запросов.
Удобно. Для тех, кто знаком с SQL.
#GoogleCloud #BigQuery #Vertex
-------
@tsingular
Пошаговый гайд от Google по использованию Gemini и BigQuery
Google выпустили новый гайд по созданию сервиса на базе Gemini в VertexAi и BigQuery по определению эмоциональной окраски отзывов клиентов.
Показано как с помощью встроенных SQL-запросов и функции ML.GENERATE_TEXT можно извлекать темы, ключевые слова и анализировать тональность текста не покидая BigQuery на огромных объемах данных.
Следуя пошаговой инструкции, можно быстро создать удаленную модель в BigQuery и начать генерировать инсайты, улучшая продукты и услуги на основе обратной связи клиентов.
Data Canvas в BigQuery позволяет визуализировать и анализировать извлеченные результаты как на естественном языке так и через интекрактивные дашборды.
Вообще BQ, конечно onelove. Если бы еще ценники на GCP не были такими конскими. Т.е. туда нужно выходить уже с готовым MVP, когда есть хотя бы 1 бизнес-заказчик.
#Google #Gemini #BigQuery
-------
@tsingular
Google выпустили новый гайд по созданию сервиса на базе Gemini в VertexAi и BigQuery по определению эмоциональной окраски отзывов клиентов.
Показано как с помощью встроенных SQL-запросов и функции ML.GENERATE_TEXT можно извлекать темы, ключевые слова и анализировать тональность текста не покидая BigQuery на огромных объемах данных.
Следуя пошаговой инструкции, можно быстро создать удаленную модель в BigQuery и начать генерировать инсайты, улучшая продукты и услуги на основе обратной связи клиентов.
Data Canvas в BigQuery позволяет визуализировать и анализировать извлеченные результаты как на естественном языке так и через интекрактивные дашборды.
Вообще BQ, конечно onelove. Если бы еще ценники на GCP не были такими конскими. Т.е. туда нужно выходить уже с готовым MVP, когда есть хотя бы 1 бизнес-заказчик.
#Google #Gemini #BigQuery
-------
@tsingular
Простое пошаговое руководство от Google по созданию и запуску своего чат-бота на основе Gemini, BigQuery и VertexAI
Удобное наглядное руководство с примерами кода и использования встроенных функций BigQuery для эмбеддинга и создания RAG пайпа:
- получение запроса от пользователя
- получение релевантной информации через поиск VectorAI search и запросы BigQuery
- составление и дополнение промпта
- инференс модели
- генерация ответа
#Google #BigQuery #VertexAI
-------
@tsingular
Удобное наглядное руководство с примерами кода и использования встроенных функций BigQuery для эмбеддинга и создания RAG пайпа:
- получение запроса от пользователя
- получение релевантной информации через поиск VectorAI search и запросы BigQuery
- составление и дополнение промпта
- инференс модели
- генерация ответа
#Google #BigQuery #VertexAI
-------
@tsingular
🔥2
BigQuery ML теперь работает с open-source LLM!
Google Cloud порадовал крутейшим анонсом - теперь BigQuery ML может использовать любые open-source языковые модели из Vertex AI Model Garden, включая всю библиотеку Hugging Face (170K+ моделей)!
Что это значит на практике:
- Можно использовать свои fine-tuned модели
- Доступны все 170K+ моделей с Hugging Face
- Работает через привычный SQL-синтаксис
- Интеграция с Vertex AI для деплоя моделей
В посте они показали пример с Llama 3.3 70B:
Модель анализирует медицинские транскрипты и извлекает структурированные данные (возраст, пол, заболевания) прямо через SQL-запросы.
Процесс запуска:
1. Деплоим модель в Vertex AI
2. Создаем remote model в BigQuery
3. Делаем инференс через ML.GENERATE_TEXT
Теперь работа с большими объемами данных резко упростилась.
Особенно круто для компаний, у которых уже есть данные в BigQuery - можно добавить ИИ без сложной интеграции.
Кто не в курсе, BigQuery это такая безразмерная база данных, куда поместится вообще все что можно себе представить и при этом ещё место останется. Логи, сделки, CRM, что хотите.
И при этом цена не будет конской. Что редко вообще встречается :)
P.S. И да, дают $300 кредитов новым пользователям для тестирования.
#BigQuery #Google #HuggingFace
———
@tsingular
Google Cloud порадовал крутейшим анонсом - теперь BigQuery ML может использовать любые open-source языковые модели из Vertex AI Model Garden, включая всю библиотеку Hugging Face (170K+ моделей)!
Что это значит на практике:
- Можно использовать свои fine-tuned модели
- Доступны все 170K+ моделей с Hugging Face
- Работает через привычный SQL-синтаксис
- Интеграция с Vertex AI для деплоя моделей
В посте они показали пример с Llama 3.3 70B:
Модель анализирует медицинские транскрипты и извлекает структурированные данные (возраст, пол, заболевания) прямо через SQL-запросы.
Процесс запуска:
1. Деплоим модель в Vertex AI
2. Создаем remote model в BigQuery
3. Делаем инференс через ML.GENERATE_TEXT
Теперь работа с большими объемами данных резко упростилась.
Особенно круто для компаний, у которых уже есть данные в BigQuery - можно добавить ИИ без сложной интеграции.
Кто не в курсе, BigQuery это такая безразмерная база данных, куда поместится вообще все что можно себе представить и при этом ещё место останется. Логи, сделки, CRM, что хотите.
И при этом цена не будет конской. Что редко вообще встречается :)
P.S. И да, дают $300 кредитов новым пользователям для тестирования.
#BigQuery #Google #HuggingFace
———
@tsingular
👍5🔥3
BigQuery: Как облачные сервисы могут незаметно опустошить ваш счёт
История, - огонь! Чел получил счёт на $10,000 за три запроса с LIMIT. А проблема оказалась в том, что BigQuery считает стоимость по объёму данных в таблице запроса, а не по реально обработанным данным в отличие от AWS Redshift, Athena, Snowflake и др.
🚨 Это важно и для работы с ИИ-агентами
Надо понимать: современные ИИ-агенты могут делать сотни запросов к данным, причем совершенно незаметно для пользователя. Представьте, что вы попросили агента "проанализировать данные за прошлый год" — и внезапно получили счет на миллионы $.
При работе с агентами критически важно:
1. Устанавливать жёсткие лимиты по расходам ($)
2. Проверять архитектуру запросов (например, в BigQuery использовать предварительную агрегацию)
3. Тестировать на маленьких наборах данных
4. Контролировать количество запросов через промежуточный сервис
Если используете BigQuery:
- Применяйте материализованные представления
- Используйте предварительную фильтрацию в отдельных таблицах
- Рассмотрите Apache Iceberg для более гибкой работы
- Настройте бюджетные оповещения на низких порогах
⚠️ Особенность всех облачных сервисов
Они всегда делают ставку на то, что вы не будете читать мелкий шрифт. Да, технически BigQuery не обманывает — информация есть в документации. Которую вы, скорее всего, не прочитаете никогда.
В итоге: с большими данными нужно быть осторожнее, а с ИИ-агентами — в десять раз осторожнее. Лимиты, мониторинг, тесты — вот ваша защита от "внезапных" счетов.
#BigQuery #price #limit
———
@tsingular
История, - огонь! Чел получил счёт на $10,000 за три запроса с LIMIT. А проблема оказалась в том, что BigQuery считает стоимость по объёму данных в таблице запроса, а не по реально обработанным данным в отличие от AWS Redshift, Athena, Snowflake и др.
Надо понимать: современные ИИ-агенты могут делать сотни запросов к данным, причем совершенно незаметно для пользователя. Представьте, что вы попросили агента "проанализировать данные за прошлый год" — и внезапно получили счет на миллионы $.
При работе с агентами критически важно:
1. Устанавливать жёсткие лимиты по расходам ($)
2. Проверять архитектуру запросов (например, в BigQuery использовать предварительную агрегацию)
3. Тестировать на маленьких наборах данных
4. Контролировать количество запросов через промежуточный сервис
Если используете BigQuery:
- Применяйте материализованные представления
- Используйте предварительную фильтрацию в отдельных таблицах
- Рассмотрите Apache Iceberg для более гибкой работы
- Настройте бюджетные оповещения на низких порогах
⚠️ Особенность всех облачных сервисов
Они всегда делают ставку на то, что вы не будете читать мелкий шрифт. Да, технически BigQuery не обманывает — информация есть в документации. Которую вы, скорее всего, не прочитаете никогда.
В итоге: с большими данными нужно быть осторожнее, а с ИИ-агентами — в десять раз осторожнее. Лимиты, мониторинг, тесты — вот ваша защита от "внезапных" счетов.
#BigQuery #price #limit
———
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍1