Clickhouse: сжимаем данные эффективно
В этой статье мы разберем один из способов оптимизации хранения данных и запросов, который поможет ускорить процесс выполнения задачи с помощью использования кодеков сжатия в колонках. И протестируем какие результаты можно получить при использовании кодеков.
Читать: https://habr.com/ru/post/718618/
В этой статье мы разберем один из способов оптимизации хранения данных и запросов, который поможет ускорить процесс выполнения задачи с помощью использования кодеков сжатия в колонках. И протестируем какие результаты можно получить при использовании кодеков.
Читать: https://habr.com/ru/post/718618/
YouTube-видео превратили в бесконечное хранилище данных
Энтузиасты написали алгоритм AKA ISG, который превращает видео на YouTube в бесплатное бесконечное хранилище данных.
Читать: «YouTube-видео превратили в бесконечное хранилище данных»
Энтузиасты написали алгоритм AKA ISG, который превращает видео на YouTube в бесплатное бесконечное хранилище данных.
Читать: «YouTube-видео превратили в бесконечное хранилище данных»
🔥1
А это, детектив, правильный вопрос
Может ли с помощью ChatGPT проводить научные исследования?
Пока большая языковая модель ChatGPT не может строить прогнозы и предсказывать будущее. Однако мне было очень любопытно пообщаться с ней на научные темы, проверить какие то гипотезы. Поэтому я решил попробовать построить с ней диалог как со своим коллегой, который немного "в теме" научной проблематики. И что же, на мой взгляд, получилось довольно не плохо. Нейронная сеть свободно поддерживает диалог, не виснет, не уходит в раздумья. Если не правильно понимает вопрос, то его можно всегда уточнить и попытаться взглянуть на предмет дискуссии с другой стороны. Признает и справляет свои ошибки. Подбадривает и отзывается на поощрения. Вообщем уже сейчас может быть хорошим собеседником на научные темы, наводить на какие то мысли, подсказывать идеи.
Приведу пример диалога с ChatGPT.
Вопрос: Ты можешь сопоставлять статистику и находить корреляции и зависимости в данных?
Ответ: Да, я могу анализировать статистические данные и искать корреляции и зависимости между ними. Я использую алгоритмы машинного обучения и статистические методы, такие как регрессия, кластеризация и анализ главных компонент, чтобы определить, какие факторы связаны между собой и как они влияют на исследуемые явления.
Однако, важно отметить, что для точного анализа и интерпретации данных необходимо учитывать множество факторов, включая качество данных, выборку и методы сбора данных, а также контекст исследования. Я могу предоставить информацию о том, какие корреляции и зависимости обнаружены в данных, но окончательное решение о том, как они интерпретируются, должно быть принято с помощью экспертного анализа.
Вопрос: У тебя есть данные по падению крупных метеоритов и комет на Землю в течение последнего миллиарда лет?
Ответ: Да, у меня есть данные о падении крупных метеоритов и комет на Землю за последний миллиард лет. Они основаны на изучении следов метеоритных и кометных ударов на Земле, таких как кратеры, глобальные наложения пылевых отложений, а также анализа метеоритных образцов.
Эти данные позволяют исследовать историю метеоритных и кометных ударов на Землю и оценивать их вероятность. Они также могут быть использованы для разработки стратегий защиты от потенциальных угроз из космоса.
Одним из наиболее известных событий падения метеорита на Землю является кратер Чиксулуб на полуострове Юкатан, Мексика, который образовался около 66 миллионов лет назад и, по мнению ученых, был одним из факторов, приведших к вымиранию динозавров и многих других видов животных и растений на Земле.
Вопрос: Каков период колебания Солнечной Системы перпендикулярно плоскости нашей Галактики?
Ответ: Период колебания Солнечной системы перпендикулярно плоскости нашей Галактики называется галактическим годом или космическим годом. Это время, которое требуется Солнечной системе для совершения одного полного оборота вокруг Галактического центра, по оси, перпендикулярной плоскости нашей Галактики.
Однако точная продолжительность галактического года не является фиксированной величиной, так как движение Солнечной системы вокруг Галактического центра не является равномерным. На данный момент, оценки продолжительности галактического года составляют примерно 225-250 миллионов лет.
Этот период колебаний является одним из многих факторов, влияющих на изменения климата и окружающей среды на Земле в течение многих миллионов лет.
Вопрос: Однако наша Солнечная Система не только вращается вокруг центра нашей Галактики, но и совершает колебательные движения перпендикулярно плоскости движения звезд галактики.
Ответ: Да, вы правы. Кроме движения вокруг центра нашей Галактики, Солнечная система также совершает колебательные движения, которые называются вертикальным и радиальным движениями.
Вертикальное движение происходит вверх и вниз относительно плоскости Галактики, а радиальное движение происходит в направлении к центру Галактики или от него. Вместе с движением вокруг центра Галактики, эти колебательные движени[...]
Может ли с помощью ChatGPT проводить научные исследования?
Пока большая языковая модель ChatGPT не может строить прогнозы и предсказывать будущее. Однако мне было очень любопытно пообщаться с ней на научные темы, проверить какие то гипотезы. Поэтому я решил попробовать построить с ней диалог как со своим коллегой, который немного "в теме" научной проблематики. И что же, на мой взгляд, получилось довольно не плохо. Нейронная сеть свободно поддерживает диалог, не виснет, не уходит в раздумья. Если не правильно понимает вопрос, то его можно всегда уточнить и попытаться взглянуть на предмет дискуссии с другой стороны. Признает и справляет свои ошибки. Подбадривает и отзывается на поощрения. Вообщем уже сейчас может быть хорошим собеседником на научные темы, наводить на какие то мысли, подсказывать идеи.
Приведу пример диалога с ChatGPT.
Вопрос: Ты можешь сопоставлять статистику и находить корреляции и зависимости в данных?
Ответ: Да, я могу анализировать статистические данные и искать корреляции и зависимости между ними. Я использую алгоритмы машинного обучения и статистические методы, такие как регрессия, кластеризация и анализ главных компонент, чтобы определить, какие факторы связаны между собой и как они влияют на исследуемые явления.
Однако, важно отметить, что для точного анализа и интерпретации данных необходимо учитывать множество факторов, включая качество данных, выборку и методы сбора данных, а также контекст исследования. Я могу предоставить информацию о том, какие корреляции и зависимости обнаружены в данных, но окончательное решение о том, как они интерпретируются, должно быть принято с помощью экспертного анализа.
Вопрос: У тебя есть данные по падению крупных метеоритов и комет на Землю в течение последнего миллиарда лет?
Ответ: Да, у меня есть данные о падении крупных метеоритов и комет на Землю за последний миллиард лет. Они основаны на изучении следов метеоритных и кометных ударов на Земле, таких как кратеры, глобальные наложения пылевых отложений, а также анализа метеоритных образцов.
Эти данные позволяют исследовать историю метеоритных и кометных ударов на Землю и оценивать их вероятность. Они также могут быть использованы для разработки стратегий защиты от потенциальных угроз из космоса.
Одним из наиболее известных событий падения метеорита на Землю является кратер Чиксулуб на полуострове Юкатан, Мексика, который образовался около 66 миллионов лет назад и, по мнению ученых, был одним из факторов, приведших к вымиранию динозавров и многих других видов животных и растений на Земле.
Вопрос: Каков период колебания Солнечной Системы перпендикулярно плоскости нашей Галактики?
Ответ: Период колебания Солнечной системы перпендикулярно плоскости нашей Галактики называется галактическим годом или космическим годом. Это время, которое требуется Солнечной системе для совершения одного полного оборота вокруг Галактического центра, по оси, перпендикулярной плоскости нашей Галактики.
Однако точная продолжительность галактического года не является фиксированной величиной, так как движение Солнечной системы вокруг Галактического центра не является равномерным. На данный момент, оценки продолжительности галактического года составляют примерно 225-250 миллионов лет.
Этот период колебаний является одним из многих факторов, влияющих на изменения климата и окружающей среды на Земле в течение многих миллионов лет.
Вопрос: Однако наша Солнечная Система не только вращается вокруг центра нашей Галактики, но и совершает колебательные движения перпендикулярно плоскости движения звезд галактики.
Ответ: Да, вы правы. Кроме движения вокруг центра нашей Галактики, Солнечная система также совершает колебательные движения, которые называются вертикальным и радиальным движениями.
Вертикальное движение происходит вверх и вниз относительно плоскости Галактики, а радиальное движение происходит в направлении к центру Галактики или от него. Вместе с движением вокруг центра Галактики, эти колебательные движени[...]
👍1
Data Analysis / Big Data
А это, детектив, правильный вопрос Может ли с помощью ChatGPT проводить научные исследования? Пока большая языковая модель ChatGPT не может строить прогнозы и предсказывать будущее. Однако мне было очень любопытно пообщаться с ней на научные темы, проверить…
я создают сложное трехмерное движение Солнечной системы вокруг Галактического центра.
Продолжительность этих колебаний зависит от многих факторов, включая расстояние от Солнца до Галактического центра, массу Галактики и другие параметры. Кроме того, так как движение Солнечной системы не является равномерным, эти колебания могут происходить с различными периодами.
Все эти движения Солнечной системы имеют важное значение для понимания ее места в нашей Галактике и ее взаимодействия с другими звездами и объектами в Галактике.
Вопрос: Каков период этих колебаний?
Ответ: Период колебаний Солнечной системы перпендикулярно плоскости нашей Галактики (вертикальное движение) составляет примерно 70-100 миллионов лет.
Период радиальных колебаний Солнечной системы, т.е. движения Солнечной системы в направлении к центру Галактики или от него, более сложный и может варьироваться в зависимости от точки, в которой находится Солнечная система в своей орбите вокруг Галактического центра.
Общий период колебаний Солнечной системы, включая ее движение вокруг центра Галактики, вертикальные и радиальные колебания, называется галактическим годом или космическим годом, и оценивается примерно в 225-250 миллионов лет.
Вопрос: Сопоставь эти периоды колебаний с периодами падения крупных метеоритов и периодами массовых вымираний видов на Земле.
Ответ: Существует гипотеза, что периоды массовых вымираний на Земле могут быть связаны с периодами падения крупных метеоритов и астероидов на нашу планету. Некоторые исследователи утверждают, что наибольшее количество метеоритов и астероидов падает на Землю с периодом в 26-30 миллионов лет.
Этот период не совпадает с периодами колебаний Солнечной системы вокруг центра Галактики, вертикальных колебаний или радиальных колебаний. Однако, некоторые исследования показывают, что период массовых вымираний может быть связан с гипотетическим десятилетним циклом плотности звезд в нашей Галактике.
Существуют также другие гипотезы, связывающие периоды массовых вымираний на Земле с геологическими процессами, изменением климата и другими факторами, поэтому причины массовых вымираний до сих пор не до конца изучены и остаются предметом активных исследований.
Вопрос: Давай вернемся к двум фактам:
1. "Период колебаний Солнечной системы перпендикулярно плоскости нашей Галактики (вертикальное движение) составляет примерно 70-100 миллионов лет."
2. "Наибольшее количество метеоритов и астероидов падает на Землю с периодом в 26-30 миллионов лет".
Возможно, проходя через плоскость Галактики, Земля подвергается бОльшему воздействию крупных метеоритов?
Ответ: Действительно, существует гипотеза, что прохождение Земли через плоскость галактики может увеличивать вероятность падения крупных метеоритов и астероидов на Землю. Это связано с тем, что при прохождении через плоскость галактики наша Солнечная система может быть более подвержена воздействию гравитационных возмущений, вызываемых проходящими близко звездами, а также более высокой концентрации метеоритов и астероидов в межзвездном пространстве. Это, в свою очередь, может приводить к более частым столкновениям Земли с крупными метеоритами и астероидами.
Однако, следует отметить, что существует множество факторов, влияющих на частоту падения метеоритов и астероидов на Землю, таких как гравитационное воздействие других планет, расположение планет и астероидного пояса в Солнечной системе, а также наличие крупных тел в космическом пространстве, которые могут изменять траектории метеоритов и астероидов. Поэтому, необходимо проводить дополнительные исследования, чтобы установить точную связь между прохождением Земли через плоскость галактики и падением крупных метеоритов и астероидов на Землю.
Вопрос: В каком положении находится сейчас наша Солнечная система относительно плоскости нашей Галактики (вертикальное движение) и в каком направлении она движется?
Ответ: На данный момент наша Солнечная система находится недалеко от плоскости галактики, на расстоянии около 20-30 световых лет от нее.[...]
Продолжительность этих колебаний зависит от многих факторов, включая расстояние от Солнца до Галактического центра, массу Галактики и другие параметры. Кроме того, так как движение Солнечной системы не является равномерным, эти колебания могут происходить с различными периодами.
Все эти движения Солнечной системы имеют важное значение для понимания ее места в нашей Галактике и ее взаимодействия с другими звездами и объектами в Галактике.
Вопрос: Каков период этих колебаний?
Ответ: Период колебаний Солнечной системы перпендикулярно плоскости нашей Галактики (вертикальное движение) составляет примерно 70-100 миллионов лет.
Период радиальных колебаний Солнечной системы, т.е. движения Солнечной системы в направлении к центру Галактики или от него, более сложный и может варьироваться в зависимости от точки, в которой находится Солнечная система в своей орбите вокруг Галактического центра.
Общий период колебаний Солнечной системы, включая ее движение вокруг центра Галактики, вертикальные и радиальные колебания, называется галактическим годом или космическим годом, и оценивается примерно в 225-250 миллионов лет.
Вопрос: Сопоставь эти периоды колебаний с периодами падения крупных метеоритов и периодами массовых вымираний видов на Земле.
Ответ: Существует гипотеза, что периоды массовых вымираний на Земле могут быть связаны с периодами падения крупных метеоритов и астероидов на нашу планету. Некоторые исследователи утверждают, что наибольшее количество метеоритов и астероидов падает на Землю с периодом в 26-30 миллионов лет.
Этот период не совпадает с периодами колебаний Солнечной системы вокруг центра Галактики, вертикальных колебаний или радиальных колебаний. Однако, некоторые исследования показывают, что период массовых вымираний может быть связан с гипотетическим десятилетним циклом плотности звезд в нашей Галактике.
Существуют также другие гипотезы, связывающие периоды массовых вымираний на Земле с геологическими процессами, изменением климата и другими факторами, поэтому причины массовых вымираний до сих пор не до конца изучены и остаются предметом активных исследований.
Вопрос: Давай вернемся к двум фактам:
1. "Период колебаний Солнечной системы перпендикулярно плоскости нашей Галактики (вертикальное движение) составляет примерно 70-100 миллионов лет."
2. "Наибольшее количество метеоритов и астероидов падает на Землю с периодом в 26-30 миллионов лет".
Возможно, проходя через плоскость Галактики, Земля подвергается бОльшему воздействию крупных метеоритов?
Ответ: Действительно, существует гипотеза, что прохождение Земли через плоскость галактики может увеличивать вероятность падения крупных метеоритов и астероидов на Землю. Это связано с тем, что при прохождении через плоскость галактики наша Солнечная система может быть более подвержена воздействию гравитационных возмущений, вызываемых проходящими близко звездами, а также более высокой концентрации метеоритов и астероидов в межзвездном пространстве. Это, в свою очередь, может приводить к более частым столкновениям Земли с крупными метеоритами и астероидами.
Однако, следует отметить, что существует множество факторов, влияющих на частоту падения метеоритов и астероидов на Землю, таких как гравитационное воздействие других планет, расположение планет и астероидного пояса в Солнечной системе, а также наличие крупных тел в космическом пространстве, которые могут изменять траектории метеоритов и астероидов. Поэтому, необходимо проводить дополнительные исследования, чтобы установить точную связь между прохождением Земли через плоскость галактики и падением крупных метеоритов и астероидов на Землю.
Вопрос: В каком положении находится сейчас наша Солнечная система относительно плоскости нашей Галактики (вертикальное движение) и в каком направлении она движется?
Ответ: На данный момент наша Солнечная система находится недалеко от плоскости галактики, на расстоянии около 20-30 световых лет от нее.[...]
👍1
Data Analysis / Big Data
я создают сложное трехмерное движение Солнечной системы вокруг Галактического центра. Продолжительность этих колебаний зависит от многих факторов, включая расстояние от Солнца до Галактического центра, массу Галактики и другие параметры. Кроме того, так как…
Ориентация нашей Солнечной системы относительно плоскости галактики непостоянна и изменяется со временем в результате колебаний нашей галактики. Однако, на данный момент можно считать, что Солнечная система находится ближе к верхней стороне плоскости галактики, двигаясь в направлении констелляции Геркулеса.
Стоит отметить, что движение Солнечной системы в галактике - это не простое движение по прямой линии, а скорее сложное спиралеобразное движение вокруг центра галактики. При этом Солнечная система совершает один оборот вокруг центра галактики примерно каждые 230 миллионов лет.
Вопрос: Т.е. Солнечная Система сейчас движется по направлению от плоскости нашей Галактики?
Ответ: Нет, на данный момент Солнечная система не движется от плоскости галактики. Направление движения Солнечной системы относительно плоскости галактики изменяется со временем из-за колебаний нашей галактики. Однако, на данный момент можно считать, что Солнечная система находится ближе к верхней стороне плоскости галактики и движется в направлении констелляции Геркулеса.
Стоит отметить, что движение Солнечной системы в галактике - это не простое движение по прямой линии, а скорее сложное спиралеобразное движение вокруг центра галактики.
Какие выводы можно сделать на текущий момент.
1. ChatGPT может с невероятной скоростью находить и извлекать данные из своего колоссального хранилища. И эта база данных в будущих версиях будет только расти.
2. ChatGPT хорошо понимает своего собеседника и с ней легко и приятно общаться. Можно сказать, то у нее довольно высокий IQ. Выше среднего точно. Но при этом очень широкие знания на разные темы.
3. Вышеприведенный диалог занял 15-20 минут. Очень быстрый помощник по не тривиальным вопросам.
4. Довольно грамотно излагает свои мысли, хорошо строит фразы. Что можно использовать для быстрой подготовки текста.
5. Видимо... нам нужно будет скоро уметь только задавать правильные вопросы.
Читать: https://habr.com/ru/post/718718/
Стоит отметить, что движение Солнечной системы в галактике - это не простое движение по прямой линии, а скорее сложное спиралеобразное движение вокруг центра галактики. При этом Солнечная система совершает один оборот вокруг центра галактики примерно каждые 230 миллионов лет.
Вопрос: Т.е. Солнечная Система сейчас движется по направлению от плоскости нашей Галактики?
Ответ: Нет, на данный момент Солнечная система не движется от плоскости галактики. Направление движения Солнечной системы относительно плоскости галактики изменяется со временем из-за колебаний нашей галактики. Однако, на данный момент можно считать, что Солнечная система находится ближе к верхней стороне плоскости галактики и движется в направлении констелляции Геркулеса.
Стоит отметить, что движение Солнечной системы в галактике - это не простое движение по прямой линии, а скорее сложное спиралеобразное движение вокруг центра галактики.
Какие выводы можно сделать на текущий момент.
1. ChatGPT может с невероятной скоростью находить и извлекать данные из своего колоссального хранилища. И эта база данных в будущих версиях будет только расти.
2. ChatGPT хорошо понимает своего собеседника и с ней легко и приятно общаться. Можно сказать, то у нее довольно высокий IQ. Выше среднего точно. Но при этом очень широкие знания на разные темы.
3. Вышеприведенный диалог занял 15-20 минут. Очень быстрый помощник по не тривиальным вопросам.
4. Довольно грамотно излагает свои мысли, хорошо строит фразы. Что можно использовать для быстрой подготовки текста.
5. Видимо... нам нужно будет скоро уметь только задавать правильные вопросы.
Читать: https://habr.com/ru/post/718718/
👏1😁1
'Memory Saver' feature in Google Chrome may affect active usage of Oracle Analytics
Google Chrome Version 110 and Later 'Memory Saver' Feature May Affect Active Usage of Oracle Analytics
Read: https://blogs.oracle.com/analytics/post/memory-saver-feature-in-google-chrome-may-affect-active-usage-of-oracle-analytics
Google Chrome Version 110 and Later 'Memory Saver' Feature May Affect Active Usage of Oracle Analytics
Read: https://blogs.oracle.com/analytics/post/memory-saver-feature-in-google-chrome-may-affect-active-usage-of-oracle-analytics
Oracle
'Memory Saver' feature in Google Chrome may affect active usage of Oracle Analytics
Google Chrome Version 110 and Later 'Memory Saver' Feature May Affect Active Usage of Oracle Analytics
Create a Data Science Model for Oracle Analytics Cloud
Learn how to create a Project and Notebook session in OCI Data Science and build, train and save a Data Science model for OAC.
Read: https://blogs.oracle.com/analytics/post/create-a-data-science-model-for-oac
Learn how to create a Project and Notebook session in OCI Data Science and build, train and save a Data Science model for OAC.
Read: https://blogs.oracle.com/analytics/post/create-a-data-science-model-for-oac
Register a Data Science Model in Oracle Analytics Cloud
This blog explains how to successfully register an OCI Data Science Model in OAC.
Read: https://blogs.oracle.com/analytics/post/register-a-data-science-model-in-oac
This blog explains how to successfully register an OCI Data Science Model in OAC.
Read: https://blogs.oracle.com/analytics/post/register-a-data-science-model-in-oac
Invoke a Data Science Model from Oracle Analytics Cloud
This blog explains how to successfully invoke an OCI Data Science Model in OAC from data flows.
Read: https://blogs.oracle.com/analytics/post/invoke-a-data-science-model-from-oac
This blog explains how to successfully invoke an OCI Data Science Model in OAC from data flows.
Read: https://blogs.oracle.com/analytics/post/invoke-a-data-science-model-from-oac
Викторианская история больших данных
В весьма впечатлившей меня книге «Информация. История. Теория. Поток» Джеймса Глика, о которой я уже упоминал ранее, страннейшим образом обойдён вопрос о том, как возник феномен «Big Data». В той же книге упоминается первый авторский словарь английского языка, составленный в начале XVII века неким Кодри, а далее развивается идея о том, что феномен концептуализируется в языке после того, как попадает в словарь – в английской культуре таким словарём является оксфордский.
Тогда я попробовал проверить, когда же в английском и русском языке закрепилось понятие «BigData» и, соответственно, «большие данные». Распространено мнение, что выражение «BigData» впервые было употреблено в 2008 году в статье Клиффорда Линча «Big data: how do your data grow?», опубликованной в журнале «Nature», но даже это небольшое исследование подсказывает, что всё гораздо сложнее.
Читать: https://habr.com/ru/post/718846/
В весьма впечатлившей меня книге «Информация. История. Теория. Поток» Джеймса Глика, о которой я уже упоминал ранее, страннейшим образом обойдён вопрос о том, как возник феномен «Big Data». В той же книге упоминается первый авторский словарь английского языка, составленный в начале XVII века неким Кодри, а далее развивается идея о том, что феномен концептуализируется в языке после того, как попадает в словарь – в английской культуре таким словарём является оксфордский.
Тогда я попробовал проверить, когда же в английском и русском языке закрепилось понятие «BigData» и, соответственно, «большие данные». Распространено мнение, что выражение «BigData» впервые было употреблено в 2008 году в статье Клиффорда Линча «Big data: how do your data grow?», опубликованной в журнале «Nature», но даже это небольшое исследование подсказывает, что всё гораздо сложнее.
Читать: https://habr.com/ru/post/718846/
👍1
Как перебрать бэкенд так, чтобы для 20 миллионов юзеров всё прошло гладко?
На связи разработчики Дзена. На Дзене сотни тысяч авторов публикуют посты, лонгриды, длинные видео и короткие ролики, а умные алгоритмы подстраивают ленту под интересы миллионов пользователей.
За два года разработчики полностью переписали инфраструктуру — и ни юзеры, ни авторы контента не заметили перехода. В статье рассказали, как это удалось:
https://tprg.ru/fKMm
На связи разработчики Дзена. На Дзене сотни тысяч авторов публикуют посты, лонгриды, длинные видео и короткие ролики, а умные алгоритмы подстраивают ленту под интересы миллионов пользователей.
За два года разработчики полностью переписали инфраструктуру — и ни юзеры, ни авторы контента не заметили перехода. В статье рассказали, как это удалось:
https://tprg.ru/fKMm
👍2
Data Engineering Weekly #120
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-120
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-120
Особенности автоматического дифференцирования в PyTorch. Часть 1
Привет! На связи команда «БАРС Груп». Мы разработали и совершенствуем российскую BI-платформу Alpha BI. Это возможно благодаря таким фреймворкам, как PyTorch.
PyTorch активно развивается более пяти лет и представляет собой целую экосистему для создания моделей машинного обучения на основе глубоких нейронных сетей. У подобных ИТ-продуктов широкий спектр применения. В частности, они помогают научному и бизнес-сообществу проводить исследования, вести разведку данных и проверять гипотезы. Несмотря на то, что на сегодняшний день это один из самых популярных фреймворков машинного обучения в мире, в рунете пока довольно мало статей о его технических особенностях. Попытаемся это исправить
Читать: https://habr.com/ru/post/719196/
Привет! На связи команда «БАРС Груп». Мы разработали и совершенствуем российскую BI-платформу Alpha BI. Это возможно благодаря таким фреймворкам, как PyTorch.
PyTorch активно развивается более пяти лет и представляет собой целую экосистему для создания моделей машинного обучения на основе глубоких нейронных сетей. У подобных ИТ-продуктов широкий спектр применения. В частности, они помогают научному и бизнес-сообществу проводить исследования, вести разведку данных и проверять гипотезы. Несмотря на то, что на сегодняшний день это один из самых популярных фреймворков машинного обучения в мире, в рунете пока довольно мало статей о его технических особенностях. Попытаемся это исправить
Читать: https://habr.com/ru/post/719196/
Реализация мультиоблачной стратегии для Cloud Storage в Битрикс24
Битрикс24 — корпоративное SaaS-решение (Software as a Service, программное обеспечение как услуга), которым пользуются компании разного масштаба и профиля для коммуникации между сотрудниками, хранения файлов, документов, ведения CRM. Битрикс24 используют тысячи клиентов, каждый из которых генерирует и хранит на базе сервиса гигабайты и даже терабайты данных. Для их хранения используется объектное S3-хранилище Cloud Storage от VK Cloud.
Директор направления облачных сервисов Битрикс24 Александр Демидов рассказал команде VK Cloud, зачем понадобилось S3-хранилище, как его внедряли и интегрировали в архитектуру облачного сервиса Битрикс24.
Читать: https://habr.com/ru/post/717940/
Битрикс24 — корпоративное SaaS-решение (Software as a Service, программное обеспечение как услуга), которым пользуются компании разного масштаба и профиля для коммуникации между сотрудниками, хранения файлов, документов, ведения CRM. Битрикс24 используют тысячи клиентов, каждый из которых генерирует и хранит на базе сервиса гигабайты и даже терабайты данных. Для их хранения используется объектное S3-хранилище Cloud Storage от VK Cloud.
Директор направления облачных сервисов Битрикс24 Александр Демидов рассказал команде VK Cloud, зачем понадобилось S3-хранилище, как его внедряли и интегрировали в архитектуру облачного сервиса Битрикс24.
Читать: https://habr.com/ru/post/717940/
👍1
Generate OAC Snapshot using REST API
This blog will help you with the steps involved in generating OAC Snapshot using REST API
Read: https://blogs.oracle.com/analytics/post/generate-oac-snapshot-using-rest-api
This blog will help you with the steps involved in generating OAC Snapshot using REST API
Read: https://blogs.oracle.com/analytics/post/generate-oac-snapshot-using-rest-api
Oracle
Generate OAC Snapshot using REST API
This blog will help you with the steps involved in generating OAC Snapshot using REST API
Как ускорить пилотные проекты по анализу больших данных
Всем привет! Меня зовут Диляра. Я дата-сайентист команды разработки F5 Platform — low-code платформы для аналитики данных средних и крупных предприятий. Наша команда разрабатывает математический сервис продукта, алгоритмы обработки данных и модели для пресейл и пилотных проектов, а также занимается их запуском в эксплуатацию.
В статье я расскажу о том, с какими типовыми проблемами мы столкнулись при внедрении F5 Platform, какой инструмент разработали для их преодоления, и как он помог нам ускорить проведение пилотных проектов. Я хочу поделиться историей создания F5 Future — no-code сервиса приложений, призванного облегчить работу дата-сайентистов и бизнес-пользователей при проверке гипотез и проведении пилотных проектов по анализу данных.
Читать: https://habr.com/ru/post/719396/
Всем привет! Меня зовут Диляра. Я дата-сайентист команды разработки F5 Platform — low-code платформы для аналитики данных средних и крупных предприятий. Наша команда разрабатывает математический сервис продукта, алгоритмы обработки данных и модели для пресейл и пилотных проектов, а также занимается их запуском в эксплуатацию.
В статье я расскажу о том, с какими типовыми проблемами мы столкнулись при внедрении F5 Platform, какой инструмент разработали для их преодоления, и как он помог нам ускорить проведение пилотных проектов. Я хочу поделиться историей создания F5 Future — no-code сервиса приложений, призванного облегчить работу дата-сайентистов и бизнес-пользователей при проверке гипотез и проведении пилотных проектов по анализу данных.
Читать: https://habr.com/ru/post/719396/
❤1
«Еще умнее — еще проще для пользователя»: CEO Postgres Pro Олег Бартунов о будущем СУБД, open source и астрономии
Большие данные — вещь относительная. Посмотрите на любого блогера: он генерирует кучу данных, в его телефоне десятки, а то и сотни гигабайтов изображений и видео. Если он не может обработать их с помощью подручных средств, их вполне можно считать большими данными.
При этом оцифрованная Библиотека конгресса в США совсем маленькая, хранить ее у себя дома может любой. Телескопы, на которых работают в Америке, могут производить несколько десятков терабайт за одну ночь. А радиотелескоп, размер которого квадратный километр, будет производить петабайты.
Читать: https://habr.com/ru/post/719424/
Большие данные — вещь относительная. Посмотрите на любого блогера: он генерирует кучу данных, в его телефоне десятки, а то и сотни гигабайтов изображений и видео. Если он не может обработать их с помощью подручных средств, их вполне можно считать большими данными.
При этом оцифрованная Библиотека конгресса в США совсем маленькая, хранить ее у себя дома может любой. Телескопы, на которых работают в Америке, могут производить несколько десятков терабайт за одну ночь. А радиотелескоп, размер которого квадратный километр, будет производить петабайты.
Читать: https://habr.com/ru/post/719424/
Чего компании ждут от специалистов по Data Science в 2023 году
Проанализировали несколько десятков вакансий и выяснили, что должен знать и уметь специалист по Data Science в 2023 году.
Читать: «Чего компании ждут от специалистов по Data Science в 2023 году»
Проанализировали несколько десятков вакансий и выяснили, что должен знать и уметь специалист по Data Science в 2023 году.
Читать: «Чего компании ждут от специалистов по Data Science в 2023 году»
Дайджест Python #4: версия 3.12 и свой GPT за 60 строк кода
Собрали дайджест из лучших статей и новостей о Python с 14 по 28 февраля. Дайджест включает статьи и видео на русском и английском языках.
Читать: «Дайджест Python #4: версия 3.12 и свой GPT за 60 строк кода»
Собрали дайджест из лучших статей и новостей о Python с 14 по 28 февраля. Дайджест включает статьи и видео на русском и английском языках.
Читать: «Дайджест Python #4: версия 3.12 и свой GPT за 60 строк кода»
👍1
Practical issues in observational studies
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/03/practical-issues-in-observational-studies.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/03/practical-issues-in-observational-studies.html
👍1
Большие данные мертвы. Это нужно принять
Уже более десяти лет тот факт, что люди с трудом извлекают из своих данных полезную информацию, сбрасывают на чересчур большой размер этих данных. «Объем собираемой информации слишком велик для ваших хилых систем», — такой нам ставили диагноз. А лекарство, соответственно, заключалось в том, чтобы купить какую-нибудь новую причудливую технологию, которая сможет работать в больших масштабах. Конечно, после того, как целевая группа по Big Data покупала новые инструменты и мигрировала с устаревших систем, компании снова обнаруживали, что у них по-прежнему возникают проблемы с пониманием своих данных.
В результате постепенно некоторые начинали понимать, что размер данных вообще не был проблемой.
Мир в 2023 году выглядит иначе, чем когда зазвенели первые тревожные звоночки по поводу Big Data. Катаклизм обработки информации, который все предсказывали, не состоялся. Объемы данных, возможно, немного возросли, но возможности аппаратного обеспечения росли еще быстрее. Поставщики услуг все еще продвигают свои возможности масштабирования, но люди, которые сталкиваются с ними на практике, начинают задаваться вопросом, как они вообще связаны с их реальными проблемами.
А дальше будет и того интереснее.
Читать: https://habr.com/ru/post/720058/
Уже более десяти лет тот факт, что люди с трудом извлекают из своих данных полезную информацию, сбрасывают на чересчур большой размер этих данных. «Объем собираемой информации слишком велик для ваших хилых систем», — такой нам ставили диагноз. А лекарство, соответственно, заключалось в том, чтобы купить какую-нибудь новую причудливую технологию, которая сможет работать в больших масштабах. Конечно, после того, как целевая группа по Big Data покупала новые инструменты и мигрировала с устаревших систем, компании снова обнаруживали, что у них по-прежнему возникают проблемы с пониманием своих данных.
В результате постепенно некоторые начинали понимать, что размер данных вообще не был проблемой.
Мир в 2023 году выглядит иначе, чем когда зазвенели первые тревожные звоночки по поводу Big Data. Катаклизм обработки информации, который все предсказывали, не состоялся. Объемы данных, возможно, немного возросли, но возможности аппаратного обеспечения росли еще быстрее. Поставщики услуг все еще продвигают свои возможности масштабирования, но люди, которые сталкиваются с ними на практике, начинают задаваться вопросом, как они вообще связаны с их реальными проблемами.
А дальше будет и того интереснее.
Читать: https://habr.com/ru/post/720058/
👍1