Ищем человека, который будет строить сообщество по темам Python / Data Science / AI в Tproger
Если вы довольно неплохо разбираетесь в этих темах и при этом видите в себе желание рассказывать об этом другим разработчикам и вовлекать их в горячие обсуждения — возможно, это именно ваша вакансия.
Подробности, тестовое задание и отклик здесь: https://tprg.ru/GEZL
Если вы довольно неплохо разбираетесь в этих темах и при этом видите в себе желание рассказывать об этом другим разработчикам и вовлекать их в горячие обсуждения — возможно, это именно ваша вакансия.
Подробности, тестовое задание и отклик здесь: https://tprg.ru/GEZL
An Engineering Guide to Data Creation - A Data Contract perspective - Part 1
Read: https://www.dataengineeringweekly.com/p/an-engineering-guide-to-data-creation
Read: https://www.dataengineeringweekly.com/p/an-engineering-guide-to-data-creation
Data Engineering Weekly #124
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-124
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-124
Andrej Karpathy: глубокие нейросети 33 года назад и 33 года спустя
На мой взгляд, статья Янна Лекуна с соавторами Backpropagation Applied to Handwritten Zip Code Recognition (1989 год) имеет определённую историческую ценность, поскольку, насколько мне известно, это первое реальное применение нейронной сети, от начала до конца обученной при помощи обратного распространения (backpropagation). Если не учитывать крошечный датасет (7291 изображений цифр в градациях серого размером 16x16) и крошечный размер использованной нейронной сети (всего тысяча нейронов), эта статья спустя 33 года ощущается вполне современной — в ней описана структура датасета, архитектура нейронной сети, функция потерь, оптимизация и приведены отчёты об величинах экспериментальных ошибок классификации для обучающего и тестового датасетов. Всё это очень узнаваемо и воспринимается как современная статья о глубоком обучении, только написанная 33 года назад. Я решил воспроизвести эту статью 1) для развлечения, а ещё 2) чтобы использовать это упражнение как исследование природы прогресса глубокого обучения.
Читать: https://habr.com/ru/post/724286/
На мой взгляд, статья Янна Лекуна с соавторами Backpropagation Applied to Handwritten Zip Code Recognition (1989 год) имеет определённую историческую ценность, поскольку, насколько мне известно, это первое реальное применение нейронной сети, от начала до конца обученной при помощи обратного распространения (backpropagation). Если не учитывать крошечный датасет (7291 изображений цифр в градациях серого размером 16x16) и крошечный размер использованной нейронной сети (всего тысяча нейронов), эта статья спустя 33 года ощущается вполне современной — в ней описана структура датасета, архитектура нейронной сети, функция потерь, оптимизация и приведены отчёты об величинах экспериментальных ошибок классификации для обучающего и тестового датасетов. Всё это очень узнаваемо и воспринимается как современная статья о глубоком обучении, только написанная 33 года назад. Я решил воспроизвести эту статью 1) для развлечения, а ещё 2) чтобы использовать это упражнение как исследование природы прогресса глубокого обучения.
Читать: https://habr.com/ru/post/724286/
NULL в SQL: Что это такое и почему его знание необходимо каждому разработчику
NULL - это специальное значение, которое используется в SQL для обозначения отсутствия данных. Оно отличается от пустой строки или нулевого значения, так как NULL означает отсутствие какого-либо значения в ячейке таблицы.
История появления NULL в SQL довольно интересна и длинна. В начале 1970-х годов Д. Камерер (D. Chamberlin) и Р. Бойд (R. Boyce) предложили использовать реляционную модель для полной замены иерархических и сетевых моделей данных, которые были актуальны в то время. Полная замена предполагала возможность хранения значений NULL в таблицах структуры базы данных.
Первоначально, NULL был создан как интегральный элемент реляционной модели данных. Это означало, что NULL мог быть использован в качестве значения для любого типа данных (целого числа, строки и т.д.) или даже целой строки (например, таких значений как "неизвестно" или "нет данных").
Когда была разработана SQL, NULL был реализован как специальное значение или маркер, который указывает на отсутствие значения в столбце. Таким образом, в SQL NULL означает отсутствие значения или неопределенное значение.
Однако, NULL создал некоторые проблемы при работе с данными в SQL. Например, если вы выполняете операцию на столбце, содержащем NULL значение, результат операции также будет NULL. Это означает, что использование NULL может приводить к нежелательным результатам, таким как непредсказуемое поведение.
Однако, важно понимать, что NULL не обязательно означает отсутствие информации или отсутствие значения в столбце. NULL может быть использован для разных целей, таких как указание на неопределенный результат для вычислений или как маркер для отметки отсутствия значения в таблице.
Читать: https://habr.com/ru/post/725214/
NULL - это специальное значение, которое используется в SQL для обозначения отсутствия данных. Оно отличается от пустой строки или нулевого значения, так как NULL означает отсутствие какого-либо значения в ячейке таблицы.
История появления NULL в SQL довольно интересна и длинна. В начале 1970-х годов Д. Камерер (D. Chamberlin) и Р. Бойд (R. Boyce) предложили использовать реляционную модель для полной замены иерархических и сетевых моделей данных, которые были актуальны в то время. Полная замена предполагала возможность хранения значений NULL в таблицах структуры базы данных.
Первоначально, NULL был создан как интегральный элемент реляционной модели данных. Это означало, что NULL мог быть использован в качестве значения для любого типа данных (целого числа, строки и т.д.) или даже целой строки (например, таких значений как "неизвестно" или "нет данных").
Когда была разработана SQL, NULL был реализован как специальное значение или маркер, который указывает на отсутствие значения в столбце. Таким образом, в SQL NULL означает отсутствие значения или неопределенное значение.
Однако, NULL создал некоторые проблемы при работе с данными в SQL. Например, если вы выполняете операцию на столбце, содержащем NULL значение, результат операции также будет NULL. Это означает, что использование NULL может приводить к нежелательным результатам, таким как непредсказуемое поведение.
Однако, важно понимать, что NULL не обязательно означает отсутствие информации или отсутствие значения в столбце. NULL может быть использован для разных целей, таких как указание на неопределенный результат для вычислений или как маркер для отметки отсутствия значения в таблице.
Читать: https://habr.com/ru/post/725214/
Весенний бум: 6 востребованных IT-специальностей
Собрали для вас список из шести перспективных IT-профессий, где уже сейчас остро требуются толковые специалисты.
Читать: «Весенний бум: 6 востребованных IT-специальностей»
Собрали для вас список из шести перспективных IT-профессий, где уже сейчас остро требуются толковые специалисты.
Читать: «Весенний бум: 6 востребованных IT-специальностей»
Tproger
Востребованные IT специальности: данные, роботы и этика ИИ
Собрали для вас список из шести перспективных IT-профессий, где уже сейчас остро требуются толковые специалисты.
👍1
Весенний бум: 6 востребованных IT-специальностей
Собрали для вас список из шести перспективных IT-профессий, где уже сейчас остро требуются толковые специалисты.
Читать: «Весенний бум: 6 востребованных IT-специальностей»
Собрали для вас список из шести перспективных IT-профессий, где уже сейчас остро требуются толковые специалисты.
Читать: «Весенний бум: 6 востребованных IT-специальностей»
Tproger
Востребованные IT специальности: данные, роботы и этика ИИ
Собрали для вас список из шести перспективных IT-профессий, где уже сейчас остро требуются толковые специалисты.
Ультимативная дорожная карта для изучения SQL и баз данных в 2023 году + источники для знаний
Roadmap, который поможет вам научиться работать с SQL. Чтобы стать настоящим экспертом в SQL, нужно много практиковаться и изучать различные аспекты языка на протяжении многих лет. Мой Roadmap предлагает отличный старт для начала изучения SQL, поэтому я рекомендую вам приступить к обучению согласно плану.
Читать: https://habr.com/ru/post/725414/
Roadmap, который поможет вам научиться работать с SQL. Чтобы стать настоящим экспертом в SQL, нужно много практиковаться и изучать различные аспекты языка на протяжении многих лет. Мой Roadmap предлагает отличный старт для начала изучения SQL, поэтому я рекомендую вам приступить к обучению согласно плану.
Читать: https://habr.com/ru/post/725414/
🔥4
By how much did observational studies over-estimate Covid vaccine effectiveness
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/03/by-how-much-did-observational-studies-over-estimate-covid-vaccine-effectiveness.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/03/by-how-much-did-observational-studies-over-estimate-covid-vaccine-effectiveness.html
Using Oracle Fusion HCM Analytics to reconcile Data Integrity – Analyze, understand, and action on fusion rejects
Making informed decisions requires two key components: fostering data literacy within your organization company and keeping reliable data in your underlying transaction system. Read this post to understand how Fusion Analytics helps you on both fronts by identifying erroneous transactions in source Cloud HCM.
Read: https://blogs.oracle.com/analytics/post/hcm-analytics-rejects-guidance
Making informed decisions requires two key components: fostering data literacy within your organization company and keeping reliable data in your underlying transaction system. Read this post to understand how Fusion Analytics helps you on both fronts by identifying erroneous transactions in source Cloud HCM.
Read: https://blogs.oracle.com/analytics/post/hcm-analytics-rejects-guidance
Oracle
FAW hcm analytics rejects error codes fixes
Fusion Analytics is intended to be an analytical warehousing solution to address a variety of business queries and assist enterprises in making wise judgments.
Making informed judgments requires two key components: fostering data literacy within the company…
Making informed judgments requires two key components: fostering data literacy within the company…
Oracle Analytics Server (OAS) 2023 Update (7.0.0) is live
Oracle Analytics Server (OAS) 2023 Update (7.0.0) is live
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-oas-2023-update-700-is-live
Oracle Analytics Server (OAS) 2023 Update (7.0.0) is live
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-oas-2023-update-700-is-live
Oracle
Oracle Analytics Server (OAS) 2023 Update (7.0.0) is live
131 вопрос с собеседованиях про SQL
SQL является одним из самых популярных языков для работы с базами данных. Каждый, кто работает с данными, должен знать основы SQL, включая такие понятия, как создание и модификация таблиц, выборка данных из таблиц, обновление и удаление записей, агрегирование данных и многое другое. Если вы ищете работу, связанную с базами данных, вероятность высока, что на собеседовании вам зададут несколько вопросов про SQL. Подготовьтесь к собеседованию c помощью списка из 131 вопроса, которые могут попасться на собеседование про SQL.
Пройти собеседование
Читать: https://habr.com/ru/post/725780/
SQL является одним из самых популярных языков для работы с базами данных. Каждый, кто работает с данными, должен знать основы SQL, включая такие понятия, как создание и модификация таблиц, выборка данных из таблиц, обновление и удаление записей, агрегирование данных и многое другое. Если вы ищете работу, связанную с базами данных, вероятность высока, что на собеседовании вам зададут несколько вопросов про SQL. Подготовьтесь к собеседованию c помощью списка из 131 вопроса, которые могут попасться на собеседование про SQL.
Пройти собеседование
Читать: https://habr.com/ru/post/725780/
🔥1
Как я из специалиста по защите информации стал аналитиком данных. Моя история
Привет, хабр! Меня зовут Алексей, я работаю аналитиком данных в компании "Мегапьютер", но я не сразу стал им. Чтобы понять, кем я действительно хочу работать, потребовалось время.
В 2017 я закончил ЧГУ (Чебоксарский Государственный Университет) по специальности защита информации, но и начал свой трудовой путь в телекоммуникационной компании специалистом по защите информации.
И пошло-поехало первое, что я делал, приходя на работу изо дня в день - проверял свой почтовый ящик на наличие уведомлений о событиях информационной безопасности (ИБ). Данные уведомления поступали из различных источников, включая системы обнаружения вторжений, брандмауэры и антивирусное программное обеспечение. Специалист по ИТ-безопасности, то есть я, должен знать эти предупреждения, чтобы определить, представляют ли они реальную угрозу или ложное срабатывание.
При определении события, как инцидент ИБ, я должен был немедленно отреагировать на него. Мне требовалось определить источник атаки и принять меры для его сдерживания, предотвращения дальнейшего ущерба и восстановления потерянных данных. Этот процесс мог занимать много времени и требовал огромного терпения и выдержки.
В общем, такая работа постоянно держала меня в напряжении и не давала полета творчества. И самое главное, я был загнан в рамки свода правил, определенных федеральными законами.
Но я продолжал работать. Что, зря учился, что ли, думал я. И все это длилось бы долгие и долгие годы, если случайно в торговом центре я не встретил своего бывшего одноклассника, который, как оказалось, уже несколько лет успешно работал аналитиком данных. Он интересно рассказывал мне о характере своей деятельности, основных обязанностях. Придя домой, под впечатлением рассказа друга, я стал изучать информацию о данной профессии в интернете. Заказал книгу Эрика Сигеля «Просчитать будущее: Кто кликнет, купит, соврет или умрет», открывающую завесу профессии аналитика данных.
Читать: https://habr.com/ru/post/725896/
Привет, хабр! Меня зовут Алексей, я работаю аналитиком данных в компании "Мегапьютер", но я не сразу стал им. Чтобы понять, кем я действительно хочу работать, потребовалось время.
В 2017 я закончил ЧГУ (Чебоксарский Государственный Университет) по специальности защита информации, но и начал свой трудовой путь в телекоммуникационной компании специалистом по защите информации.
И пошло-поехало первое, что я делал, приходя на работу изо дня в день - проверял свой почтовый ящик на наличие уведомлений о событиях информационной безопасности (ИБ). Данные уведомления поступали из различных источников, включая системы обнаружения вторжений, брандмауэры и антивирусное программное обеспечение. Специалист по ИТ-безопасности, то есть я, должен знать эти предупреждения, чтобы определить, представляют ли они реальную угрозу или ложное срабатывание.
При определении события, как инцидент ИБ, я должен был немедленно отреагировать на него. Мне требовалось определить источник атаки и принять меры для его сдерживания, предотвращения дальнейшего ущерба и восстановления потерянных данных. Этот процесс мог занимать много времени и требовал огромного терпения и выдержки.
В общем, такая работа постоянно держала меня в напряжении и не давала полета творчества. И самое главное, я был загнан в рамки свода правил, определенных федеральными законами.
Но я продолжал работать. Что, зря учился, что ли, думал я. И все это длилось бы долгие и долгие годы, если случайно в торговом центре я не встретил своего бывшего одноклассника, который, как оказалось, уже несколько лет успешно работал аналитиком данных. Он интересно рассказывал мне о характере своей деятельности, основных обязанностях. Придя домой, под впечатлением рассказа друга, я стал изучать информацию о данной профессии в интернете. Заказал книгу Эрика Сигеля «Просчитать будущее: Кто кликнет, купит, соврет или умрет», открывающую завесу профессии аналитика данных.
Читать: https://habr.com/ru/post/725896/
👍2❤1😁1
Long story behind simple metrics
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/03/long-story-behind-simple-metrics.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/03/long-story-behind-simple-metrics.html
20 практических советов для разработчиков использующих базы данных SQL
Практически все разрабатываемые системы включают использование баз данных, часто база данных, ее проектирование и обработка являются ключевыми аспектами системы в отношении добавления стоимости бизнесу, безопасности, производительности, организационной политики и других факторов, которые делают этот слой наших приложений чрезвычайно важным и заслуживающим особого внимания со стороны нас в роли разработчиков.
Я всегда сторонник мнения, что для разработчика рекомендуется иметь некоторое понимание о том, как работают базы данных.
Учитывая огромное количество различных рекомендаций и советов по использованию баз данных, этот простой список, содержащийся в данной статье, представляет лишь часть того, что может быть рассмотрено.
Читать: https://habr.com/ru/post/726376/
Практически все разрабатываемые системы включают использование баз данных, часто база данных, ее проектирование и обработка являются ключевыми аспектами системы в отношении добавления стоимости бизнесу, безопасности, производительности, организационной политики и других факторов, которые делают этот слой наших приложений чрезвычайно важным и заслуживающим особого внимания со стороны нас в роли разработчиков.
Я всегда сторонник мнения, что для разработчика рекомендуется иметь некоторое понимание о том, как работают базы данных.
Учитывая огромное количество различных рекомендаций и советов по использованию баз данных, этот простой список, содержащийся в данной статье, представляет лишь часть того, что может быть рассмотрено.
Читать: https://habr.com/ru/post/726376/
❤3👍1
Data Engineering Weekly #125
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-125
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-125
Пять причин, по которым вам нужны синтетические данные
Сбор и разметка данных в реальном мире может быть длительным и дорогостоящим занятием. Кроме того, у этих данных могут быть проблемы с качеством, разнообразием и количеством. К счастью, подобные проблемы можно решать при помощи синтетических данных.
Для обучения модели машинного обучения нужны данные. Задачи data science обычно непохожи на соревнования Kaggle, где у вас есть отличный крупный датасет с готовой разметкой. Иногда приходится собирать, упорядочивать и очищать данные самостоятельно. Такой процесс сбора и разметки данных в реальном мире может быть долгим, неудобным, неточным, а иногда и опасным. Более того, в конце этого процесса может оказаться, что полученные в реальном мире данные не соответствуют вашим требованиям с точки зрения качества, разнообразия (например, дисбаланс классов) и количества.
Читать: https://habr.com/ru/post/725810/
Сбор и разметка данных в реальном мире может быть длительным и дорогостоящим занятием. Кроме того, у этих данных могут быть проблемы с качеством, разнообразием и количеством. К счастью, подобные проблемы можно решать при помощи синтетических данных.
Для обучения модели машинного обучения нужны данные. Задачи data science обычно непохожи на соревнования Kaggle, где у вас есть отличный крупный датасет с готовой разметкой. Иногда приходится собирать, упорядочивать и очищать данные самостоятельно. Такой процесс сбора и разметки данных в реальном мире может быть долгим, неудобным, неточным, а иногда и опасным. Более того, в конце этого процесса может оказаться, что полученные в реальном мире данные не соответствуют вашим требованиям с точки зрения качества, разнообразия (например, дисбаланс классов) и количества.
Читать: https://habr.com/ru/post/725810/
Oracle Analytics Server is Available on Oracle Cloud Marketplace
Oracle Analytics Server (OAS) is available on Oracle Cloud Marketplace to make deployment on Oracle Cloud Infrastructure (OCI) quick and easy. With just a few short clicks, you have a fully configurable Oracle Analytics Server instance deployed securely in OCI.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-servernow-available-on-oci-marketplace
Oracle Analytics Server (OAS) is available on Oracle Cloud Marketplace to make deployment on Oracle Cloud Infrastructure (OCI) quick and easy. With just a few short clicks, you have a fully configurable Oracle Analytics Server instance deployed securely in OCI.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-servernow-available-on-oci-marketplace
Oracle
Oracle Analytics Server is Available on Oracle Cloud Marketplace
Oracle Analytics Server (OAS) is available on Oracle Cloud Marketplace to make deployment on Oracle Cloud Infrastructure (OCI) quick and easy. With just a few short clicks, you have a fully configurable Oracle Analytics Server instance deployed securely in…
Oracle Analytics Server 2022 is available!
Oracle announces the availability of our customer-managed analytics platform: Oracle Analytics Server 2022. This is the next generation of Oracle Business Intelligence Enterprise Edition (OBIEE) and a great path to modernization for anyone needing to deploy analytics on-premises or customer-managed in the cloud.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-2022-v64-is-available
Oracle announces the availability of our customer-managed analytics platform: Oracle Analytics Server 2022. This is the next generation of Oracle Business Intelligence Enterprise Edition (OBIEE) and a great path to modernization for anyone needing to deploy analytics on-premises or customer-managed in the cloud.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-2022-v64-is-available
Oracle
Oracle Analytics Server 2022 is available!
Oracle announces the availability of our customer-managed analytics platform: Oracle Analytics Server 2022. This is the next generation of Oracle Business Intelligence Enterprise Edition (OBIEE) and a great path to modernization for anyone needing to deploy…
Oracle Analytics Server 2023 is available
Oracle announces the availability of our customer-managed analytics platform: Oracle Analytics Server 2023. This is the next generation of Oracle Business Intelligence Enterprise Edition (OBIEE) and a great path to modernization for anyone needing to deploy analytics on-premises or customer-managed in the cloud. Extend with AI & ML, access, enrich and model data, visualize data with OAS 2023.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-2023-is-available
Oracle announces the availability of our customer-managed analytics platform: Oracle Analytics Server 2023. This is the next generation of Oracle Business Intelligence Enterprise Edition (OBIEE) and a great path to modernization for anyone needing to deploy analytics on-premises or customer-managed in the cloud. Extend with AI & ML, access, enrich and model data, visualize data with OAS 2023.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-2023-is-available
Oracle
Oracle Analytics Server 2023 is available
Oracle announces the availability of our customer-managed analytics platform: Oracle Analytics Server 2023. This is the next generation of Oracle Business Intelligence Enterprise Edition (OBIEE) and a great path to modernization for anyone needing to deploy…