В начале года компания Mozilla объявляла о закрытии своего проекта Test Pilot, в рамках которого пользователям предлагалось использовать в формате раннего доступа некоторые проекты компании. Но вчера в блоге компании появилась запись, что программа возвращается и пользователям предлагается протестировать работу сервиса Firefox Private Network. Данный сервис позволяет пользователю в любой момент обеспечить защищенное проксирование траффика от своего устройства до серверов Mozilla. Из ключевых особенностей - траффик будет шифроваться, а адреса назначения будут скрыты. Компания позиционирует сервис как средство для создания защищенного соединения для тех, кто опасается за свои данные в не доверенных сетях - например, при подключении к публичным сетям WiFi. Очевидно, что данный сервис будут использовать и для обхода блокировок и, возможно, именно поэтому на данный момент тестирование открыто только для пользователей из США.

https://blog.mozilla.org/blog/2019/09/10/firefoxs-test-pilot-program-returns-with-firefox-private-network-beta/

После предыдущего поста у меня завязалас беседа в Телеграме со знакомым на тему того, что проксирование трафика (доступное в браузере из коробки) можно использовать для обхода блокировок. Фича концептуально не новая (и даже очень старая) и подобной реализацией можно было пользоваться испокон времен из браузера Opera. В процессе обсуждения прозвучала фраза, что для анонимизации траффика важную роль сыграют протоколы DoT/DoH (то есть резолв DNS записей через TLS и HTTPS протоколам) и eSNI (сокрытие домена запрашиваемого ресурса при запросе). Эти технические решения безусловно нужные и в первую очередь они необходимы во время присутствия устройств в сомнительных сетях. Что, собственно, и пишет Mozilla.

Но! Меня крайне смущает, что на волне регулирования интернета и блокировок Телеграма в качестве противодействия этим процессам в интернете расцвели сервисы, предоставляющие услуги доступа к VPN, и ожили различные старые-добрые (а иногда не добрые) костыли для проксирования трафика (особый привет такому легаси как SOCKS-прокси). И использование данных сервисов на каждом углу подаётся как некое средство анонимизации трафика, что безусловно вводит рядового пользователя в заблуждение. То есть прям вот здесь появляется тонкая спекулятивная полуправда. Например, тот же Телеграм уже сколько лет заявляет, насколько он безопасен, хотя очевидно, что при закрытом бэкенде и наличием п2п шифрованием только в секретных чатах - непонятно вообще зачем об этом говорить. Итак, проблематика публичных сервисов VPN в том, что вы скрываете трафик от вашего устройства до сервиса, предоставляющего вам услугу. А что с ним будет делать сервис узнать в общем-то не представляется возможным и в альтруизм последних мне как-то совсем не верится. С тем же DNS over HTTPS ситуация схожа - вы скрываете к каким доменам обращаетесь, но ценой того, что этот протокол кроме того, что явно более медленный, чем обычный не шифрованный DNS, так и вы всё равно оставляете свои следы на сервисе какой-либо коммерческой компании, предоставляющей вам доступ к такому DNS-серверу. А слово "коммерческая" как бы намекает, что компания ставит своей первоочередной целью получение прибыли на всём, что она делает.

Я не пытаюсь сказать, что эти технологии плохие или не нужны, но надо явно понимать, где они и для кого скрывают пользовательские данные, а где открывают. Слепое их использование — это не то, к чему все должно прийти. К слову, Mozilla в своем браузере активно внедряет DoH через Cloudflare и это прям ну такое... И не всех это устраивает. Например, ребята из OpenBSD отключают в поставляемом с операционной системой Firefox это функцию и пишут, что и не думают её когда-либо включать.

Ссылка для проформы на почитать: https://ungleich.ch/en-us/cms/blog/2019/09/11/turn-off-doh-firefox/

Франция договорилась с Германией в противостоянии новой криптовалюте Facebook - Libra. Основная причина, называемая властями: "угроза монетарному суверинетету Европы". То есть другими словами страны боятся, что данная валюта сможет влиять на экономику этих государств и они ничего не смогут с этим поделать.
Всё в общем правильно, ведь цель любого государства - это контроль за всем, иначе внешняя угроза может разрушить страну просто перестав выдавать те самые криптомонеты. Но по сути, мне кажется, имеется ввиду скорее другое. Если есть какая-то валюта, которая ни к чему не привязана, то, например, нельзя самой Франции или Германии влиять эти деньги никак: не допечатать, не изъять, не указать свой курс. Да и вообще большая часть функционала стран отмирает, а зачем им терять столь могущественный механизм и без всякой выгоды для себя? https://www.reuters.com/article/us-facebook-cryptocurrency-france-german/france-and-germany-agree-to-block-facebooks-libra-idUSKCN1VY1XU

Toyota подтвердила, что будет включать Amazon Alexa как голосового ассистента в автомобилях Prius модельного ряда 2020 года. Также там будет и возможность подключения телефона по CarPlay, то есть будут все основные ассистенты кроме Google Assistant. Вообще это - наверное, первый случай когда голосовой ассистент будет в машине по-умолчанию, что, безусловно, радует, потому что все попытки автопроизводителей сделать даже нормальное распознавание речи выглядят как издевательство над покупателями. Ни о каких умных функциях тут лучше вообще не говорить.
Alexa, как самый продвинутый и популярный в США ассистент, кажется очевидным выбором, а её появление в автомобиле - выигрыш как для Toyota так и для Amazon. У последних уже есть Echo Auto - маленькая коробочка для установки ассистента в машине, которая по-моему уже хороша. При всей своей незамысловатости (даже цена - $25) она умеет очень хорошо распознавать речь (я насчитал 8 отверстий микрофонов только на передней панели) и адаптирована в расчёте на автомобильное использование. Ну а если учитывать, что у ассистента будет полная интеграция, в том числе независимое подключение к интернету и вывод картинки прямо на центральный дисплей - возможностей использования будет очень много. https://www.engadget.com/2019/09/13/toyota-prius-2020-carplay-alexa-standard/

Мы уже писали о высокоскоростных сетях связи в России. В том числе и о том, что осуществлялся пробный видеозвонок между Россией и Финляндией. И о том, что проводился турнир по небезызвестной игре Dota 2 с использованием технологий 5G и Cloud Gaming.

Наверное, прозвучит странно и даже немного фантастически, но в процессе недавнего тестирования возможностей сетей 5G Мегафону удалось достичь рекордной отметки скорости соединения в 2,46 Гбит/с. И это, безусловно, впечатляет. Тестирование производилось на вполне себе обычном оборудовании - базовая станция AirScale и смартфон от Sony с чипсетом Qualcomm Snapdragon, фотография которого находится под этим постом. В ходе эксперимента на современных смартфонах проводилась передача данных и пакетных соединений, загрузка файлов, голосовые и видеозвонки.

То, что в России продвигается этот стандарт связи дарит луч надежды, что мы не будем отставать в этом направлении от остального мира. Умные дома, интернет вещей, видео-трансляции высокого разрешения уже сегодня нам уже не кажутся чем-то заоблачным, и удобство всех этих технологий требует нового скоростного стандарта связи, которым и попытается стать 5G.

Volkswagen тем временем тоже занялись улучшением компьютерной части в своих автомобилях. И планы у немцев даже масштабней многих - они хотят сделать полностью свою собственную операционную систему, которая будет управлять всеми узлами машины вплоть до развлекательной части. Это - большой шаг, который показывает, что производитель наконец понял всю важность программного обеспечения в своих продуктах, чего до этого, кажется, не было ни у кого.
Прямо сейчас машины делают из узлов разного производства, к каждому из которых софт пишется отдельно. Таким образом вы можете легко купить транспорт, в котором до 70 таких отдельных узлов, а программы к ним писали до 200 разных компаний. Настроить взаимодействие всех этих программных продуктов, тем более в такой опасной штуке как машина - задача не из лёгких. А чтобы выжать максимум производительности, в любом случае, понадобится возможность изменять эти программы самостоятельно, то есть понимать их досконально. Поэтому VW пришли к выводу, что лучше всего сделать всё самим - порой легче написать с нуля, нежели пытаться оживить франкенштейна. И вот, ещё одни поняли, что IT определяет часть успеха и заниматься софтом в своих продуктах - также их ключевая компетенция. https://arstechnica.com/cars/2019/09/volkswagen-audi-porsche-vw-group-plans-one-os-to-rule-them-all/

17 сентября, вечером, в Москве пройдёт конференция для разработчиков, посвящённая Kubernetes и тому, как с его помощью работать с базами данных - "Statefull в Kubernetes". Спикеры будут и из Couchbase, довольно популярной сегодня БД, и из Tarantool - продукта Mailru, который сам по себе довольно интересен, Altinity будут рассказывать о ClickHouse - они собаку съели на его развёртке, в общем все будут по теме и в тему.

Мегафон, проводящий конференцию, тоже расскажет о том, как у них используют Kubernetes и почему с его помощью они решили развёртывать базы данных. Участие бесплатно, мероприятие недолгое - чуть больше 2х часов, поэтому всем кто хочет обсудить данную тему стоит туда сходить.

Подробности и регистрация по ссылке: https://pao-megafon--org.timepad.ru/event/1056036/

Пост для любителей химии ;)
Классическое машинное обучение (как поиск корреляций в многомерных пространствах), ценимое аналитиками, позволяет увидеть зависимости, ускользающие от человеческого взгляда в слишком больших массивах данных.
Что будет, если на массивы данных различных химических соединений напустить ML? Откроет ли алгоритм Периодическую таблицу Менделеева?
Оказывается да, а ещё немало интересного сообщит о таких свойствах элементов, которые явным образом из Таблицы не видны:)
https://www.chemistryworld.com/opinion/machine-learning-mendeleevs-have-rediscovered-the-periodic-table/3010720.article
(Спасибо Саше @shpaker за эту ссылку в одном славном чатике ;))

Новость совсем не свежая. Но почему-то она недавно снова мелькнула на некоторых англоязычных новостных порталах и мне захотелось ею поделиться.

Пару лет назад Microsoft открыла исходные коды симулятора для отладки автономных транспортных средств, в качестве которых могут выступать, как и наземный транспорт, так и воздушный (например, квадракоптеры). Симулятор основан на Unreal Engine, но есть и экспериментальная сборка на Unity. Кроссплатформенность из коробки - для Windows представлены даже бинарные файлы для загрузки, а для Linux только инструкция для сборки проекта. Симулятор предоставляет пользователю API как для управления транспортным средством, передвигающемуся по виртуальному миру, так и для получения информации о состояния окружения и различным данным самого симулятора. Любопытно, что пользователю предлагается проводить базовое обучение транспортного средства в этом же мире и для этого есть даже такие возможности как смена времени суток и влияние на погодные условия (что в реальном мире абсолютно не подконтрольно разработчику).

Графика в симуляторе вполне хорошая и в ней нет избыточной схематичности, что вполне можно было ожидать от такого проекта. Исходные коды выложены под лицензией MIT. И что особо приятно, что симулятор за пару лет не был заброшен, а развивается и даже оброс некоторыми руководствами по использованию.

https://github.com/Microsoft/AirSim

Издание The Guardian опубликовало список пятидесяти лучших игр 21 века и всё это более чем странно. Мало того, что журналисты подводят итоги столетия в 2019м году. Но и сам список более чем спорный и не понятно как вообще составлялся, но как источник для пятничного холивара годится более чем. Итак, основные моменты:

- на первом месте Minecraft, далее по списку Legend of Zelda: Breath of the Wild и Dark Souls
- последние из нас не последние, а двадацать четвёртые
- симулятор скейтбордиста от Тони Хаука в списке выше чем Dead Space
- Dark Souls опередил Half Life 2 и третью часть Ведьмака
- творчество небезызвестного гения Кодзимы на двенадцатом месте
- в топ попали две части GTA (и среди них нет San Andreas), пара частей Легенд о Зельде, Dark Souls и Bloodbourne
- в лучшие игры затесались сетевые Overwatch и Fortnite, но не попала Dota
- в списке присутствуют шутеры Gears of War, Call of Duty и Battlefield, но начисто отсутствуют игры от ID Software в лице Doom, Wolfenstein и Quake
- в топе нет ни одной стратегии или квеста

Полный список https://www.theguardian.com/games/2019/sep/19/50-best-video-games-of-the-21st-century

Instagram в очередной раз попал в скандал с запрещённой рекламой. На этот раз социальную сеть уличают в том, что в постах о лечении от наркотиков нередки комментарии наркодиллеров с ценами на продукцию. Доходит даже до того, что платформу называют "старым и ощутимым рынком для рекламы незаконных препаратов". И да, представители компании, конечно, говорят о том, что запрещают у себя данное поведение, но даже просто поиском по хештегам о трезвости часто находятся те же самые комментарии о том где и какие самые разные вещества можно купить.
В России последнее время тоже случился бум незаконной рекламы в Instagram, но там больше было про то, что злоумышленники рекламировали свои обманные схемы прикрываясь фото лидеров общественного мнения, и даже монтируя из их роликов фальшивые призывы к действиям (покупке вещей, участию в лотереях и т.п.). И вот интересно, в чём проблема отследить всех этих вредителей: или они приносят самой соцсети действительно хороший доход, размещая платные посты, или всё-таки просто никто из руководства не замечает очевидной проблемы того, что нечестным людям на платформе уж слишком просто зарабатывать деньги. https://www.buzzfeednews.com/article/josephbernstein/drug-dealers-have-a-booming-marketplace-in-instagrams

Искусственное мясо - святой грааль 21 века, который должен поставить точку во многих религиозных, принципиальных и даже физиологических моментах среди людей, потому что всё больше тех, кто не хочет или не может употреблять то или иное мясо. Новый вид ненатуральной говядины от фирмы Impossible был выпущен 3 года назад и продавался только приготовленным в ресторанах и фаст-фудах: это было связано и с тем, что его нужно было тестировать и дорабатывать, тем, что объёмы производства были относительно небольшими, и даже тем, что нужно было разрешение от регулирующих органов - всё-таки там были использованы спорные компоненты. Но вот, как это часто бывает, после всех мук, внезапно оно поступило в продажу в обычных магазинах США и начало получать прямо скажем положительные отзывы.
По заверениям журналиста почти всё в этом материале внешне и по вкусу напоминает фарш - он такой же красный, пусть и без крови, он похоже разминается, готовится и приобретает схожий внешний вид после жарки. Даже на вкус всё очень напоминает мясо - нет явного вкуса сои, который всегда подстерегает вас в таких продуктах. Искусственная говядина пока раза в два дороже обычной, производство пока слишком новое и, в любом случае, достаточно сложно из растений сделать что-то очень похожее на оригинальный продукт.
Но вообще вот что для меня важно. Я - не вегетарианец, не ярый защитник окружающей среды и точно не имею религиозных запретов на употребление коров и свинок. Но если действительно, рано или поздно, результат приготовления будет слишком схож с оригиналом, а его производство правда будет заметно менее вредным для планеты, то, я думаю, мог бы предпочитать его просто потому, что мне это не приносило бы большого дискомфорта, но я бы понимал, что делаю что-то лучше. И цена в этом случае сможет легко упасть, потому что спрос на товар с такими характеристиками точно будет. https://www.engadget.com/2019/09/20/impossible-burger-beyond-grocery-store-taste-test/

По статистике за 2019 год кадрового агенства Glassdoor в Соединенных Штатах в рейтинг пятидесяти лучших профессии вошли такие специальности как Data Engineer, Data Analyst и Data Scientist. Причем, специальность Data Scientist занимает первое место этого рейтинга. Очевидно, что не малую популярность эта профессия набирает и в остальном мире, и в России в том числе.

Если вас интересует анализ больших данных с целью выявления в них каких-либо закономерностей, связей и дополнительной информации для реальных бизнес-задач, если вам интересны нейронные сети и python, то возможно заинтересует и пятидневный интенсив который устаривает Мегафон - BigDataCamp. Интенсив полностью оплачивается МегаФоном и по его результатам есть шанс попасть в штат компании.

Для участия необходимо пройти тестирование и написать мотивационное письмо. Подробней на http://bigdatacamp.megafon.ru/

Раньше у нас бывали гостевые посты от наших друзей или подписчиков. Оживим эту не регулярную рубрику вот этим постом:

Всем привет, меня зовут Леша. Я разработчик в команде поиска hh.ru.

Осень, все пошли в школу, а мы запустили набор в Школу программистов от hh.ru. Кстати, он сейчас в самом разгаре. Школа абсолютно бесплатная и состоит из двух больших блоков: лекции + домашки и боевые проекты. Всё обучение разделено на два потока: frontend и backend.

В этом году в Школе я расскажу как устроен поиск, и мы попробуем его на практике. На лекциях мы рассказываем о современных технологиях, которые используем сами: java и python, reactjs, реляционные базы данных и их nosql-товарищи, применение машинного обучения. Расскажем, как разворачивать сервисы в продакшне и как проверять гипотезы с помощью A/B тестов. Ну и, разумеется, наши лекторы расскажут про такие важные штуки, как работа в команде и дизайн.

После всех лекций мы на 3 месяца погружаемся в проекты. Нашим школьникам помогают опытные программисты в роли менторов. Ребята защищают проекты, а после окончания Школы у самых крутых учеников есть возможность устроиться в hh.

Куда бежать, что делать и как к нам попасть? 🙂

Всё просто: оставьте заявку на сайте, пройдите вступительные испытания - и вперёд, к светлому будущему в IT!

https://school.hh.ru/

Если вы счастливый обладатель умной колонки от Яндекса, то вам должна быть знакома процедура подключения устройства к интернету. Поднося смартфон с открытым приложением Яндекса к колонке, он издаёт некоторые звуковые последовательности, которые принимает колонка. Когда с этим сталкиваешься впервые это прямо впечатляет. Очевидно, что этот звуковой сигнал передает колонке данные, необходимые для последующей работы и пароль от вашей Wi-Fi сети.

Один из пользователей Хабрахабра (с никнеймом Krupnikas) попытался разобраться в этом звуковом протоколе и выяснил, что пароль Wi-Fi сети передается на станцию в открытом виде, без шифрования. Конечно же, в лучших традициях техподдержки, обращение пользователя о том, что он нашел проблему в протоколе, было проигнорировано. Вполне очевидно, что большинство пользователей проделывают эту процедуру единожды после распаковки колонки и вероятность того, что пароль уйдет злоумышленникам крайне мал. Но, на мой взгляд, появление конфиденциальных пользовательских данных в открытом виде в принципе не допустимо.

Статья с подробностями обнаружения проблемы https://habr.com/en/post/469435/

Еще один гостевой пост от одного из подписчиков с интересным проектом о котором он и ведёт канал в Телеграме:

Знаете ли вы что такое generative art?

Чуть больше года назад задумался над созданием алгоритма или железки, которые преобразуют входные данные во что-то новое и красивое. Так я пришел к generative art - искусству, которое создается при участии программных алгоритмов.

После поисков в google я наткнулся на Processing - IDE для скетчей на Java (и js - p5.js), с помощью которого можно создавать рисунки и экспортировать их в svg. А также нашел интересные устройства, которые воплощают их в жизнь. Одно из них — Polargraph (http://www.polargraph.co.uk/whats-a-polargraph/).

Polargraph - это рисовальная машина с двумя шаговиками, работающая в полярных координатах. Polargraph можно собрать самому из Arduino Nano, Nema17 (или других шаговиков), драйверов А4988 и веревки от рулонных штор, чем я и занялся.

От сборки на бредборд до нормальной разведенной платы — в процессе пришлось решить кучу хардварных и софтварных затыков: проблемы с драйверами для шаговиков и библиотекой Adafruit, куча спаленных a4988, сложности с подбором параметров для настройки ПО для управления устройством (бесконечный размер шага, зеркальные изображения с неверными пропорциями), а также проблемы при рендеринге изображений. Все это решилось перелопачиванием горы инфы на англоязычных форумах и в инструкциях. Но в результате я получил довольно гиковый способ воплощать искусство, сгенерированное машинами, в реальности — на бумаге. В первую очередь начал экспериментировать с крупномасштабными портретами (А1, A0).

Посмотреть на процесс доработки/разработки (не только Polargraph) и результаты можно в блоге https://t.me/drawbot_art.

Возможно и вы захотите собрать что-то подобное. Буду рад, если русскоговорящее сообщество GA будет расти!

Apple без лишней помпы выпустили новые наушники AirPods Pro - они просто появились на сайте как происходит с незначительными обновлениями продуктов, когда нехватает новинок на целую презентацию. Основное отличие нового устройства от предыдущей версии - шумоподавление, которое все так ждали с момента выхода оригинальных AirPods.
Помимо основной новой фишки, естественно, появились и дополнительные - то, за что все любят яблочную компанию. Например, чтобы правильно выбрать размер силиконовой мембраны Apple создали специальный алгортим тестирования Ear Tip Fit Test - после вставления в ухо наушники несколько секунд проверяют, что звук музыки не слышен за пределами уха и если это не так, то они сообщают владельцу о необходимости увеличения размера мембраны. Добавился новый сенсор "сильного" прикосновения - то есть теперь наушники понимают не только то, что на них нажали, но и то, с какой силой это было сделано, тем самым давая дополнительные функции, которые можно привязать к каждому уху. Ну и появилась базовая влагозащита - теперь заявляется, что наушники не боятся пота и дождя, но купаться в них не стоит.
Остальные характеристики также не остались в стороне - по заявлениям компании, за счёт пост-обработки, встроенного усилителя и нового драйвера, качество звука стало "превосходным" - ну а как иначе они могли сказать? В общем, за небольшую разницу в $50 от оригинала это обновление кажется очень даже достойным. https://www.engadget.com/2019/10/28/apple-airpods-pro-announced-active-noise-cancellation/

В Австралии хотят сделать авторизацию на порно-сайтах по лицу заходящего. Да-да, там всё как всегда кверху ногами. Когда остальной мир заклеивает камеры, чтобы никто не видел, как они смотрят порно, австралийцы наоборот требуют видеть ваше лицо перед заходом на сайт с клубничкой. Государство хочет сделать обязательным определение возраста по лицу как единственный метод защиты детей от посещения таких площадок, то есть каждый раз нужно по сути сдать себя, что ты туда заходишь, а потом уже получить доступ. Мало того, что защита кажется не вполне действенной - можно ведь подставить и фото и видео другого человека, и того, что это - самая гигантская угроза приватности людей, так ещё и выглядит всё бессмысленно - ну чего те дети не видели, ведь всегда можно будет найти сайт без такой проверки. Даже комментировать это не могу, сказочные ребята пишут законы в Австралии. https://arstechnica.com/tech-policy/2019/10/australia-wants-to-use-face-recognition-for-porn-age-verification/

Nvidia объявила о том, что собирается помогать почте США (USPS) в создании системы по считыванию информации с отправлений посредством нейронных сетей. Таким образом уже начиная с весны следующего года "читать" адресную информацию на посылках и письмах будут не люди, а компьютер. Казалось бы, очень простое, но при этом нужное направление использование нейронных сетей: USPS обрабатывает порядка 150 миллиардов отправлений ежегодно, на этот тратятся годы человеческой работы, а автоматизировав процесс один раз можно забыть об этой деятельности практически полностью, да ещё и сделать всё в 10 раз быстрее.
Да, "искусственный интеллект" (нейронные сети) пока не дал нам ни вселенского счастья и не поработил нас, как то предрекали фантасты. Но то, что им всё больше находят правильные рутинные применения как раз говорит о том, что технология перестала быть просто модным словом и начала приносить реальные плоды. А для Nvidia это - отличный способ продемонстрировать, что именно их решения достаточно зрелы, чтобы даже древний механизм почты мог их без проблем использовать. https://www.engadget.com/2019/11/05/usps-nvidia-ai-package-processing/