Блог dv

Тестирование Android приложений

2012-02-01T15:04:00.000+08:00

Тестирование - тема очень многообразная. Разновидностей тестов масса, методик тестирования тоже, количество разнообразных инструментов просто огромно. Начинающему разобраться не просто. Но за что бороться есть, поскольку грамотная стратегия тестирования существенно улучшает качество приложения.

Данная статья - это каталогизированный набор ссылок по теме тестирования Android приложений, с краткими аннотациями. Я создал его для того, чтобы самому было удобнее разбираться во всем этом материале и выбирать оптимальную стратегию тестирования собственных Android приложений. Надеюсь, этот набор ссылок пригодится и вам.

С чего начать

В июне 2011 вышла книга, посвященная тестированию Android-приложений: Diego Torres Milano. Android Application Testing Guide. Книга добротная, написана хорошо. Блог автора так же содержит массу полезной информации.

Официальная документация по встроенным средствам тестирования Android Developers Guide. Testing (перевод).Из недостатков: Android testing API основано на стиле JUnit 3 и не поддерживает JUnit 4. Тесты запускаются и работают на эмуляторе/девайсе, т.е. запуск медленный.

Тестирование Android приложений - пример разработки небольшого Android-приложения с тестом на базе стандартного фреймворка android.test.

Best practices for unit testing Android apps - обсуждение инструментов тестирования на stackoverflow.

How to do Unit Testing on Android with Eclipse - видео, демонстрирующее создание тестового проекта в Eclipse.

Автоматизированное тестирование мобильных приложений - обзор инструментов для тестирования интерфейса мобильных приложений.

Серия курсов - Автоматизация мобильных приложений (в настоящее время курсов там мало, но анонс многообещающий).

Шаблоны проектирования при разработке под Android. Часть 2 — MVP и Unit tests. Путь Джедая, Шаблоны проектирования при разработке под Android. Часть 3 — Пользовательский интерфейс, тестирование, AndroidMock - пара статей по теме тестирования на хабре. Содержание местами спорное, но комментарии, как всегда, интересные.

Testing on android - весьма интересная презентация с полезными ссылками.

Серия обзорных статей, посвященных тестированию мобильных приложений: Mobile Application Testing - Part I, part II, part III.

Проблема скорости запуска тестов

При разработке под Android очень не удобно использовать короткие unit-тесты (раз статья, два статья). Дело в том, что стандартные тесты работают только на эмуляторе или на устройстве (т.к. зависят от Android API). Запуск тестов, в этом случае, становится достаточно длительным.

Для ускорения работы можно выделять Android-независимые тесты в отдельный Java проект и запускать их на JVM компьютера, но это, конечно же, не решение проблемы. Вот дискуссия на stackoverflow: Best practices for unit testing Android apps. Основные варианты: использовать библиотеки Robolectric и Robotium .

Библиотека Robolectric действительно решает проблему скорости запуска теста. Тесты запускаются не на эмуляторе/устройстве, а прямо на JVM компьютера, что на порядок быстрее. Robolectric позволяет тестировать большую часть функциональности Android, включая layouts, GUI, сервисы, работу с сетью, виджеты. К тому же, Robolectric использует синтаксис junit4. В то же время следует отдавать себе отчет в том, что Roboelectric эмулирует Android API. Точность и полнота такой эмуляции, естественно, не 100%.

Introducing Calculon – a Java DSL for Android Activity testing - библиотека для удобного тестирования Activity.

Mock-библиотеки под Android

Про то, что такое mock-объекты и как их использовать, есть статьи на хабре: JMock и EasyMock: сравнение и howto в примерах и не только, Глоток МоКито. Mock-библиотек, работающих под Android, существует несколько: EasyMonkey, PowerMock, Android Mock, Mockito.

Автоматизация тестирования. Многократное воспроизведение записанного теста.

MonkeyRunner - инструмент, входящий в состав Android SDK. С помощью MonkeyRunner можно писать программы на Питоне, способные установить Android-приложение, запустить его, послать ему последовательность нажатий клавиш, сделать и сохранить результирующий скриншот экрана.

Robotium - фреймворк, дающий возможность разрабатывать тесты "черного ящика" для Android приложений. Тесты пишутся на Java. Для тестирования создается стандартный тестовый проект, в который добавляется библиотека Robotium. Тестовый проект можно запускать как на эмуляторе, так и на девайсе. Robotium использует синтаксис JUnit3. Полезная статья: Настройка среды для разработки Android приложений и автоматизации на Robotium.

FoneMonkey for Android - бесплатный open source инструмент для тестирования rich interface, разработанный компанией Gorilla Logic (см. интервью с разработчиком FoneMonkey for Android, а так же статью в DrDobbs, посвященную FoneMonkey for IOS). Программа умеет записывать высокоуровневые action-based test automation скрипты на Java/Java Script, которые можно редактировать и (при необходимости) писать вручную.

Sikuli - еще один бесплатный инструмент для автоматизации тестирования GUI. Особенность - скрипт, задающий последовательность действий, позволяет использовать скриншоты. Чтобы дать команду нажать кнопку, достаточно подставить в скрипт скриншот этой кнопки (используется специальная Sikuli IDE). Видео на youtube наглядно демонстрирует процесс создания скрипта. А вот пример видео, где sikuli "играет" в Angry birds. Вот пример использования sikuli для тестирования Android GUI. Преимущества и недостатки использования Sikuli для тестирования мобильных приложений приведены в презентации.

T-PLAN ROBOT (VNCRobot) - универсальный инструмент для тестирования "черных ящиков" (видео, mobile testing brochure (pdf)). Есть платная и бесплатная open-source версия.

На самом деле, инструментов, предназначенных для автоматизации тестирования приложений, очень много. Из платных отмечу: Eggplants,Test Quest, ZPX. Есть еще Jamo Solutions: M-eux test и SeeTest специально заточенные под мобильные приложения.

Облачные сервисы

При разработке Android-приложений важнейшая проблема - протестировать работу приложения на различных устройствах. Возможных вариантов устройств сотни, все себе не купишь. А платформо-железозависимые баги, к сожалению, совсем не редкость.

Специальные сервисы предоставляют доступ к стендам, содержащим множество разнообразных устройств, и позволяют провести тестирование на всех этих устройствах разом. Таких сервисов как минимум три: Perfecto Mobile, Device Anywhere и TestDroid. Вот здесь описан принцип работы Device Anywhere и приведены скриншоты. Услуга удобная, но достаточно дорогая.

TestDroid, кстати, позволяет записывать тесты в формате Robotium.

Сервисы для бета-тестирования

uTest - сообщество из 45 тыс профессиональных тестеров из 180 стран. Реальные пользователи протестируют работу вашего приложения. Платный.

The Beta Family - бесплатный сервис для тестирования приложения. Заводите аккаунт, заливаете бета-версию приложения, рассылаете приглашение на тестирование, обрабатываете результаты тестирования. На главной странице сайта написано, что сервис предназначен для тестирования iPhone/iPad/iPod приложений. Но Android так же поддерживается, о чем прямо написано в FAQ. Можно выбрать тип бета-тестеров: private или public. Если public, то ваше приложение смогут тестировать все желающие.

Appaloosa - сервис для приватного распространения приложения (например, среди доверенных бета-тестеров или среди работников вашей компании). Заводите аккаунт, даете доступ вашим знакомым бета-тестерам. После авторизации бета-тестеры получают возможность скачивать приложения, которые вы выложили на Appaloosa. Бесплатен на стадии бета тестирования, потом станет платным.

Hockey Kit - еще один подобный сервис для распространения бета-версий среди своих бета-тестеров.

Zubhium. Предоставляет SDK, с помощью которого вы в свое приложение встраиваете код для автоматического сбора информации об ошибках. Выкладываете бету. Ее тестируют в настоящий момент на стадии беты и поэтому - бесплатен. Бета тестеров нужно приглашать своих.

PushLink. Еще один подобный сервис для приватного распространения приложений (например, бета версий). Добавляете в приложение немного кода для работы с PushLink. Собираете apk и отдаете бета-тестеру. Через некоторое время собираете новую версию apk и заливаете на PushLink. Пользователь автоматически получает уведомление о новой версии и скачивает ее с PushLink. Удобно - нет необходимости рассылать новые версии по email. Сервис бесплатен.

Monkey и т.д.

Инструменты функционального тестирования — Monkey и MonkeyRunner - обзор двух стандартных инструментов: Monkey (стресс-тестирование) и MonkeyRunner("прокликивающие" тесты, сценарии тестов пишутся на Python).

Android: Using monkey from Java - статья в блоге Diego Torres Milano, посвященная стандартной библиотеке chimpchat, эквиваленту monkeyrunner.

Code coverage

Code coverage инструменты определяют степень покрытия кода тестами.

Варианты для Android: EMMA, Robotium, Sonar, включающий Maven и Cobertura. Так же функциональость code coverage есть в бесплатном статическом анализаторе от Google - CodePro AnalytiX

Сбор информации от пользователей

Библиотека ACRA - пишет креш-репорты в документ Google Docs.

BugSense - real-time bug tracking service.

Системы сбора статистики по работе приложения.

Log collector - приложение для генерирования log-файла и отправки его по email. Удобно использовать в своих приложениях для реализации возможности отправки лога.

Другие инструменты

Vogar - запуск большого количества тестов с записью истории выполнения тестов.

Caliper - open-source фреймворк для создания микробенчмарков, их запуска и просмотра результатов.

Android Junit Report - замена стандартному InstrumentationTestRunner с возможностью генерации XML-отчетов.

Тестировщику на заметку

Интересная презентация.

Чек-лист для тестирования Android приложения: http://www.unifiedtestinginitiative.org/Android-UTC.

Best Practice Guidelines for developing quality mobile applications

Android design guidelines

Особенности окружающей среды

How to test the 3G or Wi-Fi Connection speed on Iphone and Android Smartphones?

Тестирование поведения приложения в условиях нехватки памяти

Wide Area Network Emulator - позволяет разработчику эмулировать проблемы в сети - Network delay, Packet loss, Packet corruption, Disconnections, Packet re-ordering, Jitter и т.д.

Методологии

Test Driven Development, TDD: Разработка через тестирование.

Behavior Driven Development, BDD:: http://behaviour-driven.org, фреймверк для BDD: JBehave

Fitness: www.fitnesse.org, http://fit.c2.com - совместная работа клиентов, программистов и тестировщиков. GivWenZen - запись сценариев тестов простым английским языком.

Список языков с переводом названий (ISO 639-1).

2012-01-29T12:39:00.000+08:00

Занимаюсь локализацией своего Android приложения Animated Widget Contact. Потребовалось найти список языков, поддерживаемых Android, с переводом названий. Т.е. в виде Ru-Russian-Русский, da-Danish-Dansk и т.д. Как ни странно, готовый список найти не удалось. Поэтому составил такой список самостоятельно, взяв за основу следующие источники: 1, 2, 3, 4. В список включил только языки имеющие двухбуквенный код по стандарту ISO 639-1, т.к. именно они актуальны для Android приложений. Вот что в итоге получилось.

ISO 639-1	Название на английском	Перевод
aa	Afar	Qafar (Afaraf)
ab	Abkhazian	аҧсуа бызшәа
ae	Avestan
af	Afrikaans	Afrikaans
ak	Akan
am	Amharic	አማርኛ
an	Aragonese	Aragonés
ar	Arabic	عربي
as	Assamese	অসমীয়া
av	Avaric	Авар
ay	Aymara	Aymar aru
az	Azerbaijani	azərbaycan
ba	Bashkir	Башҡортса
be	Belarusian	Беларуская - Biełaruskaja
bg	Bulgarian	Български
bh	Bihari languages	भोजपुरी
bi	Bislama	Bislama
bm	Bambara	Bamanankan
bn	Bengali	বাংলা
bo	Tibetan	བོད་ཡིག
br	Breton	Brezhoneg
bs	Bosnian	Bosanski
ca	Catalan; Valencian	Català
ce	Chechen	Нохчийн
ch	Chamorro	Chamoru
co	Corsican	Corsu
cr	Cree
cs	Czech	Čeština
cu	Church Slavic; Old Slavonic; Church Slavonic; Old Bulgarian; Old Church Slavonic	Словѣ́ньскъ
cv	Chuvash	Чӑвашла
cy	Welsh	Cymraeg
da	Danish	Dansk
de	German	Deutsch
dv	Divehi; Dhivehi; Maldivian	ދިވެހިބަސ
dz	Dzongkha	རྫོང་ཁ
ee	Ewe	Eʋegbe
el	Greek, Modern (1453-)	Ελληνικά
en	English
eo	Esperanto	Esperanto
es	Spanish; Castilian	Español
et	Estonian	Eesti
eu	Basque	Euskera
fa	Persian	پارسی
ff	Fulah	Fulfulde
fi	Finnish	Suomi
fj	Fijian	Na Vosa Vakaviti
fo	Faroese	føroyskt
fr	French	Français
fy	Western Frisian	Frysk
ga	Irish	Gaeilge
gd	Gaelic; Scottish Gaelic	Gàidhlig
gl	Galician	Galego
gn	Guarani	Avañe'ẽ
gu	Gujarati	ગુજરાતી
gv	Manx	Gaelg
ha	Hausa	هَوُسَ
he	Hebrew	עברית
hi	Hindi	हिन्दी
ho	Hiri Motu
hr	Croatian	Hrvatski
ht	Haitian; Haitian Creole	Kreyòl ayisyen
hu	Hungarian	Magyar
hy	Armenian	Հայերեն
hz	Herero
ia	Interlingua (International Auxiliary Language Association)	Interlingua
id	Indonesian	Bahasa Indonesia
ie	Interlingue; Occidental	Interlingue
ig	Igbo	Igbo
ii	Sichuan Yi; Nuosu	ꆇꉙ
ik	Inupiaq	Iñupiak
io	Ido	Ido
is	Icelandic	Icelandic
it	Italian	Italian
iu	Inuktitut	ᐃᓄᒃᑎᑐᑦ/inuktitut
ja	Japanese	日本語
jv	Javanese	Basa Jawa
ka	Georgian	ქართული
kg	Kongo
ki	Kikuyu; Gikuyu
kj	Kuanyama; Kwanyama
kk	Kazakh	Қазақ
kl	Kalaallisut; Greenlandic	Kalaallisut
km	Central Khmer	ខ្មែរ
kn	Kannada	ಕನ್ನಡ
ko	Korean	한국어
kr	Kanuri
ks	Kashmiri	कश्मीरी - (كشميري)
ku	Kurdish	وۆردپرێس بەکوردی
kv	Komi	Коми
kw	Cornish	kernewek
ky	Kirghiz; Kyrgyz	Кыргыз
la	Latin	Latina
lb	Luxembourgish; Letzeburgesch
lg	Ganda	Luganda
li	Limburgan; Limburger; Limburgish	Limburgs
ln	Lingala	Lingála
lo	Lao	ລາວ
lt	Lithuanian	Lietuvių
lu	Luba-Katanga
lv	Latvian	Latviešu
mg	Malagasy	Malagasy
mh	Marshallese
mi	Maori	Māori
mk	Macedonian	Македонски
ml	Malayalam	മലയാളം
mn	Mongolian	Монгол хэл
mr	Marathi	मराठी
ms	Malay	Bahasa Melayu
mt	Maltese	Malt
my	Burmese
na	Nauru	Dorerin Naoero
nb	Bokmal, Norwegian; Norwegian Bokmal	Bokmål
nd	Ndebele, North; North Ndebele
ne	Nepali	नेपाली
ng	Ndonga
nl	Dutch; Flemish	Nederlands
nn	Norwegian Nynorsk; Nynorsk, Norwegian	Nynorsk
no	Norwegian	Norsk (bokmål)‬
nr	Ndebele, South; South Ndebele
nv	Navajo; Navaho	Diné bizaad
ny	Chichewa; Chewa; Nyanja	Chi-Chewa
oc	Occitan	Occitan
oj	Ojibwa
om	Oromo	Oromoo
or	Oriya	ଓଡ଼ିଆ
os	Ossetian; Ossetic	Ирон
pa	Panjabi; Punjabi	ਪੰਜਾਬੀ
pi	Pali	पािऴ
pl	Polish	Polski
ps	Pushto; Pashto	پښتو
pt	Portuguese	Português
qu	Quechua	Runa Simi
rm	Romansh	Rumantsch
rn	Rundi
ro	Romanian; Moldavian; Moldovan	Română
ru	Russian	Русский
rw	Kinyarwanda
sa	Sanskrit	संस्कृत
sc	Sardinian	Sardu
sd	Sindhi	سنڌي
se	Northern Sami	Sámegiella
sg	Sango	Sängö
si	Sinhala; Sinhalese	සිංහල
sk	Slovak	Slovenčina
sl	Slovenian	Slovenščina
sm	Samoan	Gagana Samoa
sn	Shona	chiShona
so	Somali	Soomaali
sq	Albanian	Shqip
sr	Serbian	Српски
ss	Swati	SiSwati
st	Sotho, Southern	Sesotho
su	Sundanese	Basa Sunda
sv	Swedish	Svenska
sw	Swahili	Kiswahili
ta	Tamil	தமிழ்
te	Telugu	తెలుగు
tg	Tajik	Tajik
th	Thai	ภาษาไทย
ti	Tigrinya	ትግርኛ
tk	Turkmen	Türkmençe
tl	Tagalog	Tagalog
tn	Tswana	Setswana
to	Tonga (Tonga Islands)	lea faka-Tonga
tr	Turkish	Türkçe
ts	Tsonga	Xitsonga
tt	Tatar	Tatarça
tw	Twi
ty	Tahitian	Reo Mā`ohi
ug	Uighur; Uyghur	ئۇيغۇرچە
uk	Ukrainian	Українська
ur	Urdu	اردو
uz	Uzbek	O‘zbekcha
ve	Venda	Tshivenda
vi	Vietnamese	Tiếng Việt
vo	Volapuk	Volapük
wa	Walloon	Walon
wo	Wolof	Wolof
xh	Xhosa	isiXhosa
yi	Yiddish	ייִדיש
yo	Yoruba	Yorùbá
za	Zhuang; Chuang	Vahcuengh
zh	Chinese	中文 (zh_CN); 香港 (zh_HK); 台灣 (zh_TW)
zu	Zulu	isiZulu

Сдача налоговой отчетности ИП за 2011 год

2012-01-16T11:54:00.001+08:00

ИП на УСН без работников сдает за 2011 год в налоговую следующую отчетность:

Сведения о среднесписочной численности работников за предшествующий календарный го (не позднее 20 января)
Книга учета доходов и расходов организаций и индивидуальных предпринимателей, применяющих УСН (не позднее 31 марта)
Налоговая декларация по налогу, уплачиваемому в связи с применением УСН (не позднее 31 марта)

Рассмотрим, как эту отчетность можно подготовить.

Софт

Скачиваем свежую версию программы Налогоплательщик ЮЛ (в настоящий момент, это версия 4.28 + обновления. Устанавливаем ее.

Рекомендую устанавливать Налогоплательщик ЮЛ на виртуальной машине. Эта программа нужна один раз в год, смысла держать ее у себя на компьютере нет никакого. Программа поддерживает экспорт/импорт личных данных (Сервис\Сохранение информации, Сервис\Восстановление информации), так что: установил программу, загрузил в нее личные данные из бакапа, подготовил отчетность, выгрузил обновленные личные данные в бакап, снес программу. Виртуалка тут подходит идеально.

Документы потребуется распечатать. На виртуальной машине проще всего печатать в PDF. Для этого нужно на виртуалке дополнительно установить PDFCreator.

Подготовка

Загрузили данные из бакапа или ввели данные о своем ИП впервые. Теперь надо выбрать отчетный период - год 2011.

Сведения о среднесписочной численности работников

Добраться до этого документа в Налогоплательщик ЮЛ можно следующим образом.

Документы\Налоговая отчетность
Добавить
Выбираем первый документ - КНД 1110018, Сведения о среднесписочной численности работников за предшествующий календарный год.

Выбираем, заполняем. Заполнить нужно два поля: дату (1 января 2012) и количество работников (если ИП без работников, ставим 0).

Подписываем, распечатываем в двух экземплярах, экспортируем в XML файл, сохраняем его на флешку.

Декларация

В Налогоплательщик ЮЛ:

Документы\Налоговая отчетность
Добавить
Выбираем документ - КНД 1152017, Декларация по налогу, уплачиваемому в связи с применением упрощенной системы налогообложения.

Заполняем декларацию, распечатываем в двух экземплярах, экспортируем в XML файл, сохраняем его на флешку (налоговая требует XML). Ответы на вопросы по заполнению декларации лучше всего искать на klerk.ru, народ на форуме там грамотный. Пример заполнения приведен здесь.

Книга доходов и расходов

Книги доходов и расходов (КДР) в Налогоплательщик ЮЛ нет. Поэтому берем бланк и заполняем ее в Excel.

Порядок заполнения КДР рассмотрен здесь. 5 лист нужен только тем, у кого в качестве объекта налогообложения выбраны "доходы, уменьшенные на величину расходов". 4 лист нужен тем, кто уплачивает единый налог. Остальным достаточно заполнить первые три листа.

Книгу доходов и расходов распечатываем в двух экземплярах. Согласно законодательству, каждый экземпляр должен быть прошит и опечатан. Протыкаем в КДР три дырки, на расстоянии ~ 1 см от левого края. Сшиваем ниткой, концы нитки выводим на обратную сторону последнего листа КДР. Заклеиваем концы нитки бумажкой, на которой пишем: "Прошито, пронумеровано, скреплено печатью 3 (три) листа". Подпись, ФИО, дата. Естественно, если печати нет, то "скреплено печатью" писать не нужно. Вот пример опечатанного документа.

Идем в налоговую

Берем с собой:

Два экземпляра сведений о среднесписочной численности + электронная версия в виде XML на флешке.
Два экземпляра декларации + электронная версия в виде XML файла на флешке.
Два прошитых и опечатанных экземпляра КДР.

Один экземпляр каждого документа отдаем в налоговую, один заверяем в налоговой и оставляем себе.

Статические анализаторы кода для Android-приложения.

2012-01-06T14:55:00.008+08:00

Одним из путей улучшения качества кода приложения является регулярное применение статических анализаторов кода. Статический анализ кода позволяет находить ошибки в коде, отслеживать несоблюдение стандарта кодирования, находить "плохой" код, который может привести к проблемам в будущем, а так же неэффективный код, негативно сказывающийся на производительности в настоящем, строить метрики кода, находить полностью или частично одинаковые фрагменты кода и так далее.

Для разработчиков, ведущих кодирование в одиночку, статические анализаторы вещь вообще неоценимая. Ведь им некому показать код своего приложения. Так что "электронный помощник", способный грамотно выполнить "code review", может им здорово пригодится.

Вопрос - какие статические анализаторы кода доступны разработчику Android приложений? Для Java статических анализаторов существует множество (см. список lint приложений для Java в википедии), но не все они умеют работать с Android-приложениями и, тем более, учитывать их специфику.

Мне удалось отыскать следующие статические анализаторы кода, которые умеют работать с Android-приложениями:

Lint. "Родной" анализатор кода для Android, входит в состав Android SDK начиная с r16.
FindBugs (бесплатный).
Checkstyle (бесплатный).
CodePro Analytix (бесплатный).
PMD (бесплатный)
Motodev App Validator (бесплатный). Входит в состав среды разработки MOTODEV Studio for Android. Есть online вариант.
Klocwork Solo (платный). Доступна триальная версия
JTest от Parasoft (платный).
Julia (платный). Доступен бесплатный online вариант.

Далее представлены результаты сравнения всех этих анализаторов - какой анализатор что умеет, для чего предназначен, насколько удобно пользоваться, какие ошибки находит, насколько он полезен на практике.

Чтобы было интереснее сравнивать, я "натравил" каждый из этих анализаторов на одно и то же тестовое приложение. В качестве такового я взял код одной из ранних версий моего приложения Animated Widget Contact Launcher. Версию я выбрал годичной давности, багов и проблем в ней было вагон (с FindBugs на тот момент я был не знаком). Так что "что поискать" в ней точно было.

Lint

Lint - анализатор кода, который поставляется вместе с Android SDK. Он появился совсем недавно, в версии r16.

Lint нацелен на поиск проблем, связанных с ресурсами. Неиспользуемые ресурсы, ненужные или наоборот, отсутствующие, аттрибуты, неоптимальные конструкции в layout и т.д. Список проблем, которые ищет Lint, приведен здесь.

Работать с Lint очень удобно. Вызывать и настраивать его можно прямо из Eclipse. Для найденных ошибок показывается объяснение - в чем состоит ошибка и как ее исправить. Ошибки делятся на 3 уровня (error, warning, information).

При проверке тестового приложения был выдан 101 warning. Все по существу - ложных срабатываний не было, за исключением пары сообщений об неиспользуемости ресурсов (и это при отсутствии библиотек; если же библиотеки используются, то разработчики прямо предупреждают о возможности ложных сообщений, так что будьте осторожны при чистке кода).

FindBugs

FindBugs я пользуюсь уже почти год и очень доволен. Находит реальные ошибки в коде. Вот полный список проблем, которые он умеет находить.

В декабре 2011, после длительного перерыва, FindBugs обновился с версии 1.3.9 до 2.0. Субъективно новая версия стала точнее, удобнее и быстрее предыдущей. Настраивается она теперь прямо из Eclipse (важно: в свойствах проекта, а не в свойствах workspace). Плагин для eclipse устанавливается с помощью location URL: http://findbugs.cs.umd.edu/eclipse/ (в Eclipse выбрать Help\Install new software, ввести location URL в поле Work with).

FindBugs нашел в тестовом приложении 12 ошибок при дефолтном уровне чувствительности. При максимальной чувствительности ошибок нашлось 137. При этом ложных срабатываний было всего 10 (анализатору не понравился способ именования классов в автоматические генерируемом файле ресурсов; этот файл нужно просто исключить из обработки в настройках FindBugs). Подавляющее большинство остальных ошибок я исправил в более поздних версиях.

Приведу примеры ошибок, которые нашел FindBugs:

Should be a static inner class (вложенный класс не сделан статичным, хотя доступ к внешнему классу ему не нужен).
Should this field be static? (константа не объявлена как static)
Switch statement found where one case falls through to the next case (пропущен break)
Comparison of String parameter using == or != in (строки в Java небходимо сравнивать через equal)

Специфичных для Android правил в FindBugs пока нет. Но, возможно, со временем они появятся - разработчики готовы идти навстречу пожеланиям пользователей.

Checkstyle

Checkstyle нацелен на проверку соблюдения стандарта кодирования. Проверка соблюдения правил именования, правил расстановки скобочек, правил оформления кода и т.д. - вот цель этого анализатора. Полный список правил можно посмотреть в документации. Плагин для eclipse устанавливается с помощью location URL: http://eclipse-cs.sf.net/update/

После анализа тестового приложения Checkstyle выдал 8741(!) ворнинг. Я внимательно просмотрел все типы ворнингов.. и не нашел для себя ничего полезного. На мой взгляд - это совершенно не тот инструмент, который необходим индивидуальным разработчикам и небольшим командам. С другой стороны, его активно используют и дорабатывают, так что видимо область применения у него все же есть.

CodePro Analytix

CodePro Analytix - разработка компании Instantiations. Google купил эту компанию и сделал эти продукт бесплатным, за что ему большое спасибо.

Заявленные возможности CodePro Analytix впечатляют. Аудит кода на основе нескольких различных наборов правил ("The Elements of Java Style", "Effective Java", "Potential Errors and Refactoring", "Security" и т.д.). Измерение кода с помощью различных метрик. Поиск "дублей" в коде - результатов копипаста. И т.д.

Провел аудит кода тестового приложения используя все возможные наборы правил. Получил: 152 предупреждения с уровнем серьезности High, 1246 - medium, 1062 - low. Для сравнения - анализ с помощью единственного набора правил "Code Pro Core" выдал 64 medium и 4 low предупреждения.

Что-же нашел Code Pro? Частично, результаты поиска пересеклись с результатами FindBugs и Lint. Но только частично. Большую часть ошибок составили минорные проблемы в коде, которые не были обнаружены другими анализаторами. Например:

String literal can be replaced by a character literal. В StringBuilder вместо append("\n") использовать append('\n').
Badly located array declarators. Массив объявлен как "String abc[]" вместо "String[] abc".
Constant on right side of comparison. Код "if (a == 5) { .. }" следует переписать так "if (5 == a") { .. }"
Switch statements should include all possible enumeration constants. В перечислимом типе 3 возможных значения, а в switch задействовано только 2 из них.
Do not divide by powers of 2: use ">> 1" rather than "/ 2"
Invalid string literal: "Yes". Строки следует хранить в ресурсах, а не кодировать их жестко в код.
Use charAt() rather than startsWith() when the constant is a single character string. Код skinName.startsWith("/") можно переписать skinName.charAt(0) == '/'
Define the initial capacity of StringBuilder instances

Если не полениться и настроить Code Pro под себя, то инструмент оказывается весьма полезным. Возможно, некоторые рекомендации похожи на "ловлю блох".. но почему бы не привыкнуть писать более оптимальный код, если это возможно?

Кстати, юзабилити у Code Pro на высоте. Находясь в списке ошибок можно:

автоматически исправить ошибку (естестенно, автоматический рефакторинг кода поддерживается не для всех типов правил);
проигнорировать ошибку - она перестанет появляться в списке ошибок;
отключить правило, по которому была найдена ошибка;
настроить (!) параметры правила,

и так далее.

Кроме аудита, очень понравилось, как Code Pro ищет дубли. Незаменимая функция.

PMD

PMD - еще один анализатор кода, типа Code Pro. Основное назначение - поиск неоптимального кода, проблем с производительностью, нарушений стиля кодирования, дублей в коде и т.д. Плагин PMD устанавливается с помощью location URL: http://pmd.sourceforge.net/rules/android.html

Примечательно, что в PMD реализовано несколько правил, специфичных для Android

Для тестового приложения PMD выдал около 2000 предупреждений. Примеры:

Substitute calls to size() == 0 (or size() != 0) with calls to isEmpty()
Private field ''{0}'' could be made final; it is only initialized in the declaration or constructor.
UnnecessaryCaseChange: Using equalsIgnoreCase() is cleaner than using toUpperCase/toLowerCase().equals()
UnusedFormalParameter: Avoid unused {0} parameters such as ''{1}''. Avoid passing parameters to methods or constructors and then not using those parameters.
InefficientEmptyStringCheck: String.trim().length()==0 is an inefficient way to validate an empty String.
UseIndexOfChar: String.indexOf(char) is faster than String.indexOf(String).
BooleanInversion: Use bitwise inversion to invert boolean values

Несмотря на то, что PMD генерирует множество лишних предупреждений, следует отметить, что и полезных подсказок он выдает множество. Так же как и Code Pro, PMD следует тщательно настраивать.

В PMD, так же как в Code Pro, реализована функция поиска повторяющихся участков кода. Визуализация найденных фрагментов, правда, похуже. Зато результаты поиска - другие, так что программы дополняют друг друга.

Motodev App Validator

Motodev App Validator входит в состав среды разработки MOTODEV Studio for Android. Прочитать про него можно в презентации Static Analysis For Improved Application Performance And Quality Presentation (PDF)

Те, кто не использует MOTODEV Studio, могут попробовать online вариант Motodev App Validator (требуется зарегистрироваться на сайте).

Online вариант Motodev App Validator принимает на вход apk-файл приложения. К сожалению, 400 килобайтную apk-шку тестового приложения online вариант не заглотил - выдал ошибку. Мелкие приложение в 30-40 кб анализирует, а с "крупным" не работает. Пришлось качать Motodev Studio

Скачал, запустил. Для тестового приложения Application Validator выдал 101 предупреждение. Из них:

75 - "Drawable "XXX.png" does not exist in the "drawable-ldpi" folder. Add the appropriate "XXX.png" drawable to the "drawable-ldpi" folder." - ничего нового.
13 - "Default layout file YYY.xml does not have an xlarge-specific version. This app may not have the look and feel expected on devices with extra large screens. Define an xlarge layout for YYY.xml or add <supports-screens android:xlargeScreens="false"> to the manifest file." - так же ничего нового.
4 - "The import android.util.DisplayMetrics is never used ZZZ.java" - ошибка, на которую умеет указывать сам Eclipse.
1 - "The value of the local variable AAA is not used" - эту ошибку умеют находить многие анализаторы.
3 - "The static field A.B should be accessed in a static way ClassA.B" - и эту тоже.

Интересным оказалось лишь одно сообщение -

"The application declares the permission android.permission.CALL_PHONE which implies the unsupported feature android.hardware.telephony..."

. Честно говоря, результаты работы не впечатлили.

Впрочем, судя по списку правил, Application Validator умеет находить и более интересные вещи: незакрытые курсоры, недочеты Android Manifest, отсутствие перевода строки в локализованных ресурсах, ненужные или наоборот, пропущенные permissions и т.д.

Klocwork Solo for Java

Klocwork Solo - платный статический анализатор кода. По заверениям разработчиков, способен находить более 200 типов проблем, связанных с уязвимостью и надежностью кода. Анализатор умеет находить проблемы, специфичные для Android-приложений. Интегрируется с EClipse. Триальная 30-дневная версия доступна после регистрации на сайте. У триальной версии ограничение - не более 300 файлов в проекте.

Полный список правил, которые проверяет Kockwork Solo, можно посмотреть в документации. На настоящий момент правил, специфичных для Android, всего девять.

Для тестового приложения Kockwork Solo выдал 240 предупреждений. Неожиданно, очень интересных. Примеры:

NPE.RET : Null pointer dereference of 'xy' where null is returned from a method. В приложении имеется такой код: Point xy = m_SA.getShortcutPosition(); Rect r = new Rect(0, 0, xy.x, xy.y);. Функция getShortcutPosition() в отдельных случаях может возвращать null. Но в вызывающей функции проверки на null нет. Это типичная ошибка.
NPE.COND : Null pointer dereference of 'xxx' where null comes from condition. Объект xxx используется без проверки на null, а между тем, он запросто может быть равен null.
RTC.CALL : Type cast from 'android.view.View' to 'android.widget.ImageButton' is redundant because method 'setTag' is defined in 'android.view.View'. В приложении код такой: ((ImageButton)findViewById(R.id.hs_image)).setTag(combination). Т.е. анализатор обнаружил ненужное приведение типа.
REDUN.FINAL : Redundant 'final' modifier - приватный метод объявлен как final. Приватные методы всегда final, так что объявление излишне.
JD.SYNC.IN : Field 'VarName' synchronized inconsistently. - доступ к переменной VarName синхронизирован частично. Это ошибка - доступ должен либо всегда синхронизироваться, либо никогда.
ANDROID.NPE : Null pointer dereference of 'window' in an Android application. Код в приложении следующий: Window window = activity.getWindow(); window.getDecorView().getWindowVisibleDisplayFrame(rect) Т.е. не выполняется проверка window на null

Так что Kockwork Solo находит реальные ошибки, причем иные, чем FindBugs (списки дефектов, которые они обнаруживают, пересекаются незначительно). Лично меня очень заинтересовали ошибки типа NPE.RET и Android.NPE. Такие ошибки, судя по всему, не находит ни один другой анализатор.

Юзабилити у продукта не понравилось. В списке ошибок есть фильтрация, есть возможность указать статус ошибки. Но если указать статус "Ignored", то ошибка пропадает и не ясно, как ее вернуть. Если отфильтровать список, то часть ошибок из списка пропадает и опять же не ясно, как сбросить фильтр. Не интуитивно все как-то. В CodePro сделано удобнее.

JTest от Parasoft

Триальную версию Jtest просто так скачать не дают. Так что этот анализатор я в работе проверить не смог. Судя по описанию - функциональность очень интересная. Например, JTest, так же как и Code Pro, умеет самостоятельно рефакторить код.

Julia

Julia - коммерческий анализатор кода Java / Android приложений. "Семантический инструмент, основанный на математической теории".

Как указано на сайте разработчика, протестировать работу анализатора можно online, загрузив в него jar-файл. У android приложения нет jar файла, есть apk (бинарный формат - другой). APK-файл анализатор принял.. но ни один из доступных способов анализа (Nullness, Termination, Check) ничего не выдал. Пишет - "there are no warnings".

Загрузил первый попавшийся JAR - работает. Судя по всему, там неплохой анализ на "отсутствие проверки на null". Жаль, что apk-шки не грузятся.

Update: Написал разработчикам. Они мне подсказали, что можно экспортировать Android приложение в JAR-файл прямо из Eclipse. Экспортировал, загрузил в Julia.

Nullness analysis и Termination analysis результатов не выдали. Дело в том, что в демонстрационной online-версии для данных типов анализа существует ограничение: общее количество методов не должно превышать 10000 и 8500 соответственно. В тестовом приложении количество методов оказалось большим, так что процедура анализа принудительно останавливалась до завершения работы.

Третий тип анализа - "Checks", - выдал 286 предупреждений. По большей части, вот таких:

[Classcast] A you sure that this cast from classA into classB is always legal?
[BadNames] Method XXX has a bad name
[Deadcode] Methos XXX is not reachable
[BadEq] Inefficient comparison with the empty string. Use isEmpty() instead
[Approximation] Unsafe comparison beween non-integral numbers.
[StaticFieldAccess] Modification of static field from a non-static context (это что-то новенькое; другие анализаторы на такие ошибки не ругались).
[Unused class] Class YYY is not used.
[Field access] Field XXX is never reach in reachable code.
[Useless call] Useless call toString()
[BadEq] Suspicious use of == rather then equals() to compare two java.lang.String

В принципе, кое что интересно есть. Но: пользоваться очень неудобно (результаты выдаются в виде странички на флеш), поскольку сервис online, приходится "отдавать" исходники приложения в виде jar, что не всегда приемлемо.

Update2. Попросил разработчиков Julia провести анализ тестового приложения и прислать мне результаты. Они любезно согласились.

Termination analysis - это анализ кода на наличие бесконечных циклов и рекурсий в коде. Он выдал одно предупреждение. Анализатору не понравился код


private void expungeStaleEntries() {
Reference sv;
while ((sv = queue.poll()) != null) {
hash.remove(reverseLookup.remove(sv));
}
}

из реализации SoftHashMap, взятой отсюда. Опасения анализатора понятны. Тем не менее, код правильный.

Nullness analysis проверяет в коде отсутствие необходимых и наличие излишних проверок на null. Таких предупреждений было выдано 187. Примеры ошибок:

X1.java:57: is the return value of getY1 non-null?
X2.java:57: is the 0th actual parameter of parseInt non-null?
X3.java:69,70,72,78,105,109,178: is the return value of getY2 non-null?
X4.java:227,261,309: is the value of field mX1 non-null?
X5.java:84: is this nullness check useless?
X6.java:318,361: is the receiver of the call to iterator non-null?
X7.java:34: is the formal parameter srcRect non-null?

Отмечу, что Kockwork Solo выдал всего 43 предупреждения, связанных с проверкой на null. Подробнее результаты, полученные Julia и Kockwork Solo, сравниваются ниже.

Напоследок. Сравнительные тесты

Ну как же без тестов... Многие анализаторы обнаруживают одни и те же типы проблемы в коде. Сравним, кто что находит.

Неверное сравнение строк

В Java строки надо сравнивать через equal. Между тем, по старой сишной привычке, можно сравнить строки через != и == и получить ошибку. Этот баг настолько распространен, что его ищут чуть ли не все анализаторы.

В тестовом приложении оказалось семь таких багов. Вот они:


1. widget_name == ""
2. title != adapter.getItem(i).Title
3. srcStr == "S"
4. m_K != ""
5. contact_name != m_B.getB().GetR(this)
6. contact_name == ""
7. name == "" ? "" : name + ": "

Вот как справились с поиском этого бага анализаторы кода:

	1	2	3	4	5	6	7
Kockwork Solo	1	1	1	1	1	1	1
CodePro	1	1	1	1	1	1	1
FindBugs	1	0	1	0	1	1	0
PMD	1	0	1	1	0	1	1
Checkstyle	1	0	1	1	0	1	1
Julia	1	1	1	1	1	1	1

Проблемы со switch

Для switch характерны следующие проблемы:

1. Отсутствие default
2. Пропущен break
3. Switch выполняется по значению перечислимого типа. В "case" используются не все значения, входящие в перечислимый тип.
4. Switch слишком маленький - например, в нем одно или два значения. Можно обойтись if/else.
5. В двух case используется одинаковый код.

Далеко не всегда эти проблемы являются реальными ошибками. Тем не менее, анализаторы кода как правило считают своим долгом о них сообщить.

Разные анализаторы работают с разными типами проблем. Итак, вот как отработали анализаторы на тестовом приложении.

	1	2	3	4	5
Kockwork Solo
CodePro	32	4	51
FindBugs	18	1			0
PMD	32	8		9
Checkstyle	32
Julia

NP-анализ

Отсутствие проверки на null и, как результат, "NUll pointer exception" - одна из наиболее частых ошибок при разработке под Android. Другая сторона медали - излишние проверки.

К слову сказать, FindBugs успешно отлавливает такую ошибку: вначале у объекта вызывается функция, а затем объект проверяется на null.

Klocwork и Julia "заточены" под Android. И эта "заточенность" проявляется, прежде всего, в возможности NP-анализа. Как я писал вышел, Klocwork для тестового приложения выдал 43 NP-предупреждения, Julia - 187. Сравним, кто что нашел.

NP анализ. Файл 1

Проблема 1.1. String action = intent.getAction(); if (action.equals("abc")) {..}; Переменная action может быть null. Проблему обнаружили обе программы.
Проблема 1.2. intent.getExtras().getInt(...); Результат getExtras() не проверяется на null. Проблему обнаружили обе программы.
Проблема 1.3. Uri uri = intent.getData(); Integer.parseInt(uri.getQueryParameter("widget_id")). Оба анализатора сообщили об использовании uri без проверки uri на null. Julia дополнительно сообщила о том, что результаты работы uri.getQueryParameter на null не проверяются и в parseInt может быть передан null.
Проблема 1.4. WidgetContent wc = WidgetFabric.getWidgetContent(); wc.getFlagValue();. Оба анализатора сообщили, что wc может быть null. В реализации getWidgetContent() действительно есть ветка кода, которая возвращает null.
Проблема 1.5. ((Singleton)context.getApplicationContext()).getABC().Register(); Об этой проблеме сообщила только Julia. Функция getABC() может вернуть null и вызывать Register() нельзя. На самом деле, объект ABC создается в синглетоне, реализованном поверх класса Application. Инициализируется он в момент запуска приложения и null быть не может. Однако, инициализация ABC проводится не в конструкторе синглетона, а в функции onCreate. Анализатор не знает про тонкости создания синглетона и предупреждает об ошибке, которая вряд ли возможна.

NP анализ. Файл 2

Проблема 2.1. CheckBoxPreference pref = (CheckBoxPreference)getPreferenceScreen().findPreference("pref_name");. findPreference может возвращать null.
Проблема 2.2. List list_skins = ((Singleton)this.getApplicationContext()).getSkinManager().getListSkins("skin_name"); Проблема аналогична 1.5. Функция getSkinManager может возвращать null, но только теоретически.
Проблема 2.3. int len_skins = list_skins.size(); Переменная list_skins действительно может быть null.
Проблема 2.4. for (int j = 0; j < len_skins; ++j) { array_skins[j] = list_skins.get(j).SkinTag; } Результаты get не проверяются на null. Такая проверка необходима, если list_skins может содержать null. В приложении такого быть не может, так что проверка не нужна.
Проблема 2.5. String skin_name = (String) p.getEntries()[p.findIndexOfValue(skin_tag)]; Результат работы getEntries() не проверяется на null.
Проблема 2.6. CharSequence[] titles = res.getTextArray(idTitles); if (values[0].equals(svalue)) {...}; Значение values[0] не проверяется на null.
Julia сообщила обо всех этих проблемах. Klocwork - только о 2.3.

NP анализ. Файл 3

Проблема 3.1. m_AsyncTask = new AppInfoReceiverTask(mUtils.getList()); Эту ошибка нашла только Julia - переменная mUtils может быть null. На самом деле, mUtils инициализируется в onCreate (речь идет о наследнике Activity) и null быть не может.
Проблема 3.2. protected void onActivityResult(int requestCode, int resultCode, Intent data) { data.getExtras().getString(...); Эту проблему нашли оба анализатора: data.getExtra может вернуть null.
Проблема 3.3. (LauncherContent)WidgetFabric.getWidgetContent() Эту проблему нашел Klocwork. Julia ее пропустила.
Проблема 3.4. SpinnerItem selected_item = (SpinnerItem)spinner.getSelectedItem(); String s = selected_item.Title; Функция getSelectedItem может вернуть null согласно документации. Проблему нашла только Julia
Проблема 3.5.

ListView list_view = (ListView) dialog.findViewById(R.id.listview); list_view.setAdapter(new SelectImageAdapter(list_images) );

Теоретически, findViewById может вернуть null. На проблему указала только Julia.
Проблема 3.6. private final void remove_shortcut(AppInfo appInfo) { m_List.remove(appInfo); } В функцию может быть передан null, appInfo на null не проверяется. Проблему нашла только Julia.
Проблема 3.7. for (SkinManager.SkinInfo skin : skins) { ... } Переменная skins может содержать null. Проблему нашли оба анализатора.

Резюме. Julia находит почти все NP-ошибки, которые обнаруживает Klocwork, плюс еще ряд дополнительных. Одновременно, она генерирует довольно много ложных сообщений, которые на практике придется просто игнорировать. Самая большая проблема на мой взгляд - она не учитывает, что в Activity переменные инициализируются в onCreate, а не в конструкторе.

Итоги

В итоге получается следующая картина. В настоящее время существует восемь доступных статических анализаторов кода для Android приложений: Lint, FindBugs, Checkstyle, CodePro, PMD, Motodev App Validator, Klocwork Solo, Julia. Основная специализация у них следующая:

Lint и Motodev App Validator - поиск проблем в ресурсах Android приложения;
FindBugs, Klocwork Solo и Julia - поиск ошибок в коде приложения;
Checkstyle - проверка соблюдения правил оформления кода и стандарта кодирования;
CodePro и PMD - поиск неоптимального кода, проблемного кода, поиск дублей.

FindBugs и Lint прекрасно работают "с нуля" - настраивать их практически не требуется. CodePro и PMD требуют тонкой настройки. Но если отключить в них ненужные проверки, они приносят реальную пользу. Motodev App Validator и Checkstyle мне показались не слишком полезными - на любителя. Klocwork Solo - находит ряд ошибок, которые не находят другие анализаторы. Он платный, но и триальную версию можно вполне успешно использовать для небольших приложений. Julia находит ряд NP-ошибок, которые не находит Klocwork, но при этом генерирует еще и множество ложных предупреждений (ошибка возможна, но только теоретически). К сожалению, воспользоваться бесплатной версией практически не возможно.

Диалог выбора на Android или контекстное меню с картинками.

2011-12-17T13:27:00.000+08:00

Задача выбора элемента из списка возникает в Android-приложениях регулярно. В принципе, для выбора элемента можно воспользоваться стандартным контекстным меню. Но у контекстного меню есть ряд ограничений:

В контекстном меню функции вызова (onCreateContextMenu) и обработки результатов(onContextItemSelected) реализуются в Activity.
Нельзя выбрать несколько элементов.
В контекстном меню показывается только название элемента. Картинки не отображаются.

Наиболее напрягает необходимость реализации функций в Activity. Типичная ситуация - вам нужна вспомогательная функция, которая предлагает пользователю что-нибудь выбрать из списка и затем выполняет действие над выбранным элементом. Такая функция может вызываться из множества разных Activity. И что, мне в каждой Activity реализовывать функции onCreateContextMenu и onContextItemSelected? Так не пойдет.

Лучше сделать диалог. А поскольку подобные диалоги нужны сплошь и рядом, нужно сделать более-менее универсальный диалог, который подойдет для выбора элементов в большинстве случаев. О реализации такого диалога и пойдет речь.

Постановка задачи

Итак, задача - создать гибкий диалог выбора элементов из списка. Диалог, который идеально подходит для случаев, когда есть фиксированный список произвольных элементов (не обязательно строк) и нужно дать возможность пользователю выбрать один или несколько элементов. Диалог должен "уметь" показывать название, картинку и описание элемента, причем показ картинки и описания должен быть опциональным (просто потом, что картинка и описание требуются далеко не всегда).

В сложных случаях подобного диалога, естественно, не хватит. Например, при выборе списка контактов потребуется возможность фильтрации списка, фоновая подгрузка картинок, возможность вызова меню и т.д. Но в простейших случаях его будет за глаза.

Еще одним требованием к диалогу является возможность передать в него функцию обработчик полученного результата. Таким образом, появится возможность реализовывать функцию обработчик в анонимном классе прямо в точке вызова диалога.

Ну и последнее требование - простота использования.

Реализация UniDialog

Исходные коды получившегося диалога (я его назвал UniDialog) можно посмотреть здесь. Реализация включает три файла: UniDialogMultySelector - диалог для выбора нескольких элементов, UniDialogSingleSelector - диалог для выбора одного элемента, UniDialogUtils - вспомогательные классы. Кроме того, для работы диалог требует файлы ресурсов: unidialog_selector_row.xml, unidialog_selector.xml, colors.xml и unidialog_listview_background.xml.

Далее, опуская детали реализации, рассмотрим несколько примеров вызова диалога.

Пример 1. Список строк

/** Список строк - элементов списка */
private static String[] items = {"Item 1"
 , "Item 2"
 , "Item 3"
 , "Item 4"};

...

//подготавливаем данные для диалога
DialogConfig dc = new DialogConfig("Main title"
 , false //картинки не поддерживаются
 , false //описания элементов отсутствуют
);
ArrayList list = new ArrayList();
for (String s: items) {
 list.add(s);
}
 
//вызываем диалог 
UniDialogSingleSelector.showDialog(this
  , dc //конфигурация диалога
  , list //список элементов диалога
  , new UniDialogSingleSelector.SingleItemReceiver() {
    @Override public void onSelectItem(String selectedItem) {
      if (selectedItem == null) {
         //пользователь отменил выбор
      } else {
         //пользователь выбрал selectedItem
      }
   }    
});

В примере выводится список строк, из которого пользователь должен выбрать одну строку. Код делится на две части: подготовка данных для диалога и вызов диалога.

Подготовка данных включает создание объекта DialogConfig, задающего конфигурацию диалога: название и два флага, указывающих требуется ли показывать картинки и описания элементов. В нашем случае элементы - это обычные строки, у них нет картинок и описаний, поэтому флаги выставлены в false.

Диалог вызывается статической функцией UniDialogSingleSelector.showDialog, в которую передается исходная Activity, конфигурация диалога, список элементов и обработчик результатов. Обработчик задается в виде анонимного класса, реализующего функцию onSelectItem. Если пользователь отменил выбор, то в onSelectItem будет передат null. Если пользователь выбрал элемент - то в onSelectItem будет передан выбранный элемент.

Функция UniDialogSingleSelector.showDialog является параметризированной. Параметром является тип элементов списка.

Пример 2. Список элементов с картинками и описанием

Более сложный пример. Введем класс для хранения элементов списка:

class CustomDataItem implements UniDialogUtils.ItemImageProvider, ItemDescriptionProvider  {
 public final String Title;
 private final Bitmap Image;
 public final String Description;
 public CustomDataItem(String title, Bitmap image, String description) {
   this.Title = title;
   this.DrawableId = drawableId;   
   this.Description = description;
 }
 @Override public Bitmap getImage() {
   return this.Image;
 }
 @Override public String toString() {
   return this.Title;
 }
 @Override public String getDescription() {
   return this.Description;
 } 
}

Класс реализует два вспомогательных интерфейса - ItemImageProvider и ItemDescriptionProvider. Через эти интерфейсы диалога получает от элементов списка картинки и описания.

UniDialogUtils.DialogConfig dc = new UniDialogUtils.DialogConfig(items[2]
  , true //CustomDataItem supports images
  , true //CustomDataItem supports desctiptions
);

//предполагаем, что массивы ITEMS, IMAGES и DESCRIPTIONS
//содержат необходимые названия, картинки и описания
ArrayList list = new ArrayList();
for (int i = 0; i < ITEMS.length; ++i) {
  list.add(new CustomDataItem(ITEMS[i], IMAGES[i], DESCRIPTIONS[i]));
}
  

UniDialogMultySelector.showDialog(this
 , dc
 , list
 , new UniDialogMultySelector.MultyItemsReceiver() {
  @Override public void OnSelectItems(List selectedItems) {
    if (selectedItems == null) {
      //выбор отменен
    } else {
      //пользователь выбрал элементы
    }   
  }
 }
 , true //все элементы выделены по умолчанию
);

Здесь мы используем диалог мульти-выбора - UniDialogMultySelector. Он отличается от UniDialogSingleSelector наличием дополнительного (последнего) параметра в showDialog, задающего набор выбранных по умолчанию элементов. Кроме того, используется другой класс для обработки результатов - MultyItemsReceiver. Этот класс реализует функцию OnSelectItems, принимающую список выбранных элементов или null, если выбор отменен.

Вместо CustomDataItem можно использовать "стандартный" класс UniDialogUtils.SimplestDataItem, который дополнительно позволяет сохранять для элементов теги. А можно использовать сторонние классы, применяемые в других местах приложения - иногда это оказывается очень удобно. Единственное ограничение - если требуется показывать картинки и/или описания, то классы должны реализовывать один-два дополнительных интерфейса.

В showDialog последним параметром вместо true/false можно явно передать список элементов, которые должны быть по умолчанию выделены.

На картинке показан вид получившегося диалога.

Редактируя файлы ресурсов, можно подогнать вид диалога под "стандартный" для приложения вид.

Заключение

Выше я привел два примера использования диалога. В демонстрационном приложении можно посмотреть и другие примеры.

Я активно использую данный диалог в своих приложения - удобно. Надеюсь, пригодится кому-нибудь еще. Пожелания и предложения, а так же замечания об ошибках - приветствуются :)

Скачать демонстрационный проект и apk.

Просмотреть исходные коды приложения DemoSelectDialog.

Три недели в Као-Лаке.Отдых в Таиланде в октябре 2011.

2011-10-28T11:44:00.000+08:00

Несколько дней назад вернулся из Таиланда. Отдыхали всей семьей в курортном городе Као-Лак (Khaolak, 80 км от Пхукета) в течении трех недель. Отдохнули хорошо, хотя и не без проблем.

Путешествовали мы самостоятельно, без турагентства. На Као-Лак летели через Бангкок. Из Бангкока мы успели уехать до начала наводнения, так что обошлось без экстрима.

Ребенок у нас еще совсем маленький - менее двух лет. Так что отдых наш был несколько специфичным: пляж, отель, море, прогулки вблизи отеля, никаких экскурсий. Тем не менее, о чем рассказать - есть.

Подготовка и первоначальные расходы

Из Красноярска в Бангкок есть прямые регулярные рейсы авиакомпании S7. Билеты покупали за 4 мес. до вылета. Стоимость билета туда-обратно ~23 т.р. на взрослого и 2110 руб на ребенка до 2 лет.

Из Бангкока на Као-Лак и обратно летели рейсами AirAsia. Билеты туда и обратно обошлись ~10 т.р.

Отели бронировали через agoda.ru. Отель в Као-Лаке - Khaolak Laguna Resort (вилла с завтраком, ~44 т.р). Отель в Бангкоке - Pratunam Park Hotel (~3600 руб).

Медицинскую страховку оформили в Ингосстрахе - 768 руб при страховой сумме в $15000.

В процессе подготовки много полезной информации о Таиланде почерпнули здесь.

Путешествие с ребенком. Особенности

Мы путешествовали с ребенком первый раз. Естественно, была куча вопросов: как везти коляску, как везти детское питание, сколько одежды брать и т.д.

По факту, с коляской проблем не возникло вообще. Довозишь ребенка на коляске до входа в самолет. Возле самолета коляску у тебя забирают. Получаешь ее потом вместе с багажом. При регистрации билета нужно сообщить о коляске и получить для нее багажную квитанцию. Интересно, что когда мы летели в Бангкок, у нас коляску не забрали - я пронес ее в самолет как ручную кладь и ехала она на полке над сиденьем.

Кстати, несмотря на то, что ребенок дома в коляске давно не ездит, в путешествии коляска очень пригодилась. Не представляю, как можно было бы обойтись без нее. Перемещаться приходилось много, ребенка на руках - не натаскаешься. Дождь, ты тащишь кучу чемоданов, а ребенок спит себе в коляске и нет проблем... У нас была коляска Baby Care NEW YORK. Легкая, компактно складывается, отлично амортизирует (ребенка не трясет даже на неровной дороге). Корзина внизу, накидка на ноги и (особенно!) дождевик были незаменимы. Рекомендую.

Детского питания мы брали не слишком много, благо, ребенок уже давно лопает обычную еду. Часть питания мы сложили в чемоданы, часть - в ручную кладь. В ручную кладь питание брать нужно обязательно, т.к. всегда есть риск, что багаж потеряется, а оставить ребенка без еды никак нельзя. Когда мы летели в Бангкок, ручную кладь не взвешивали. А вот когда летели обратно - взвешивали, так что мне пришлось объяснять, что сумка такая тяжелея именно из-за детского питания. Стеклянные банки с питанием, сок в тетрапаках, маленькие бутылочки с водой - с ребенком пропускают все.

Еще одна проблема - сколько брать с собой одежды? Мы приехали в Као-Лак в октябре, до начала сезона, и нам довелось увидеть, что такое тропические ливни. Влажность - чудовищная. Белье сохнет неделю. Так что либо брать для ребенка достаточное количество одежды, либо докупать одежду на месте. У влажности есть еще один неприятный эффект - когда собираешься ехать домой, вся одежда влажная.. и гораздо более тяжелая, чем обычно.

Имеет смысл взять ребенку теплую кофточку. Во многих магазинах, ресторанах, в McDonalds работают кондиционеры - там достаточно прохладно, ребенок без кофточки может простудиться. Не повредит и рубашка с длинным рукавом, чтобы можно было закрыть ребенку руки от солнца. Впрочем, мы такую рубашку без проблем купили на месте - легкую, южную, у нас в Сибири таких не продают.

Во всех ресторанах есть детские стульчики. В отелях предлагают (бесплатно) детские кроватки. Правда кроватки а-ля манеж, совершенно не удобные.

Особенность Тайланда - феноменальный интерес к европейским детям. Куда бы ты не шел - куча народа хочет подойти к ребенку, заговорить с ним, притронуться к нему. Мы научили ребенка махать ручкой таким надоедливым типам, это нас и спасало. Помашет - таец заулыбается, покудахчет, помашет в ответ и пойдет дальше.

Khao Lak

Местечко Као-Лак - это, по большому счету, одна единственная улица, расположенная между горой и морем. Весь берег моря занят отелями. На горе - лес. На улице - куча ресторанов, магазинов (с одеждой, сувенирами и пляжными принадлежностями) оптик, салонов массажа, туристических агентств (предлагающих разнообразные экскурсии) и великих портных, готовых вам за небольшие деньги сшить костюм от Армани.

Есть один большой супермаркет Nang Thong, плюс пара мелких. Имеется Макдональдс. Три аптеки на противоположной от Макдональдса стороне.

Фрукты продаются на рынке, который работает три раза в неделю - понедельник, среда, суббота. Рынок расположен километрах в 5 от отеля, туда надо ехать на минибасе или такси. В принципе и пешком дойти не сложно, но на коляске туда не проехать - тротуары кончаются возле Nang Thong, дальше только шоссе, дорожки для пешеходов не предусмотрено. Стоимость минибаса до рынка 100 бат, такси - 150 бат (можно и за 100-120 договориться).

Спиртное можно покупать в Nang Thong - дешевле чем у нас в России раза в 2. Бутылка 0.7 л London Dry Gin стоит ~550 бат, капитанского джина - 350 бат. Стоимость банки местного пива 0.33 на уровне 35-40 бат.

Погода

Мы отдыхали в Тайланде со 2 по 22 октября. А сезон там начинается в ноябре..

В день приезда в Као-Лаке лили ливни. Льет час, перерыв на 10-15 минут и опять льет. Мы поначалу расстроились - ничего себе отдыхать приехали... И не только мы. Напротив немцы заселились - глаза у них натурально квадратные были.

Впрочем, погода очень быстро наладилась. На следующей день дождь стал идти реже, а через пару дней появилось солнце. И стало так нещадно жарить, что мы с тоской вспоминали непогоду и очень радовались редким дождичкам.

Первоначально пасмурная погода помогла нам адаптироваться к местному солнцу и не сгореть. Если бы мы приехали сразу в солнечную погоду - сгорели бы обязательно. С 11:00 до 15:00 носу из отеля не высунуть, такое пекло..

Отель Khaolak Laguna Resort

От отеля осталось двойственное впечатление: есть как плюсы, так и минусы.

В отеле, в основном, живут немцы. Русских за все время нашего пребывания была лишь одна пара. Попадались так же шведы, японцы..

Отель расположен достаточно удачно. Если встать лицом к отелю, то слева дорога поднимается в гору, справа, метрах в 200 от отеля, начинаются магазины. Отели слева уже располагаются на горе и менее удобны.

Прямо напротив Khaolak Laguna Resort расположено несколько ресторанов - Gold Elephant, Sea & Sand 2, Everyday, - в любом из них можно вкусно поесть за сумму в два раза меньшую, чем в отеле (500-700 бат против 1000-1300 бат). Нам особенно понравился Sea & Sand 2, в котором есть не только тайская еда, но и европейские блюда.

В самом Khaolak Laguna Resort куча лестниц. Номера расположены у моря, ресепшен и ресторан - на пригорке, так что на коляске на ресепшен и в ресторан не заехать. В остальном перемещение по отелю на коляске проблем не вызывает - предусмотрены съезды (персонал перемещается по территории отеля на мотоциклах).

Ресторан в отеле хороший. Завтраки вкусные, более менее разнообразные. Персонал доброжелательный, повар веселый, здоровается с приезжающими на их языке (по русски не плохо говорит "Доброе утро" и "Спасибо").

Море было чистое (но не прозрачное), вода очень теплая. Большую часть времени на море были волны, иногда довольно большие - накупались всласть, гораздо интереснее, чем с спокойное море. Никаких медуз, ежей и т.д. - не встречали.

Пляж отличный, песок мелкий. Народа на пляже нет - загорают все на лежаках, в отеле. Лежаки выше всяких похвал. На лежаках лежат матрасы. Приходишь - тебе тут же приносят махровую простынь на матрас, очень удобно.

Бассейны в отеле отличные. Два взрослых бассейна, два детских - все с пресной водой. Во взрослых бассейнах есть джакузи. Бассейны чистые, вода проточная.

Сам отель представляет из себя парк флоры и фауны. Вокруг домиков рассажено множество разнообразных фикусуов, кротонов, пальм и т.д. По всему отелю - бассейны с рыбками. По территории бассейна протекает река, в которой так же плавает множество рыб (по виду - здоровенные такие караси.. но кухни в домиках не предусмотрено). Есть несколько прудов с лягушками. Мелких ящериц вокруг - не счесть. Встречаются и здоровенные ящерицы, сантиметров 60 длинной, но их рассмотреть сложно, близко они не подпускают - убегают. В отеле "проживает" множество птичек. Народ рыбок и птичек активно кормит - в основном, вкусным белым хлебом, который дают на завтраке.

Теперь о плохом. Самая большая проблема, на мой взгляд, это неудачный дизайн домиков, который портит все впечатление от отеля.

Виллы натыканы очень близко друг к другу. Три стены в комнате - это окна и двери, так что вечером, когда включаешь свет - сидишь как в телевизоре. Надо закрывать шторы. Шторы римские, окон - штук 10. Не комфортно совершенно.

Виллы тесные. Комната примерно 4 x 6 метров, в ней стоит вся мебель - кровать, диван, два кресла, столик с тумбочками и холодильником, телевизор на столике, маленький столик, пара прикроватных тумбочек. В принципе, с теснотой можно было бы смириться, если бы ни кондиционер.

Кондиционер у них расположен прямо над кроватью. Воздух идет над кроватью, утыкается в стену и далее идет прямиком в кровать. Включил кондиционер - спать не возможно, сквозняк. У кондиционера три режима вентилятора. Даже если выставить минимальный уровень, сквозняк слишком сильный, чтобы можно было оставить кондишен включенным на ночь. Мы купили в супермаркете лист пластика, сделали из него короб, закрыли кондиционер и направили воздух прочь от кровати. Стало гораздо лучше. Но комната слишком тесная, потоки воздуха над кроватью все равно гуляют. Для взрослого может и ничего, для ребенка - недопустимо.

В итоге, пришлось спать с выключенным кондиционером. Открывали окна на сквозняк, периодически ночью включали кондиционер, когда совсем туго становилось... Мало того, что жарко, так еще и москиты одолели. Не знаю - климат у них такой, или пруды с рыбками и лягушками дают о себе знать, - но москитов там дофига. Купленный аналог фумитокса не помог. Пришлось покупать в аптеке крем OFF от москитов, мазать себя и ребенка и спать намазанными. Так и жили.

Забавно, что в более дешевых номерах (не виллах) кондиционеры расположены не над кроватями. Точнее, в половине номеров - не над кроватями, в другой половине - над кроватями. Тот, кто проектировал номера, явно не задумывался об этой проблеме.

Еще пара мелких недостатков. В туалете нет вентиляции. Тусклое освещение. Крайне неудобная входная дверь.

В комнате есть чайник и фен. Ежедневно выдают бесплатно две бутылки питьевой воды. Сейфа нет, но это не проблема - бесплатный сейф есть на ресепшене.

Когда я резервировал отель, то выбирал отель с бесплатным Wi-Fi. В Khaolak Laguna Resort WI-FI в номерах практически не ловится (очень редко, в шкафу, в дождливую погоду, можно ненадолго подсоединиться). WI-FI работает на ресепшене, в ресторане, около бассейна и на море. Когда я пришел на ресепшен с жалобой на неработающий WI-FI, мне предложили подключить бесплатную кабельную сеть. Но для смартфонов кабельная сеть не актуальна.

Страховой случай

Ребенок у нас таки простыл от кондишена и сквозняков. Как-то ночью, примерно через две недели после начала путешествия, у ребенка поднялась температура 39. Мы были вынуждены позвонить в Москву, в Ингосстрах. Натолкнулись неожиданно на проблемы с билайном - звонок обошелся крайне дорого, утекло ~1500 руб. Плюс дозвониться не могли - какое-то время не было соединения.

В остальном все прошло гладко. В 4 утра позвонили. В 7:30 приехал местный доктор, который улыбался так же широко, как доктор Ливси. Измерил ребенку температуру дистанционного, послушал ребенка, выяснил какие лекарства мы давали. Объяснил нам, что у ребенка кашель, бронхит и инфекция, что бывает очень часто у таких маленьких детей в таком климате. Выдал лекарства - антибиотик, жаропонижающее и два лекарства от кашля. Взял копию паспорта ребенка и листок страхового полиса. Выставил счет на 6 тыс. бат, я его подписал. Сказал, что температура должна упасть в течении 3 дней, если не упадет, снова звонить в Москву и вызывать его повторно.

Лекарства помогли, ребенок быстро выздоровел. Кашель окончательно прошел примерно через неделю.

Перелет на Пхукет и обратно на Air Asia

Последний раз я летал AirAsia 5 лет назад. С тех пор они внедрили ряд усовершенствований.

Во-первых, теперь при покупке билета явно указываешь, сколько багажа с собой будет. Довольно удобно, можно брать до 30 кг на человека.

При покупке билета желательно указать правильный вес чемоданов. Если будет перевес, будешь доплачивать. Причем у них на сайте явно указано, что в аэропорту цены гораздо выше, чем при оплате багажа заранее.

Мы на это налетели. Когда мы летели в Пхукет, у нас был перевес 15 кг. Я доплатил ~500 бат - приемлемо. Когда мы летели обратно, у нас был перевес 13 кг. С нас запросили ~5000 бат. Естественно, мы отказались платить. Вместо этого - перепаковали чемодан, кое-что выкинули, сделали себе вторую сумку в ручную кладь. Улетели так, ничего не доплачивая. В AirAsia есть требования к ручной клади - ограничения на килограммы (7 кг) и на размер (56cm X 36cm X 23cm). Но по факту ее никто не взвешивает, и народ тащит внутрь довольно здоровые сумки.

Во-вторых, теперь можно регистрироваться на рейс самостоятельно - через Web Check In. По сути, сам себе распечатываешь посадочный талон. Если регистрироваться в аэропорту, то будешь платить дополнительные деньги.

Банког, Pratunum Park Hotel

Последние два дня нашего путешествия мы провели в Банкоге. Это было 21-22 октября, наводнение в Банкоге еще не началось. По улицам были разложены баррикады из мешков с песком - вот и все, что свидетельствовало о чрезвычайной ситуации. Рынки и магазины работали на полную катушку.

Мы остановились в отеле Pratunum Park Hotel. Отель понравился. Персонал приветливый, кондиционер не над кроватью:), питьевую воду дают, в комнате есть сейф. На мой взгляд - нормальный трехзвездочный отель, само то, чтобы перекантоваться пару дней. Бесплатный Wi-Fi уверенно работает в номерах и на ресепшене. Сеть закрытая, нужно брать у администратора пароли.

Добираться до отеля просто. В аэропорту спускаешься на нулевой этаж, садишься на City Line. Доезжаешь до станции Ratchaprarop. Если смотреть со станции, отель находится за близстоящим небоскребом - примерно в 400 м от станции. Задача - обойти небоскреб.

Спускаемся со станции, встаем лицом к дороге. Идем направо, доходим до первого широкого (подворотни не считаются) поворота направо - метров 50-100. Поворачиваем. Идем до первого поворота налево - тоже метров 100 (справа увидите несколько индийских ресторанов). Поворачиваем. За спиной небоскреб, впереди небоскреб, вокруг - рынок... Проходим метров 50, сворачиваем в первый поворот направо. Именно на этой улице стоит отель, справа. До него метров 100-150.

Мы поначалу немножко поплутали там по улицам. Спустились со станции на улицу - а там не город, а рынок. Тротуары метр шириной, и на этом метре еще три лотка стоит со всякой всячиной. С коляской и чемоданами передвигаться очень не просто... Бангкок - это трущебы с небоскребами.

Шоппинг в Бангкоке

Мы сходили в местный "всемирный торговый центр" (Central World Plazza), расположенный в 15 минутах хотьбы от отеля. Там два торговых центра, расположенных напротив друг друга. Нам больше всего понравился Setan. Там можно купить все что угодно. Забавно, цены на сувениры в таком огромном торговом центре ничуть не выше, чем в магазинчиках в Као-Лаке.

Dirty Free в аэропорте

Богатый Dirty Free, есть что выбрать. Спиртное стоит так же как в Као-Лаке. Хороший выбор парфюма. Вот только курс доллара там безумно невыгодный. Если вы планируете что-нибудь покупать в dirty free, лучше обменять доллары на баты в обменнике и тратить баты.

Общие впечатления

Очень понравились море и пустынный пляж в Као-Лак. Собственно, за этим мы туда и ехали. Огорчила проблема с кондиционером в достаточно недешевом отеле. Не ожидали. О Бангкоке сложилось впечатление как о большом рынке. В целом, Тайланд показался гораздо менее цивилизованным, чем та же Малайзия.

Книга Version Control by Example в свободном доступе.

2011-09-15T22:01:00.001+08:00

Eric Sink раздает на своем сайте свою новую книжку, посвященную системам контроля верстки: Version Control by Example (SVN, GIT, Mercurial, Veracity). Раздает бесплатно, причем можно даже заказать в бумажном виде.

Книжка интересная, так что заказал. Бумажный вариант читать все-таки на порядок удобнее, чем PDF.

Update 9.11.2011 Пришла книжка. Почитаем...

Книги которые стоит прочитать. Разные версии топов.

2011-09-12T22:50:00.008+08:00

Хороших книг мало, и выловить их из книжного моря - не просто. То ли дело фильмы - в этой области работает Экслер, рецензии которого позволяют составить более менее внятное представление о фильмах, режиссерах, актерах и состоянии дел в кинематографе. И всегда подобрать что-нибудь для души.

С книгами все не так. Авторов и книг на несколько порядков больше, чем режиссеров и фильмов. "Объективно" оценить книгу, похоже, гораздо сложнее, чем фильм. Сплошь и рядом - рецензия отличная, интригует; начинаешь читать - туфта. Бывает и наоборот.

Хорошо помогают сориентироваться в книжном многообразии списки "лучших" книг. Просишь кого-нибудь составить список самых лучших, на его взгляд, книжек. Просматриваешь - если со многими позициями согласен, то есть неплохие шансы, что достойны прочтения и неизвестные тебе книги/авторы из этого списка. Разумеется, желательно чтобы "кто-нибудь" был ни "абы кто".

В интернете выложено множество подобных списков от самых разных составителей. Попробую в этом топике собрать ссылки на самые интересные списки. А заодно, на интересные книжные блоги.

Списки на русском

100 книг, которые стоит прочитать - на портале YOJO.ru
Отзывы Бориса Стругацкого о книгах
Как сортировать нон-фикшн
Рекомендованные книги в одной табличке - плод коллективных усилий читателей блога Экслера.
N+1 полезных книг о бизнесе (Хабрахабр)
Топик в тему на dirty.ru
Списки 10 лучших научпоп-книг о математике: на руссом, на английском.
Владимир Путин предложил составить список из 100 книг, которые будут обязательными к прочтению для выпускников школ. Вот что предложили деятели культуры, вот народная версия списка, а вот и альтернативный вариант.
Главные книжки всех времен и народов по мнению писателей - "результаты опроса 125 крупнейших современных англоязычных писателей на тему — Главные Книжки Всех Времен и Народов". Обсуждение на dirty.ru

Производительность Android приложения.

2011-07-11T17:50:00.007+08:00

Очень часто приходится слышать о проблемах с производительностью Android приложений. Начинаешь разрабатывать собственное приложение - точно, скорости не хватает, какие-то непонятные тормоза лезут... По моему опыту, вопросом - "что можно сделать, чтобы поднять производительность приложения на Android", - задаешься очень быстро. Особенно после первого релиза своего первого приложения :)

Традиционно в низкой производительности Android приложений винят Java. Но только ли Java виноват? Не только. Во многих случаях виноват вовсе не он.

Производительность приложения зависит от многих аспектов. И в первую очередь, от грамотности использования имеющихся в вашем распоряжении инструментов - языка программирования, библиотек, утилит. Повышение производительности - это комплексный вопрос, и подходить к нему нужно разносторонне.

Цель этой статьи - перечислить основные моменты, влияющие на производительность. Моменты, на которые стоит обратить самое пристальное внимание как при кодировании, так и при проектировании приложения.

Общие рекомендации Google

Первое, что следует прочитать - раздел Designing for Performance (перевод) в Android developers guide. В нем перечислены основные правила, которые следует соблюдать при кодировании на Java под Android.

Ключевая рекомендация - избегайте создание ненужных объектов. Чем меньше объектов создается, тем реже вызывается сборщик мусора, тем меньше используется память. Идея очевидна, но вот избегать создания лишних объектов ой как не просто...

Отмечу рекомендацию касающуюся циклов "for-each": для ArrayList классический цикл с счетчиком примерно в 3 раза быстрее, чем "for-each", а для прочих коллекций, "for-each" предпочтительнее. Лично я использовал "for-each" везде, опрометчиво считая, что "компилятор сам разберется". Оказывается это не так. Так что для ArrayList следует писать:

int size = list.size();
for (int i = 0; i < size; ++i) {
  ItemType item = list.get(i);
....
}

а для прочих коллекций

for (ItemType item : list) {
....
}

Грамотная работа с UI

В использовании Android UI есть определенные тонкости, о которых желательно знать. Подробно о них рассказывается в докладе Google I/O 2009 - ...Make your Android UI Fast and Efficient.

Затрагиваются следующие вопросы:

Эффективная реализация адаптеров для ListView, использующая ViewHolder.
Масштабирование картинок - дорогая операция, в реальном времени лучше его избегать - "runtime scaling is very expensive"
Если бакграунт не нужен, его прорисовку следует исключить (по умолчанию бакраунд рисуется, даже если он полностью закрыт контролами; отключается через стиль "Theme.NoBackground").
Invalidate очень дорог, если возможно, лучше использовать Invalidate(Rect)
Чем больше видов (view) в активити, тем медленнее работа. Существует ряд приемов, позволяющих снизить количество используемых view: compound drawable, ViewStub, тег merge.
Корректная реализация custom views и custom layouts
Список функций, в которых крайне не рекомендуется выделять память.
Использование SoftReferences для кешей и WeakReferences для исключения утечек памяти.

(Update: см. так же раздел Improving Layout Performance в Android Training).
Отмечу несколько моментов. Во первых, в докладе представлен список функций, которые желательно делать максимально легковесными и в которых, соответственно, желательно не выделять память:

Measurement: onMeasure()
Layout: onLayout()
Drawing: draw(); dispatchDraw(); onDraw();
Events handling: dispatchTouchEvent(); onTouchEvent();
Adapters: getView(); bindView();

Во-вторых, на одном из слайдов (48:15) показан интересный прием. Предположим, мы пишем супер производительную функцию, в которой нигде не должна выделяться память. Как убедиться в том, что память действительно не выделяется? Вот так:

int prevLimit = -1;
try {
  //Limit the number allocated objects
  prevLimit = Debug.setAllocationLimit(0);

  //Execute code that shouldn't perform
  //any allocations
} finally {
 Debug.setAllocationLimit(prevLimit);
}

При попытке выделить память будет сгенерировано исключение.

В третьих, на одном из листингов (53:25) приведен пример использования SoftReference для организации кеша битмапок. Более полные варианты реализации представлены здесь и здесь.

Наконец, обратите внимание на слайд (30:43). Здесь рассказывается про "Compound drawable" - возможность заменить layout, содержащий TextView и ImageView, на единственный TextView. Чем меньше view, тем быстрее приложение. Лично я не знал про такую возможность и использовал более громоздкий код, чем требовалось.

Снижение времени отклика приложения

Пользователь считает, что приложение "тормозит", если время отклика приложения превышает 100-200 мс. Еще хуже, когда задержка становится слишком большой, Android решает, что приложение зависло и появляется диалог ANR с предложением закрыть приложение.

Как уменьшить время отклика? Кое-какие рекомендации есть в руководстве разработчика, в разделе Designing for Responsiveness. Основная идея - длительные операции нужно выносить из главного потока во второстепенные.

Несколько больше информации в докладе
Google I/O 2010 - Writing zippy Android apps. Здесь затрагиваются вопросы производительности sqllite (в ряде случаев обычный файл предпочтительнее), рассматриваются варианты использования AsyncTask и intentService, демонстрируются возможности профайлера TraceView.

Корректное использование памяти

Правильно ли ваше приложение использует память? Нет ли утечек? Работа с памятью рассмотрена в докладе Google I/O 2011: Memory management for Android Apps.

В частности, объясняется механизм возникновения утечек памяти. Типичная причина - создание долгоживущих ссылок на Context (в руководстве разработчика этот момент так же детально рассмотрен).

Здесь же приведена интересная информация про Bitmap. До Honeycomb битмапки создавались в неуправляемой памяти. Для освобождения памяти, занимаемой битмапкой, необходимо было ждать вызова финалайзера или вручную вызывать метод recycle (вы его вызваете?). Начиная с Honeycomb битмапки создаются в управляемой памяти.

Для поиска утечек памяти автор доклада рекомендует использовать Eclipse Memory Analyzer (MAT). Подробности в блоге Java Performance blog.

Производительность в играх

Вопросам производительности игр посвящены доклады
Google I/O 2010 - Writing real-time games for Android redux и Google I/O 2009 - Writing Real-Time Games for Android.

SparseArray вместо HashMap

Вместо HashMap<Integer, E> можно использовать android.utils.SparseArray<E>. У этого класса почти такой же интерфейс, как у HashMap, но с важным отличием: методы get и put работают с int, а не с Integer. Таким образом, при использовании SparseArray исключаются лишние boxing операции. В многих случаях, исключение создания лишних Integer-объектов более важно, чем небольшое (потенциальное) снижение в скоростях доступа.

В android.utils есть еще пара аналогичных классов - android.utils.SparseIntArray и SparseBooleanArray - замена для HashMap<Integer, Integer> и HashMap<Integer, Boolean> соответственно.

Выводы

При разработке приложения под Android существует множество приемов, особенностей и тонкостей, напрямую влияющих на производительность. Уверен, что вышеприведенный список далеко не полон. Потихоньку постараюсь его пополнять.

Update Имеет смысл периодически проверять приложение на предмет неиспользуемых ресурсов... и удалять их. Проверять можно, например, с помощью утилиты Android Unused Resource Detector (начиная с Android SDK версии r16 для этих целей можно использовать встроенный статический анализатор Lint. Так же как Android Unused Resource Detector, Lint порой выдает ложные сообщения о неиспользуемых ресурсах, так что нужно быть очень внимательным, чтобы не удалить лишнего).

Полезная статья Speed up your Android UI про отключение ненужной прорисовки фона.

Update Многие статические анализаторы умеют отлавливать неоптимальный код, у них есть чему поучиться. FindBugs, CodePro, PMD, Lint - у всех у них есть правила типа Performance или Optimization.

Update, январь 2012 Скоро выйдет интересная книжка по теме: Hervé Guihot. Pro Android Apps Performance Optimization

Мультфильмы для самых маленьких

2011-07-06T17:40:00.006+08:00

Какие мультики показывать малышам в возрасте 1-3 года? Большинство обычных мультфильмов им не интересны - они до них еще не доросли. Малышам нужны мультфильмы попроще... и, желательно, с обучающим эффектом. Ниже - список таких мультфильмов.

Мультфильмы студии Aardman

У английской студии Aardman_Animations, создателей Уоллеса и Громмита, есть два отличных мульт-сериала для малышей: Shaun the Sheep (Барашек Шон) и Timmy Time (Время барашка Тимми). Мультфильмы про барашка Шона с удовольствием посмотрят и взрослые. Кстати, сейчас студия делает полнометражный фильм про Барашка Шона, который выйдет через пару лет.

Иностранные мультсериалы

Hutos ("Малыши") - коррейское развлекательно-познавательное шоу для детей дошкольного возраста, аналог английских "Телепузиков" (которых в этот список, пожалуй, включать не стоит). Сериал идет на канале Радость моя.

Американский обучающий сериал "Mickey Mouse Clubhouse" ("Клуб Микки Мауса"), для детей от 2 лет (в комментариях пишут что и годовички смотрят с удовольствием).

Мультсериалы для маленьких от канала TiJi Россия:

Бали / Bali - приключения пёсика Бали и его друзей
корейский сериал "Pororo the Little Penguin" ("Пингвиненок пороро"), для детей до 3х лет
Французский сериал Little Hippo / Малыш Хиппо - приключения бегемотика Хиппо
Ныряй глубже, Олли! / Dive Olly Dive - приключения маленькой подводной лодки Олли.

Методика Глена Домана

Карточки Глена Домана давно перенесли на компьютер. Есть как минимум два варианта: набор презентаций в Power Point, называется Вундеркинд с пеленок (на разных языках: английский, русский, украинский и т.д.), а так же видеовариант. Малышам очень нравится. Только не следует забывать, что по методики Глена Домана с ребенком следует заниматься, а не просто включать ему видео как обычный мультик.

Обучающие мультфильмы Роберта Саакянца

Все помнят серию мультфильмов - "Три синих синих озера малинового цвета", "Ишь ты, Масленица!", "Ух ты, говорящая рыба!" и т.д? Режиссер - Роберт Саакянц, - выпустил еще и ряд обучающих мультфильмов для малышей: "Азбука для малышей", "Арифметика для малышей", "Английский язык для малышей", "Геометрия для самых маленьких", "Астрономия для самых маленьких" и так далее. Мультфильмы расчитаны на детей от 2 до 8 лет. Продаются в интернет магазинах, в частности, в Лабиринте. Имейте ввиду, что в некоторых мультиках есть неточности, см. комментарии.

Развивающие мультфильмы

Сериал Baby Einstein предназначен для детей от 3х месяцев до 3х лет.
Обучающие видеопрограммы "Baby Signing Time" ("Будем объясняться жестами") (аналог Baby Einstein).
Мультфильмы Tiny Love.
Сериал "Даша путешественница" ("Dora the Explorer").
Мультфильм "Умный ребенок. Первые детские слова" ("Baby IQ. Baby`s first words").

Российские мультфильмы

Мультипликационный сериал Маша и медведь студии Анимаккорд.
Мультипликационный сериал Смешарики, созданный студией СКА "Петербург" (кстати, они сейчас делают полнометражный фильм "Смешарики. Начало").
Мультипликационный сериал Приключения Лунтика и его друзей, созданный студией Мельница (той самой, что делает мультики про богатырей).

Советские мультфильмы

Мы их все хорошо знаем, перечислять не буду :)

В итоге

Естественно, список субъективный и неполный. Со временем буду его пополнять.

Сбор статистики в приложении на Android

2011-07-04T10:40:00.004+08:00

Всегда интересно знать, как пользователи работают с вашим приложением: какие функции наиболее востребованы, какие кнопки нажимаются, какие настройки меняются, какие ошибки совершаются. Неплохо так же представлять себе, что это за пользователи - какая версия прошивки у их девайсов, где они географически расположены и т.д.

Такая информация неоценима для разработчика, ведь с ее помощью можно оптимизировать юзабилити, определиться с приоритеностью функционала, найти пути повышения продаж. Вопрос только как такую статистику собирать.

Самый простой путь - воспользоваться готовой системой сбора аналитической информации. Таких систем сейчас более чем достаточно (1, 2). Например:

У каждой системы есть свои изюминки: real-time обновление статистики (Localitics), суперточность с отслеживанием уникальных ID каждого пользователя (Bango), наличие средств для проведения опроса пользователей (Apsalar), наличие средств для регулярной отправки уведомлений пользователям (BuzzBox) и т.д. Естественно, есть и море отличий: в интерфейсе, в средствах анализа, в наличии дополнительных API, в стоимости, в наборе поддерживаемых платформ и т.п.

Принцип работы у всех систем примерно одинаков. Регистрируемся на сайте системы, получаем SDK и уникальный ключ. В приложение подключаем стороннюю библиотеку (единственный jar-файл из SDK). Добавляем код вызова функций, регистрирующих события в приложении. Релизим приложение. Ждем некоторое время, пока пользователи поработают в программе. Заходим на сайт системы и смотрим разнообразные аналитические отчеты.

Вот, например, как ведется сбор данных в Apsalar:

import com.apsalar.sdk.Apsalar;

public void onCreate(Bundle savedInstanceState) {
...
Apsalar.startSession(this, "myapikey", "mypassword");
..
}

/** уровень level пройден за countSeconds */
public void onLevelPassed(int level, int countSeconds) {
...
  Apsalar.event("passed", "level", level, "duration", countSeconds);
...
}

API, как видите, тривиальное, так что технически добавить код для фиксации событий в приложении совсем не сложно. Количество событий и количество атрибутов у каждого события не ограничено, поэтому детализация собираемой информации может быть весьма высокой.

Конечно, подобные системы сбора информации - это, прежде всего, инструмент аналитика, желающего увеличить доход от продажи приложения. И накапливаемая статистика событий в приложении - всего лишь первичный материал для анализа. Тот же Apsalar позволяет, например, проводить Funnel Analysis, Engagment Analysis, Trending Analysis, Path Analysis, Event Analysis, Operational Analysis.

Взять к примеру Funnel Analysis (воронку продаж). Если в вашем приложении пользователь должен сделать несколько шагов к совершению покупки (последовательно открыть несколько страниц, нажать несколько кнопок), то Funnel Analysis позволит увидеть, сколько пользователей (и каких именно) отсеивается на каждом шаге. Любопытно, что существуют системы монетизации, активно использующие подобную информацию.

Резюме. Готовых систем сбора аналитической информации для Android приложений сейчас множество, выбор широк. Многие из них бесплатные и, одновременно, обладают достойным функционалом. Подключаются подобные системы тривиально, весят "копейки" (10-30 kb), а пользу разработчику могут принести немалую. Единственное но: не у всех пользователей неограниченный трафик. Так что пользователи должны иметь возможность сбор статистики отключать.

Update: Полезная статья на хабре Flurry Analytics. Как держать руку на пульсе приложения

Блог компании Apsalar.
Еще пара сервисов: Appoxee, AppFiguers. По поводу Appoxee см. так же how to create post app download engagement.

Конвертация даты из внутреннего формата MSSQL

2011-05-12T19:56:00.000+08:00

Переводил базу из MsSQL в MYSQL. Стандартные инструменты из MySQL Migration Toolkit оказались бессильны перед этой базой - кодировка портилась, хоть тресни. Пришлось конвертить ручками, через SQL скрипты. Все было хорошо.. пока не обнаружилось, что в MSSQL-ном скрипте в некоторых таблицах данные типа DateTime оказались записаны в виде:

CAST(0x00008F5800000000 AS DateTime) //2000-06-21 00:00:00
CAST(0x00008F5900000000 AS DateTime) //2000-06-22 00:00:00

Это - внутренний формат даты в MSSQL. Вопрос - как из внутреннего формата преобразовать дату в нормальный вид?

Оказалось, проблема известна, и народ этот формат уже расковырял. Привожу функцию на C#, для конвертации внутреннего формата даты MSSQL в стандартный DateTime:

 public static DateTime ConvertSqlBinaryToDate(String value) {
  const String HEXADECIMAL_PREFIX = "0x";

  if (value == null) {
      throw new Exception("value is null");
  }
  if (value.Length != 18) {
      throw new Exception("value should have length 18 bytes");
  }

  if (!value.StartsWith(HEXADECIMAL_PREFIX)) {
      throw new Exception(String.Format("value should starts from {0}", HEXADECIMAL_PREFIX));
  }

  String first_part = value.Substring(2, 8);
  String second_part = value.Substring(10, 8);

  Double first_part_value = long.Parse(first_part, System.Globalization.NumberStyles.HexNumber);
  Double second_part_value = long.Parse(second_part, System.Globalization.NumberStyles.HexNumber);

  if (first_part_value &gt; Int32.MaxValue) {
      first_part_value = UInt32.MaxValue - first_part_value;
  }

  //Each unit of the value of the second 4 bytes matching a clock-tick
  //Equivalent to 3.33 milliseconds.         
  const double MILLISECONDS_PRECISION = 3.33333333;

  DateTime result = new DateTime(1900, 1, 1);
  result = result.AddDays(first_part_value);

  result = result.AddMilliseconds(second_part_value * MILLISECONDS_PRECISION);

  return result;
}

Оригинал на VB по ссылке выше, в комментариях.

Перенос данных с Firebird 1.5 на Firebird 2.5

2011-05-10T14:54:00.003+08:00

Появилась необходимость перетащить базу с Firebird 1.5 на Firebird 2.5. После полуторки были еще FB 2.0 и FB 2.1, структура базы поменялась значительно. Почитал форумы - выяснилось, что наиболее надежный способ переноса базы - заново пересоздавать базу из скриптов на FB2.5.

С переносом метаданных все понятно - с помощью IBExpert извлекаем метаданные (команда Extract Metadata) из базы под FB 1.5 и создаем новенькую пустую базу на FB 2.5. А вот как перетаскивать сами данные?

Несмотря на то, что в IBExpert есть множество средств импорта/экспорта данных, готового инструмента для переноса данных между базами - нет. К счастью, IBExpert поддерживает мощный скриптовый язык IBEBlock. И на нем достаточно просто создать скрипт с требуемой функциональностью. Далее расскажу подробнее о получившемся скрипте и опишу итоговую процедуру переноса базы с FB1.5 на FB2.5.

Расширенный INSERT INTO в SQL Editor

Честно говоря, начал я не с IBEBlock, а с расширенного синтаксиса INSERT INTO, который поддерживает IBExpert (см. раздел Moving data between databases в документации IBExpert). SQL Editor поддерживает такой синтаксис:

INSERT INTO <database_alias>.<table_name>[(<columns_list>)]<select_statement>

С помощью этой команды можно перенести таблицу из одной базы в другую. Недолго думая, я написал скрипт вида:

INSERT INTO [db25].TABLE1 SELECT * FROM TABLE1;
INSERT INTO [db25].TABLE2 SELECT * FROM TABLE2;
...
INSERT INTO [db25].TABLE120 SELECT * FROM TABLE120;

и сразу воткнулся в три проблемы.

Расширенный вариант INSERT INTO <database_alias>.<table_name> работает только в SQL Editor и не работает в SQL Executor. На практике это означает, что за раз можно выполнить только одну команду INSERT INTO. А выполнить все команды оптом - нельзя. Крайне неудобно, если перенос данных между базами требуется провести не раз и не два.
Расширенный вариант INSERT INTO не учитывает вычисляемые read-only поля, созданные через computed by. Если в таблице есть вычисляемое поле, INSERT INTO выдает ошибку.
Многие таблицы связаны между собой зависимостями через foreign keys. Поэтому переноситься они должны в определенном порядке. Так, чтобы при загрузке очередной таблицы, все данные, на которые она ссылается, в базе уже были. Порядок загрузки таблиц нужно определить - либо экспериментальным путем, либо теоретическим, изучив структуру базы. В худшем случае зависимости могут оказаться циклическими и тут без танцев с бубном не обойтись - простого способа автоматизации переноса данных в этом случае нет, придется переносить данные частыми, создавать Update-скрипты и т.д. В моем случае таких проблем, к счастью, не возникло.

Таким образом, INSERT INTO годится для одноразового переноса данных между базами - например, чтобы определить правильный порядок переноса таблиц. А для автоматизации процесса переноса данных этот способ не подходит.

Скрипт на IBEBlock

А вот IBEBlock подходит для переноса данных идеально. В документации так и написано - With EXECUTE IBEBLOCK you will be able to: ... Move (copy) data from one database to another. Более того. В примерах использования IBEBlock есть функция Copy Table, предназначенная для копирования таблиц из базы в базу (она, кстати, прекрасно распознает вычисляемые поля и исключает их из INSERT запросов).

Я взял эту функцию за основу и, немного повозившись, получил скрипт с нужным функционалом:

EXECUTE IBEBLOCK
AS
BEGIN

FuncCopyTableData = 'execute ibeblock (
   SrcObjectName variant = '''' comment ''Table name to be copied'',
   DestObjectName variant = '''' comment ''Destination table name, leave empty if no changes need'')
as
begin
   SrcDBPassword = ''masterkey'';
   SrcDBUserName = ''SYSDBA'';
   DestDBUserName = ''SYSDBA'';
   DestDBPassword = ''masterkey'';
   SrcDBCharset = ''WIN1251'';
   DestDBCharset = ''WIN1251'';
   SrcDBClientLib = ''C:\Program Files (x86)\Firebird\Firebird_1_5\bin\fbclient.dll'';
   DestDBClientLib = ''C:\Program Files (x86)\Firebird\Firebird_2_5\bin\fbclient.dll'';
   SrcDBConnStr = ''127.0.0.1:z:\db\db15.fdb'';
   DestDBConnStr = ''127.0.0.1/3051:z:\db\db25.fdb'';

   Time1 = ibec_GetTickCount(); 

   CRLF = ibec_CRLF();
   BS = ibec_Chr(8);
   Success = BS + '' Successfull.'';
   Failed = BS + '' FAILED!'';

   SrcTableName = SrcObjectName;
   DestTableName = DestObjectName; 

   SrcDBParams = ''DBName='' + SrcDBConnStr + '';'' +
                 ''User='' + SrcDBUserName + '';'' +
                 ''Password='' + SrcDBPassword + '';'' +
                 ''Names='' + SrcDBCharset + '';'' +
                 ''ClientLib='' + SrcDBClientLib;

   DestDBParams = ''DBName='' + DestDBConnStr + '';'' +
                  ''User='' + DestDBUserName + '';'' +
                  ''Password='' + DestDBPassword + '';'' +
                  ''Names='' + DestDBCharset + '';'' +
                  ''ClientLib='' + DestDBClientLib;

   try
     try
       ibec_Progress(''Connecting to '' + SrcDBConnStr + ''...'');
       SrcDB = ibec_CreateConnection(__ctFirebird, SrcDBParams);
       ibec_Progress(Success);
       SrcDBSQLDialect = ibec_GetConnectionProp(SrcDB, ''DBSQLDialect'');
     except
       ibec_Progress(Failed);
       raise;
       Exit;
     end;

     try
       ibec_Progress(''Connecting to '' + DestDBConnStr + ''...'');
       DestDB = ibec_CreateConnection(__ctFirebird, DestDBParams);
       ibec_Progress(Success);
       DestDBSQLDialect = ibec_GetConnectionProp(DestDB, ''DBSQLDialect'');
     except
       ibec_Progress(Failed);
       raise;
       Exit;
     end; 

     ibec_UseConnection(SrcDB); 

     select rdb$relation_name, rdb$system_flag, rdb$external_file, rdb$description
            from rdb$relations
            where (rdb$relation_name = :SrcTableName) and (rdb$view_blr is null)
            into :SrcTableData;

     if (SrcTableData[''RDB$RELATION_NAME''] is null) then
       exception cant_find_table ''There is no such table ('' + :SrcTableName + '') in the source database.'';
     IsSys = SrcTableData[''RDB$SYSTEM_FLAG''] = 1;
     if (IsSys) then
       exception cant_copy_system_table ''Cannot copy a system table.'';


     if ((DestTableName is null) or (DestTableName = ''''))  then
       DestTableName = SrcTableName; 

     DestTableNameFmt = ibec_IIF(DestDBSQLDialect = 3, ibec_QuotedStr(:DestTableName, ''"''), ibec_AnsiUpperCase(:DestTableName));
     SrcTableNameFmt = ibec_IIF(SrcDBSQLDialect = 3, ibec_QuotedStr(:SrcTableName, ''"''), ibec_AnsiUpperCase(:SrcTableName)); 

     select rdb$field_name
            from rdb$relation_fields
            where (rdb$relation_name = ''RDB$FIELDS'') and
                  (rdb$field_name = ''RDB$FIELD_PRECISION'')
            into :bPrecision;
     bPrecision = ibec_IIF(:bPrecision is NULL, FALSE, TRUE);

     SelStmt = ''select rf.rdb$field_name as fld_name,'' +
                      ''rf.rdb$field_source as fld_domain,'' +
                      ''rf.rdb$null_flag as fld_null_flag,'' +
                      ''rf.rdb$default_source as fld_default,'' +
                      ''rf.rdb$description as fld_description,'' +
                      ''f.rdb$field_type as dom_type,'' +
                      ''f.rdb$field_length as dom_length,'' +
                      ''f.rdb$field_sub_type as dom_subtype,'' +
                      ''f.rdb$field_scale as dom_scale,'' +
                      ''f.rdb$null_flag as dom_null_flag,'' +
                      ''f.rdb$character_length as dom_charlen,'' +
                      ''f.rdb$segment_length as dom_seglen,'' +
                      ''f.rdb$system_flag as dom_system_flag,'' +
                      ''f.rdb$computed_source as dom_computedby,'' +
                      ''f.rdb$default_source as dom_default,'' +
                      ''f.rdb$dimensions as dom_dims,'' +
                      ''f.rdb$description as dom_description,'' +
                      ''ch.rdb$character_set_name as dom_charset,'' +
                      ''ch.rdb$bytes_per_character as charset_bytes,'' +
                      ''dco.rdb$collation_name as dom_collation,'' +
                      ''fco.rdb$collation_name as fld_collation'';
     if (bPrecision) then
       SelStmt = SelStmt + '', f.rdb$field_precision as dom_precision''; 

     SelStmt = SelStmt + CRLF +
               ''from rdb$relation_fields rf '' + CRLF +
               ''left join rdb$fields f on rf.rdb$field_source = f.rdb$field_name'' + CRLF +
               ''left join rdb$character_sets ch on f.rdb$character_set_id = ch.rdb$character_set_id'' + CRLF +
               ''left join rdb$collations dco on ((f.rdb$collation_id = dco.rdb$collation_id) and (f.rdb$character_set_id =  dco.rdb$character_set_id))'' + CRLF +
               ''left join rdb$collations fco on ((rf.rdb$collation_id = fco.rdb$collation_id) and (f.rdb$character_set_id =  fco.rdb$character_set_id))'' + CRLF +
               ''where rf.rdb$relation_name = '' + ibec_QuotedStr(:SrcTableName, '''''''') + CRLF +
               ''order by rf.rdb$field_position'';


     ibec_Progress(''Collecting fields info...'');
     i = 0;
     iUserDomainCount = 0;
     for execute statement SelStmt into :FldData
     do
     begin
       s = ibec_Trim(FldData[''FLD_DOMAIN'']);
       aDomains[i] = ibec_IIF(ibec_Copy(s, 1, 4) = ''RDB$'', null, s);
       if (aDomains[i] is not null) then
         iUserDomainCount = iUserDomainCount + 1; 

       aFields[i] = ibec_Trim(FldData[''FLD_NAME'']); 

       sType = ibec_IBTypeToStr(FldData[''DOM_TYPE''],
                                FldData[''DOM_SUBTYPE''],
                                FldData[''DOM_LENGTH''],
                                FldData[''DOM_SCALE''],
                                FldData[''DOM_SEGLEN''],
                                FldData[''DOM_CHARLEN''],
                                FldData[''DOM_PRECISION''],
                                DestDBSQLDialect);
       aTypes[i] = sType;

       aFieldsNotNull[i] = ibec_IIF(FldData[''FLD_NULL_FLAG''] = 1, '' NOT NULL'', '''');
       aFieldsDefault[i] = ibec_IIF(FldData[''FLD_DEFAULT''] is null, '''', '' '' + ibec_Trim(FldData[''FLD_DEFAULT'']));
       aFieldsComment[i] = FldData[''FLD_DESCRIPTION''];
       aFieldsCharset[i] = ibec_IIF(FldData[''DOM_CHARSET''] is null, '''', ibec_Trim(FldData[''DOM_CHARSET'']));
       aFieldsCollate[i] = ibec_IIF(FldData[''FLD_COLLATION''] is null, '''', ibec_Trim(FldData[''FLD_COLLATION'']));

       aDomainsComputedBy[i] = FldData[''DOM_COMPUTEDBY''];
       i = i + 1;
     end
     ibec_UseConnection(DestDB);

     -------------------------------------------------------------
     -- TRANSFER TABLE DATA --------------------------------------
     -------------------------------------------------------------
   sFields = '''';
   sValues = '''';
   foreach (aFields as FldName key FldKey) do begin
     if (aDomainsComputedBy[FldKey] is null) then
     begin
       if (sFields <> '''') then
       begin
         sFields .= '', '';
         sValues .= '', '';
       end;
       FldNameFmt = ibec_IIF(DestDBSQLDialect = 3, ibec_QuotedStr(:FldName, ''"''), ibec_AnsiUpperCase(:FldName));
       sFields .= FldNameFmt;
       sValues .= '':'' + FldNameFmt;
     end;
   end;

   SelectStmt = ''SELECT '' + sFields + '' FROM '' + SrcTableNameFmt;
   InsertStmt = ''INSERT INTO '' + DestTableNameFmt + '' ('' + sFields + '') VALUES ('' + sValues + '')'';

   ibec_UseConnection(SrcDB);
   i = 0;
   ibec_Progress(''Copying table data...'');
   for execute statement :SelectStmt into :Data
   do
   begin
     ibec_UseConnection(DestDB);
     execute statement :InsertStmt values :Data;
     i = i + 1;
     if (ibec_mod(i, 500) = 0) then
     begin
       commit;
       ibec_Progress(''    '' + ibec_cast(i, __typeString) + '' records copied...'');
     end;
   end;
   ibec_Progress(''Totally '' + ibec_cast(i, __typeString) + '' records copied.'');
   ibec_UseConnection(DestDB);
   commit;

  finally
     if (SrcDB is not null) then begin
       ibec_Progress(''Closing connection to '' + SrcDBConnStr + ''...'');
       ibec_CloseConnection(SrcDB);
     end;
     if (DestDB is not null) then
     begin
       ibec_Progress(''Closing connection to '' + DestDBConnStr + ''...'');
       ibec_CloseConnection(DestDB);
     end;
     Time2 = ibec_GetTickCount();
     sTime = ibec_div((Time2 - Time1), 1000) || ''.'' ||ibec_mod((Time2 - Time1), 1000);
     ibec_Progress(''Finished.'');
     ibec_Progress(''Total time spent: '' || sTime || '' seconds'');
     ibec_Progress(''That''''s all, folks!'');
   end;
end;';

EXECUTE IBEBLOCK FuncCopyTableData ('TABLE1', 'TABLE1');
EXECUTE IBEBLOCK FuncCopyTableData ('TABLE2', 'TABLE2');
...
EXECUTE IBEBLOCK FuncCopyTableData ('TABLE120', 'TABLE120');
end;

Команды EXECUTE IBEBLOCK в конце скрипта расположены в том порядке, в котором нужно переносить таблицы из базы в базу, чтобы не нарушались связи между данными.

P.s. Обращаю внимание на ошибку в примере Copy Table на сайте IBExpert: вместо
ibec_QuotedStr(:SrcTableName, ) нужно писать ibec_QuotedStr(:SrcTableName, ''''), иначе скрипт не работает.

Итоговая процедура переноса базы с Firebird 1.5 на Firebird 2.5

Итоговый процесс перевода базы выглядел следующим образом. Подготовка:

С помощью IBExpert\Tools\Extract Metadata извлечь под FB1.5 метаданные в виде скрипта.
Выполнить этот скрипт под FB2.5 - убедиться, что все триггеры, процедуры и т.д. создаются без проблем.
Определить правильный порядок переноса таблиц из базы в базу. Для этого, например, можно вручную перенести все таблицы (одну за одной) из базы в базу с помощью INSERT INTO в SQL Edtitor.

Собственно перенос базы:

Деактивировать триггеры в исходной базе. Для этого открыть исходную базу в IBExpert, в DBExplorer щелкнуть правой кнопкой мыши по Triggers и дать команду Deactivate triggers.
Извлечь метаданные (с отключенными триггерами) под FB1.5 в виде скрипта.
С помощью полученного скрипта создать чистую пустую базу под FB2.5.
Создать скрипт переноса данных на IBEBlock - по аналогии со скриптом, приведенным выше. Важно соблюсти правильный порядок следования таблиц в конце скрипта - при загрузке данных не должны нарушаться связи между данными.
Выполнить скрипт, сделать Commit.
Активировать триггеры в итоговой базе. Для этого открыть результирующую базу в IBExpert, в DBExplorer щелкнуть правой кнопкой мыши по Triggers и дать команду Activate triggers.

Итоги

Первая база перенесена успешно. Теперь предстоит проверять и тестировать программы, работающие с этой базой. Позже надо будет перетащить еще несколько баз, так что методику потихоньку обкатаю.

Android. Реализация SendEmail

2011-04-29T14:58:00.000+08:00

Отправить email из приложения. Это типичная задача, с которой сталкиваешься при разработке под Android. И делов то всего - скопипастить готовый код. Но есть несколько особенностей, которые легко пропустить... и потратить кучу времени в поисках ошибки.
Итак, типичный код, который гуляет на просторах интернета:

Intent it = new Intent(Intent.ACTION_SEND);   
it.putExtra(Intent.EXTRA_EMAIL, "me@abc.com");   
it.putExtra(Intent.EXTRA_TEXT, "The email body text");   
it.setType("text/plain");   
context.startActivity(Intent.createChooser(it, "Choose Email Client"));

Сразу обратим внимание на строку "text/plain". Должно быть именно text/plain, а не ~~plain/text~~. В половине примеров в интернете сделана эта ошибка. Результат - вместо диалогового окна со списком подходящих для отправки email приложений всегда вызывается GMail, без возможности выбрать приложение.

Кроме того, вариант "text/plain" поддерживается очень большим количеством приложений. Здесь и Google Reader, и Facebook и Bluetooth.. список может быть очень длинным. Чтобы в списке фигурировали только email-приложения, нужно указывать "text/xml".

Переходим к вызову Intent.createChooser. Функция Intent.createChooser выводит список приложений, способных обработать переданный в нее intent. При этом список приложений выводится всегда, галочки "Use by default for this action" в этом списке нет. В результате, пользователи вынуждены выбирать программу для отправки email каждый раз, что их крайне нервирует.

Можно легко обойтись без createChooser

 /*context.startActivity(Intent.createChooser(it, "Choose Email Client"));*/
 context.startActivity(it);

Диалог выбора приложений все так же будет показываться, но в нем появится галочка "Use by default for this action", позволяющая запомнить выбор (чтобы отменить то, что запомнили, нужно лезть в настройки, находить в них выбранное приложение и сбрасывать там флаг "Launch by default").

У createChooser есть еще один подводный камень. Если вы попытаетесь вызвать функцию из контекста виджета, то получите сообщение об ошибке - "Calling startActivity() from outside of an Activity context requires the FLAG_ACTIVITY_NEW_TASK flag. Is this really what you want?". Ясно, что надо выставить флаг FLAG_ACTIVITY_NEW_TASK. Важно только не ошибиться и выставить его у правильного intent - у того, что возвращает функция createChooser, а не того, который мы в нее передаем.

Итак, собираем все вместе и получаем функцию, реализующую перечисленные варианты работы:

/**
* Send email through one of email applications. 
* User selects app through dialog.
* @param bUseChooser - use or don't use application chooser. 
* Chooser asks user to select email application each time 
* without possibility to remember the choice.
* Checkbox "use by default for this action" is not available in chooser. 
* But it's available if chooser is turned off.  
* @param bUseTextPlain - use text/plain or text/xml. 
* If you use "text/xml" then the dialog shows email applications only. 
*/
public static void SendEmail(Context context
 , String srcEmail
 , String srcSubject
 , boolean bUseChooser
 , boolean bUseTextPlain
 , int resourceIdChooserMessage
) {
  Intent intent = new Intent(Intent.ACTION_SEND);
  intent.setType(! bUseTextPlain  
      ? "text/xml" //show email applications only
      : "text/plain"); 
  if (srcEmail != null) {
    intent.putExtra(Intent.EXTRA_EMAIL, new String[] { srcEmail });
  }
  if (srcSubject != null) {
    intent.putExtra(Intent.EXTRA_SUBJECT, new String[] { srcSubject });
  }
  if (bUseChooser) {
    //"use by default for this action" is not available here
    //user selects required application manually each time 
    Intent chooser_intent = Intent.createChooser(intent, context.getString(resourceIdChooserMessage));
    chooser_intent.addFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
    context.startActivity(chooser_intent);
  } else {
    context.startActivity(intent);
  }
}
...
//using without chooser
  SendEmail(context, "my@abc.com"
    , null
    , false
    , false
    , 0);

//using with chooser
  SendEmail(context, "my@abc.com"
    , null
    , true
    , false
    , R.string.select_email_app);

В большинстве случаев - сойдет.

Применение Data Mining в космических приложениях.

2011-04-14T14:16:00.001+08:00

Выкладываю свою статью "Применение Data Mining в космических приложениях". Статья обзорная и содержит информацию взятую исключительно из открытых источников. Все ссылки ведут на полнотекстовые PDF.

Статья была опубликована в прошлом году, в сборнике трудов конференции "Интеллект и наука". Полная ссылка: В.В. Деревянко, "Применение Data Mining в космических приложениях", Интеллект и наука: труды X Международной научно-практической конференции "Интеллект и наука" (г. Железногорск, 28-29 апреля 2010 г) - Красноярск: ИПК СФУ, 2010. - 344 с (страницы 26-33).

Публикуется с любезного разрешения ИПК СФУ.

Введение

При использовании любого устройства в космических приложениях – непосредственно в космических аппаратах или в наземном оборудовании, – одной из ключевых проблем является обеспечение надежности работы устройства. Надежность работы требует тщательного контроля: контроля качества производства, контроля производительности в процессе работы, своевременной диагностики и устранения возникающих неисправностей и т.д. Подобный контроль выполняется на основе информации, поступающей с датчиков, контролирующих работу устройства. Прогресс в развитии микроэлектроники за последние 10-15 лет привел к тому, что датчики стали существенно дешевле, легче и меньше по размерам. Это привело к увеличению количества используемых датчиков и росту объемов телеметрической информации. Естественно, ручная обработка больших объемов информации слишком трудоемка – нужны средства автоматизации.

Задачи автоматизации поиска знаний решаются средствами интеллектуального анализа данных – Data Mining. Фактически, Data Mining - это набор технологий поиска скрытых закономерностей в больших, необработанных объемах данных. Data Mining является частью процесса KDD (Knowledge Discovering in databases), включающем, помимо поиска закономерностей, этапы сбора, подготовки данных и последующего анализа полученных результатов. К настоящему времени разработано множество алгоритмов и технологий Data Mining. Характерно, что универсального алгоритма для извлечения знаний из данных не существует. Каждое конкретное практическое приложение, обладающее специфическими характеристиками, требует либо адаптации существующих технологий Data Mining, либо разработки новой технологии обработки данных.

Целью настоящей статьи является обзор вариантов применения Data Mining в космических приложениях. На наш взгляд, все имеющиеся работы можно условно разделить на три категории. К первой относятся работы, посвященные поиску аномалий в телеметрических данных и мониторингу состояния технических систем. Ко второй – работы, посвященные повышению качества производства, тестирования компонентов системы и прогнозированию возникновения неисправностей в используемых системах. К третьей – использование Data Mining на борту летательных аппаратов. Настоящий обзор не является всеобъемлющим и основан исключительно на публикациях, доступных через Интернет.

Поиск аномалий.

Одним из ключевых направлений применения технологий Data Mining является автоматизация поиска аномалий. Поиск аномалий – это поиск шаблонов данных, не соответствующих ожидаемому поведению [1]. Поиск аномалий широко применяется в задачах мониторинга состояния технических систем. Для решения подобных задач используются системы ISHM (Integrated Systems Health Management). В ISHM состояние системы контролируется по показаниям датчиков. Если в работе системы возникает неисправность, в данных, поступающих с датчиков, возникают аномалии, сигнализирующие об отклонение поведения системы от нормального поведения. Типичные задачи, которые решают подобные системы мониторинга, это определение факта возникновения аномалии, локализация ее местонахождения, диагностирование возникшей неисправности и прогнозирование возникновения неисправностей.

Традиционно системы ISHM обычно используют одновременно несколько методов диагностики аномалий, в частности [2]:

проверку выхода значения параметра за установленные пределы;
экспертную систему, содержащую набор правил, описывающих нормальное поведение системы (rule-based);
математическую модель, описывающую требуемое поведение системы (model-based).

Общий принцип у традиционных алгоритмов примерно один и тот же. Вначале эксперты задают модель поведения системы. Модель поведения представляет собой набор правил, характеризующих поведение системы. В процессе работы системы, поступающие телеметрические данные проверяются на соответствие модели. Если поведение данных начинает отклоняться от модели, то оператору, контролирующему работу системы, поступает тревожных сигнал о возможной неисправности.

У всех традиционных алгоритмов есть общий недостаток – они требуют интенсивной работы экспертов. Эксперты задают набор правил, конструируют математическую модель, устанавливают допустимые пределы значений параметров. Возрастает количество данных – возрастает количество работы, которую необходимо проделать экспертам прежде, чем система мониторинга сможет работать.

Методы, основанные на Data Mining - data-driven методы, - от этого недостатка свободны. Data-driven методы строят модель поведения системы автоматически, на основе имеющихся данных о нормальном поведении системы. Для обучения метода обычно достаточно несколько десятков-сотен точек нормальных данных.

Data-driven методы имеют ряд преимуществ, по сравнению с традиционными:

не требуют априорно заданных знаний о работе системы;
не требуют системного анализа, чтобы определить соотношения между параметрами;
способны обрабатывать телеметрические данных, поступающие от работающей системы, в режиме реального времени и очень быстро реагировать на появление аномалии; модель поведения системы очень компактна и позволяет вести работу в режиме реального времени;
позволяют устанавливать и отслеживать взаимосвязь между большим количеством параметров;
способны обнаруживать коллективные и контекстные аномалии [1];
дают возможность автоматически обрабатывать архивы накопленных данных и извлекать из них полезную информацию;
позволяют легко учитывать новые данные о нормальном поведении системы и обновлять ранее построенную модель ее поведения.

Разработки data-driven методов мониторинга активно ведутся в Японии [2] и в США [3, 4]. К настоящему времени, разработано множество методов: IMS, Orca, GritBot, GMM, LDS, одно-классовый SVM и т.д. Как показано в работе [5], в общем случае разные методы находят различный набор аномалий, так что в IMHS целесообразно применять комбинации различных методов.

Одним из наиболее перспективных data-driven методов является технология IMS, разработанная в NASA [4]. IMS использует технологию кластеризации данных и вводит понятие расстояния между векторами данных. В процессе обучения IMS анализирует данные, полученные в процессе нормальной работы системы, и строит модель поведения системы – набор кластеров. Каждый кластер определяет ограничения на значения каждого параметра в каждом конкретном входящем векторе данных. Если в базе знаний нет кластера, содержащего близкие по значению данные, это означает, что система ведет себя неожиданным способом, т.е. возникла аномалия. В случае, если расстояние между текущими и нормальными данными превышает пороговое, система выдает тревожный сигнал [3].

В настоящее время IMS активно применяется в NASA. В частности, разработчики IMS проанализировали данные, полученные с шатла Колумбия во время его последнего полета. Как известно, шатл потерпел катастрофу из-за отрыва куска изоляционной обшивки, пробившей термоизоляцию на левом крыле. Отрыв произошел во время старта корабля. Однако о проблемах с термоизоляцией стало известно лишь через 17 дней, во время приземления шатла. База знаний IMS строилась на основе анализа данных предыдущих 5 полетов Колумбии. IMS выдала сигнал о возникновении неисправности в течении двух минут с момента ее возникновения.

IMS успешно используется в центре управления полетов МКС для поиска аномалий в гироскопе с управляющим моментом. IMS успешно используется для мониторинга состояния главного двигателя шатла [6]. Есть и другие успешные применения [9]. Компания iSagacity разработала на основе IMS коммерческий программный продукт Process Data Miner, способный обнаруживать в данных тренды, являющиеся ранними предвестниками начинающихся изменений в процессах или возникновения проблем в оборудовании.

Как известно, NASA собирается прекратить полеты шатлов в 2010 году. На замену шатлам приходят новые аппараты – Ares. Система диагностики Ares 1-X использует data-driven алгоритмы [7] совместно с математическими моделями и экспертными системами. Здесь необходимо отметить важный момент. По правилам NASA любые компьютерные системы, предоставляющие данные для критических решений при полетах с участием человека, должны были сертифицированы. Несертифицированные системы могут использоваться лишь в качестве «советчиков» - их результаты должны в обязательном порядке перепроверяются на сертифицированных системах. При использовании на Space Shuttle data-driven алгоритмы работали именно в режиме «советчиков». Система диагностики Ares изначально разрабатывалась с учетом требований сертификации. Разработчики системы диагностики Ares I-X рассчитывают на то, что им удастся ее сертифицировать.

Для первого полета Ares 1-X не было данных, накопленных при предыдущих полетах. Между тем, data driven алгоритмы использовались уже при первом полете (успешно состоявшемся 28.10.2009). Для обучения метода были частично задействованы данные, полученные при полетах шатлов для ускорителя с РДТТ, отклоняемого вектора тяги, а так же данные по наземной гидравлике [8].

Контроль качества.

О том, насколько для космических аппаратов важно качество используемых компонентов – говорить излишне. В наше время, Data Mining активно используется в промышленности для повышения качества производства, оптимизации тестирования и прогнозирования выхода компонентов из строя [13].

В работе [14] авторы применили Data Mining для поиска причин выхода из строя печатных плат. При сборке печатных плат, под некоторыми компонентами образуются пузырьки припоя. Подобные пузырьки могут приводить к преждевременному выходу компонента (и блока в целом) из строя. 70-80% дефектов плат связаны с пузырьками, 20-30% - с компонентами. Авторы показали, что подавляющее большинство подобных дефектов образуется под компонентами определенного вида. Полученная информация позволила разобраться в том, что может приводить к таким дефектами, и понять, каким образом следует модифицировать процесс производства.

В работе [15] предложен метод оптимизации процесса производства интегральных микросхем. Интегральные микросхемы фабрикуются на пластинах, содержащих сотни отдельных чипов. Далее каждый чип подвергается длительному и дорогостоящему тестированию. После чего пластины разрезаются и прошедшие проверку чипы объединяются в пакеты, которые вновь подвергаются тестированию. Авторы применили data mining, позволяющий снизить количество тестов отдельных чипов. В [17] использовали технологию распознавания образов для проверки качества изделий, отлитых из алюминия. Распознавание образов – это то же Data Mining.

В работе [11] технология Data Mining была применена в FMECA-анализе. FMECA-анализ – технология анализа возможности возникновения дефектов в авиационной микроэлектронике. Традиционно такой анализ проводится на основе FMECA-таблиц, который обычно составляются экспертами вручную. Авторы использовали Data Mining для автоматизации составления FMECA-таблицы. Результат – FMECA-таблица получилась более точной, более полной, а время ее создания сократилось с нескольких месяцев до пары секунд.

К выходу электроники из строя в процессе эксплуатации приводят не только дефекты производства. К настоящему моменту, производители электроники практически полностью автоматизировали процесс производства, так что характеристики производимых изделий минимально варьируются от образца к образцу. Важнейшей причиной возникновения неисправностей являются индивидуальные характеристики эксплуатации конкретного модуля. Среднее время эксплуатации и другие традиционные характеристики надежности, крайне неточны. Для более точной оценки необходимо учитывать реальную историю эксплуатации конкретного модуля.

В работе [10] предпринята попытка разработки метода точной оценки вероятности выхода из строя авиационного и аэрокосмического оборудования на основе истории его эксплуатации. Анализ данных проводился с помощью технологий Data Mining.

В работе [3] описан способ применения IMS для предсказания возникновения неисправностей в процессе предпусковой диагностики. В предпусковых тестах могут остаться незамеченными мелкие отличия, появившиеся в поведении модуля. Существующие технологии мониторинга фокусируются, в основном, на различиях в значении одного параметра. Метод IMS умеет анализировать совместное поведение множества параметров и способен определить, что хотя значения всех параметров находятся в допустимых пределах, поведение модуля в целом начало меняться и отличается от поведения, зафиксированного в ранее проведенных тестах. Такие изменения могут служить ранним сигналом о возникновении неисправности. Кроме того, результаты такого анализа помогут выявить условия снижения производительности тестируемого компонента уже после выхода компонента из строя. Наконец, результаты IMS-анализа могут являться входными данными для алгоритмов, прогнозирующих будущее поведение компонента [12].

Data Mining на борту летательного аппарата

Использование бортовых систем Data Mining [16] актуально, как минимум, по трем причинам. Во-первых, такие системы дают возможность быстро реагировать на происходящие события. Например, на космическом корабле, направляющемся к Марсу, задержка между моментом возникновения события и поступления соответствующей команды из центра управления полета может составлять 20 минут. Во-вторых, бортовые системы Data Mining могут грамотно расставлять приоритеты при передачи данных в центр управления. Произошло нетривиальное событие – информация о нем будет передана в первую очередь. В-третьих, бортовые системы Data Mining могут осуществлять черновую обработку данных и передавать на землю «выжимку» значительно меньшую по объему, чем исходные данные. В условиях удаленности системы от центра управления полета, больших объемов телеметрических данных и ограниченной ширины пропускания каналов связи, все это делает бортовые системы Data Mining весьма актуальными. В работе [18] рассмотрены три технологии Data Mining, которые планируется использовать на борту летательного аппарата, летящего на Марс.

Выводы

Можно выделить два основных направления использования технологий Data Mining в космических приложениях: для анализа архивных данных и для анализа телеметрических данных в реальном времени.

Анализ архивных данных позволяет:

автоматически, без участия экспертов, построить модель нормального поведения системы;
найти скрытые закономерности в данных, позволяющие исследователям пост-фактум проанализировать возникновение той или иной неисправности и понять какие симптомы в данных проявлялись перед ее возникновением, каковы причины неисправности, что можно сделать, чтобы исключить ее повторение.

Анализ телеметрических данных в реальном времени служит:

для быстрого диагностирования появления аномалии в данных;
для отслеживания возникновения трендов в данных;
для диагностирования появления тонких различий в поведении системы, являющихся ранними предвестниками возникновения проблем.

Ключевыми преимуществами технологий Data Mining, отличающих их от ручного анализа данных, являются:

возможность быстрой обработки больших объемов данных;
возможность анализа совокупности параметров системы;
быстрота реакции на возникновение проблемы.

В большинстве случаев, технологии Data Mining используются в качестве «советчиков» - результаты анализа используются человеком, для принятия решений. Однако прослеживается четкая тенденция к автоматизации процесса принятия решений.

Технологии Data Mining находят все более широкое применение космических приложениях. Фактически, их применение становится нормой. Это обусловлено, прежде всего, непрерывным ростом объемов архивных данных, количества систем, генерирующих телеметрические данные и объемов самих телеметрических данных. Текущие тенденции позволяют сделать вывод о том, что в дальнейшем роль технологий Data Mining в применении к космическим приложениям будет только возрастать, а круг направлений использования – активно расширяться.

Литература

V. Chandola, A. Banerjee, V. Kumar, "Anomaly Detection: A Survey", ACM Computing Surveys, Vol. 41(3), Article 15, July 2009 (PDF)
T. Yairi, Y. Kato, K. Hori, "Fault Detection by Mining Association Rules from House-keeping Data", Proc. of International Symposium on Artificial Intelligence, Robotics and Automation in Space, 2001. (PDF)
D. L. Iverson, R. Martin, M. Schwabacher, et al., "General Purpose Data-Driven System Monitoring for Space Operations", AIAA Infotech@Aerospace Conference, 2009. (PDF)
D. L. Iverson, "Inductive System Health Monitoring", Proceedings of The 2004 International Conference on Artificial Intelligence (IC-AI’04), CSREA Press, Las Vegas, NV, 2004.(PDF)
R.A. Martin, M. Schwabacher, N. Oza, A. Srivastava, "Comparison of Unsupervised Anomaly Detection Methods for Systems Health Management Using Space Shuttle Main Engine Data", Proceedings of the 54th Joint Army-Navy-NASA-Air Force Propulsion, Meeting, Denver, CO, May 2007.(PDF)
M. Schwabacher, N. Oza, B. Matthews, "Unsupervised Anomaly Detection for Liquid-Fueled Rocket Propulsion Health Monitoring", Proceedings of the AIAA Infotech@Aerospace Conference, AIAA, Reston, VA, 2007.(PDF)
M. Schwabacher, R. Waterman, "Pre-Launch Diagnostics for Launch Vehicles", IEEE Aerospace Conference, 2008. (PDF)
M. Schwabacher, R.A. Martin, R. Waterman, et al., "Ares I-X Ground Diagnostic Prototype", AIAA Infotech@Aerospace Conference, 2010 (PDF)
"Inductive System Monitors Tasks", Spinoff 2008, pp. 138-139 (PDF)
Skormin, V. A., Gorodetski, V. I., and Popyack, I. J., 2002, "Data Mining Technology for Failure of Prognostic of Avionics", IEEE Trans. Aerosp. Electron. Syst., 38_2_, pp. 388–403. (PDF, zip)
K. S. Tso, A. T. Tai, S. N. Chau, L. Alkalai, "On Automating Failure Mode Analysis and Enhancing its Integrity", PRDC 2005: 287-294 (PDF)
M. Schwabacher and K. Goebel, "A Survey of Artificial Intelligence for Prognostics", Working Notes of 2007 AAAI Fall Symposium: AI for Prognostics, 2007. (PDF)
J.A. Harding, M. Shahbaz, S. Srinivas, and A. Kusiak, "Data Mining in Manufacturing: A Review", ASME Transactions: Journal of Manufacturing Science and Engineering, Vol. 128, No. 4, 2006, pp. 969-976 (PDF)
A. Kusiak and C. Kurasek, "Data Mining of Printed-Circuit Board Defects", IEEE Transactions on Robotics and Automation, Vol. 17, No. 2, 2001, pp. 191-196 (PDF)
T. Fountain, T. Dietterich, B. Sudyka , "Mining IC test data to optimize VLSI testing", KDD ’00: Proceedings of the sixth ACM SIGKDD international conference on Knowledge discovery and data mining, New York, NY, USA, ACM Press (2000) 18–25.(PDF)
S.Tanner, C.Stein, S.J. Graves, "On-board Data Mining" in "Scientific Data Mining and Knowledge Discovery" by M.M. Gaber (Editor), Springer Verlag GmbH, 2009, pp. 345-376 (PDF)
S. Hernández, D. Saez, D. Mery, "Neuro-Fuzzy Method for Automated Defect Detection in Aluminium Castings", ICIAR (2) 2004: 826-833 (PDF)
R. Castano, et al. "On-board analysis of uncalibrated data for a spacecraft at Mars," in Proceedings of the Thirteenth International Conference on Knowledge Discovery and Data Mining, 2007, pp. 922–930. (PDF)

Update: буду добавлять сюда и другие интересные ссылки по теме

Mark Schwabacher's Publications

Güntürkün F. "A Comprehensive Review Of Data Mining Applications in Quality Improvement and a Case Study", a thesis, 111 pages, august 2007(PDF)

R. S. Chen, Y. C. Chen and C.C. Chen. "Using Data Mining Technology to Deign an Quality Control System for Manufacturing Industry", Proceedings of the European conference of systems, 2010, pp. 271-276, ISBN: 978-960-474-250-9 (PDF)

Al-Salim, Bashar and Abdoli, Mansour, "Data Mining for Decision Support of the Quality Improvement Process" (2005). AMCIS 2005 Proceedings. Paper 115.
(PDF)

Делокализация Delphi приложения

2011-04-12T20:06:00.001+08:00

Достался мне недавно в сопровождение проект на Delphi. Проект старый и довольно большой по объему. Все бы ничего, да только написан он был датскими программистами для датских клиентов. В результате - GUI на датском, текстовые сообщения в исходниках - на датском, комментарии - на датском. Даже названия функций - и те во многих случаях написаны по датски.

Я датский практически не знаю. Для нормальной работы мне нужен английский язык. Комментарии не проблема - их можно перевести прямо в исходниках. А вот что делать с самими исходниками?. С одной стороны, все строки в исходниках должны быть написаны на английском. С другой стороны, для пользователя ничего не должно измениться. Интерфейс программы был на датском языке, значит должен оставаться на датском.

В результате, мне пришлось провести де-локализацию исходных кодов с последующей обратной локализацией приложения. Другими словами: в исходниках датские строки я заменил английскими, а в процессе работы приложение подменяет английские строки датским переводом.

Далее речь пойдет о том, как все это было сделано.

Общая идея

Общий алгоритм работы выглядел так.

Выдрать из исходных кодов все строки и сохранить их в отдельном текстовом файле.
Перевести этот файл и получить перевод DK->ENG.
Выполнить замену (swap) языков в исходных кодах на основе полученного перевода: в pas и dfm файлах все фразы на датском заменить на соответствующие фразы на английском.
Создать реверсный файл перевода, т.е. из файла DK->ENG получить ENG->DK
Локализовать приложение используя реверсный файл перевода.

Извлечение и перевод строк

В качестве основного рабочего инструмента я выбрал gettext. Библиотека проверенная, надежная и хорошо известная. Реализация gettext для Delphi существует, юникод в ней поддерживается. Кроме того, для gettext существует множество готовых утилит "на все случаи жизни".

Gettext умеет самостоятельно выдирать строки из исходных кодов. Вернее, автоматически он выдирает ресурсные строки и строки из GUI (dfm-файлов). Для того, чтобы он мог так же извлечь текстовые строки из PAS файлов, строки нужно заключить в gnugettext._(''):

using gnugettext;
   ...
   const s1: String = _('строка');
   ...
   ShowMessage(_('Ошибка!'));

После того, как все строки помечены, выдираем строки следующей командой:

dxgettext.exe -r -b PROJECT_DIRECTORY --delphi --nonascii

В результате gettext создает PO-файл, содержащий полный список строк. Вот пример PO-файла:

msgid ""
msgstr ""
"Project-Id-Version: PACKAGE VERSION\n"
"POT-Creation-Date: 2011-04-03 17:41\n"
"PO-Revision-Date: 2011-04-03 17:41\n"
"Last-Translator: Somebody \n"
"MIME-Version: 1.0\n"
"Content-Type: text/plain; charset=UTF-8\n"
"Content-Transfer-Encoding: 8bit\n"
"X-Generator: dxgettext 1.2.2\n"

#. Form4..Caption
#. FormPriceList..price..priceprice..EditFormat
#: PriceList.dfm:209
#: Unit1.dfm:6
msgid "Hyster administration"
msgstr ""

#: unit7.pas:179
#: users.pas:25
msgid "Mindst 8 karakterer langt"
msgstr ""

Думаю, идея понятна. В msgid содержатся оригинальные строки, в msgstr - перевод. Повторяющиеся строки в PO-файле сгруппированы, так что каждую строку придется переводить один и только один раз. Выполнить перевод PO файла можно вручную, а можно с помощью PO Editor.

Замена языка в исходных кодах

Итак, все строки выдраны и переведены. Следующая задача - поместить перевод в исходные коды. К сожалению, готовой утилиты для такой операции в арсенале gettext не нашлось. Ее пришлось написать - DxGetTextLangSwapper: скачать, просмотреть исходные коды на C#).

С помощью DxGetTextLangSwapper процесс замены языка в исходных кодах выполняется следующим образом:

DxGetTextLangSwapper PROJECT_DIRECTORY  SOURCE_PO_FILE TARGET_PO_FILE

Утилита перебирает все строки в исходном файле, находит в pas и dfm файлах места, где используется каждая строка, и заменяет строку ее переводом. Попутно, утилита генерирует реверсный PO-файл (если исходный файл содержит перевод строк с языка А на язык Б, то реверсный - с языка Б на язык А).

Утилита использует файл конфигурации DxGetTextLangSwapper.exe.config, позволяющий указать кодировки входных файлов:

<?xml version="1.0"?>
<configuration>
<!--  <startup>
    <supportedRuntime version="v2.0.50727" sku="Client"/>
  </startup>-->
  <appSettings>
   <!-- encoding of source PO file -->
    <add key="PO_FILE_ENCODING" value="65001"></add>
    <!-- encoding of PAS files -->
    <add key="PAS_FILES_ENCODING" value="1252"></add>
    <!-- encoding of DFM files-->
    <add key="DFM_FILES_ENCODING" value="1252"></add>
    <!--
        Entries in PO file and source files can be different during encoding problem.
        if BRUTOREPLACER turned on, then entry at specified text line is replaced always independent if actual value is equal to value from PO or isn't equal
        Program outputs warning about this replace with detailed info.    
    -->
    <add key="USE_BRUTOREPLACER" value="0" ></add>
  </appSettings>
</configuration>

Помимо кодировок, в файле есть параметр BRUTOREPLACER. Нужен он вот для чего. Dxgettext создает исходный файл в UTF8. Однако на практике некоторые строки могут попасть в PO файл в испорченном виде. Например, мне так и не удалось с помощью dxgettext вытащить датские строки в PO-файл корректно (ключ --nonascii не помог). Символы со всякими там умлаутами попортились. Человеку, для перевода, таких порченных строк достаточно, они вполне узнаваемы. Однако с подстановкой перевода будут проблемы.

Дело в том, что DxGetTextLangSwapper извлекает строки корректно (если правильно указать кодировку в настройках). В результате, в процессе замены, порченные строки из PO файла и корректные строки, извлеченные DxGetTextLangSwapper, не совпадут. В этом случае DxGetTextLangSwapper не выполнит замену и придется эти строки позже менять ручками.

Вот здесь и потребуется режим BRUTOREPLACER. Если указать в настройках BRUTOREPLACER=1, то DxGetTextLangSwapper выполнит замену даже в том случае, если строки не совпадают. Кстати, в этом режиме замена нескольких подряд идущих строк, находящихся в одной и той же строке файле, будет выполняться неправильно. Чтобы избежать проблем в каждой строке исходного файла должно быть не более одного вызова _('').

DxGetTextLangSwapper никогда не заменяет строки, если перевод строки отсутствует. Т.е. непереведенные строки в процессе работы игнорируются.

Замечу напоследок, что парсеры PO и DFM файлов написаны на скорую руку, так что некоторые особенности этих форматов вполне могут быть не учтены, что может привести к проблемам. DxGetTextLangSwapper сообщает обо всех подозрительных случаях.

Реверсный PO файл

Полученный реверсный PO файл, скорее всего, потребуется доработать. Дело в том, что исходный PO файл дает однозначное соответствие исходных строк и переводов: A->Б. А вот реверсный перевод Б->A запросто может быть неоднозначным. В этом случае PO-файл не скомпилируется. Неоднозначности нужно устранить (вручную).

Готовый PO файл нужно преобразовать в MO-формат (это умеет делать PO Editor). Как подключать MO-файл к приложению подробно расписано вот здесь, повторяться не буду.

Итоги

С помощью Gettext и DxGetTextLangSwapper мне успешно удалось де-локализовать один проект. Сейчас на подходе второй, так что обкатаю методику.

Утилита DxGetTextLangSwapper для замены языка в исходных кодах Delphi-проекта: ~~скачать~~, просмотреть исходные коды на C#.

Update 23.04.2011: Успешно перевел второй проект. Правда, вылезло несколько ошибок в DxGetTextLangSwapper, связанных с парсингом формата PO. Поправил. Теперь не требуется совпадения количества строк "#." и "#:" перед msgid, и поддерживаются строки "#, fuzzy" (они просто игнорируются). Скачать версию 1.1.

В 2011 году поменялись КБК.

2011-04-06T14:08:00.003+08:00

Собрался платить налог за первый квартал (УСН, 6%). Обнаружил, что поменялись КБК:

в 2010 был: 18210501010011000110

в 2011 стал: 18210501011011000110

Не ошибитесь. Все-таки с налоговиками не соскучишься - то ОКАТО поменяют, то КБК, то форму какую-нибудь изменят, то отчетность новую введут. Вот сиди и отслеживай...

Update. Все оказалось еще интереснее - КБК за 2010 год тоже поменяли.

Android - установка и настройка среды разработки.

2011-03-20T23:40:00.006+07:00

Программирование на Android начинается с установки Eclipse. В данной статье я рассмотрю порядок установки и настройки Eclipse для работы с Android под Windows. Причем постараюсь рассмотреть его "от" и "до", включая генерацию цифровой подписи, автоматизацию сборки приложения, настройку ProGuard и подключение средств статистического анализа.

Устанавливаем Android SDK

Начнем с установки Android SDK. Процесс подробно описан в руководстве разработчика. Первое что требуется - установить JDK. По умолчанию JDK ставится в директорию типа c:\program files\java\jdk1.6.0_24.
Android SDK требует 32-битную версию JDK, 64-битная его не устраивает.

Далее - скачать и запустить программу установки последней версии Android SDK. В настоящий момент, это installer_r12-windows.exe.

По умолчанию Android SDK ставится в директорию c:\program files\Android\android-sdk. Для того, чтобы избежать проблем с Proguard (ошибок типа Expecting class path separator ';' before 'Files\Java\...), следует устанавливать Android SDK в директорию, не содержащую в своем пути пробелы, например: c:\utils\Android\android-sdk.

После завершения установки запускаем SDK Manager. Выбираем packages, которые нужно установить. Устанавливаем все, выбрав Accept all. SDK Manager скачивает и устанавливает все выбранные пакеты, а затем перезапускается. Установка Android SDK завершена.

Устанавливаем Eclipse

Следующий шаг - установка Eclipse. Детально процесс установки изложен в руководстве разработчика. Он достаточно прост. Качаем Eclipse classic, устанавливаем. Eclipse поставляется в виде zip-архива. Распаковываем его в любую директорию, например, c:\utils\eclipse.

Использовать для установки Eclipse директорию с пробелами в пути так же не желательно.

Теперь устанавливаем плагин для работы с android SDK - ADT Plugin. Запускаем Eclipse. Он предложит создать новый workspace, соглашаемся.

Желательно workspace и проекты сохранять в директории, не содержащие в путях пробелы. Иначе могут возникнуть проблемы при автоматизации сборки - команда ant release не любит пробелы в путях.

Выбираем Help>Install new software. Жмем кнопку "Add..", появляется окно "Add repository". В поле Name вводим "ADT Plugin", в поле Location указываем https://dl-ssl.google.com/android/eclipse/. Ставим галочку "Developer Tools", дважды жмем Next, принимаем лицензионное соглашение. После завершения загрузки плагина перегружаем Eclipse.

Осталось указать Eclipse путь к Android SDK. Открываем Window>>Preferences>>Android, в графе SDK Location вводим c:\program files\Android\android-sdk. Жмем кнопку "Apply" - появится список установленных API. Закрываем окно - Eclipse и Android SDK установлены.

Создаем/добавляем проект

При первом запуске Eclipse был создан пустой workspace. Добавим в него новый проект.

Выбираем File\New\Project\Android\AndroidProject, указываем название нового проекта. Выбираем Build target - версию платформы, под которую вы будете вести разработку. Задаем Min SDK Version - минимальный уровень API, необходимый для запуска вашего приложения. Задаем название приложения, название пакета (типа com.mydomain.myapp), название базовой Activity.

Пара замечаний. Уровни API в Build target и Min SDK Version могут различаться. Built target задает уровень API, доступный вам при разработке. Min SDK Version задает минимально необходимый уровень API, который должен быть на устройстве пользователя, чтобы пользователь мог скачивать ваше приложение с маркета. Так что можно вести разработку под 2.2, и, одновременно, позволять скачивать это приложение пользователям, у которых на телефоне установлен Android 1.5. Иногда это требуется. Еще момент - при выборе Built target доступно несколько вариантов с одним и тем же уровнем API, например: Android 2.3.1 и Google APIs. Второй вариант является расширением первого и содержит дополнительный функционал для простого доступа к службам и данным Google. Этот вариант потребуется вам, например, при работе с Google Maps.

А что делать, если проект у вас уже есть и его нужно просто открыть? Помнится, меня этот вопрос поставил в тупик в свое время - нет в Eclipse пункта меню "Open project". На самом деле все просто - проект нужно импортировать в workspace. Делается это так: File>Import>General>Existing Projects into Workspace.

Генерируем подпись

Итак, проект создан и он компилируется. Для того, чтобы готовое приложение можно было установить на Android, его необходимо подписать цифровой подписью. О том как это делать, детально рассказано в руководстве разработчика. Eclipse создает подпись для отладочных билдов самостоятельно. Для релизных билдов подпись делается вручную, но так же через Eclipse.

Релизная версия приложения создается в Eclipse операцией Export. Цифровую подпись для релизной версии можно создать прямо в процессе экспорта.

Запускаем экспорт: File>Export>Android>Export Android Application. Выбираем проект, который следует экспортировать (в нашем случае, он один, выбирать нечего). Выбираем Create new keystore - создать keystore-файл, в котором будет хранится наш приватный ключ (точнее, в таком файле можно хранить сколько угодно приватных ключей, например, по одному для каждого приложения). Вводим имя файла и дважды вводим пароль, закрывающий доступ к keystore-файлу.

Теперь добавляем в keystore-файл ключ для нашего приложения. Указываем алиас - короткое имя, по которому можно будет в дальнейшем к этому ключу обращаться. Дважды вводим пароль для доступа к ключу (теперь у нас два пароля: один для доступа к keystore-файлу, другой - для доступа к ключу в keystore-файле). Вводим информацию о себе и указываем период действия ключа.

С периодом важно не ошибиться. Если срок годности вашего ключа истечет, вы не сможете подписывать им новые версии вашего приложения. А сменить ключ у приложения нельзя. Кроме того, если вы планируете размещать ваше приложение на Android Market, то срок действия ключа должен превышать дату 22 октября 2033, иначе приложение на маркет загрузить не удастся. Руководство разработчика рекомендует устанавливать срок действия ключа 25 лет.

Созданный keystore-файл и пароли к нему надежно сохраняем от доступа посторонних личностей..

Маленький нюанс. Отладочные сборки приложения Eclipse подписывает автоматически созданным keystore-файлом. Такие файлы хранятся локально, в директории типа C:\Users\UserName\.android\debug.keystore. Если вы ведете разработку на нескольких разных компьютерах, то на каждом из них у вас будет сгенерирован отдельный keystore-файл для отладочных сборок. Это сразу создаст проблемы при отладке на девайсе. Поработали на одном компьютере, установили отладочную версию приложения на девайс. Перешли на другой компьютер - новая версия поверх старой не ставится - ключи разные. Приходится каждый раз сносить приложение. Чтобы избежать таких проблем имеет смысл использовать один и тот же отладочный keystore-файл на всех компьютерах. Путь к ключу прописывается в настройках: Windows>Preferences>Android>Build. Отладочный файл debug.keystore действителен в течении 365 дней, раз в год его придется пересоздавать (старый файл нужно удалить, Eclipse создаст новый).

Создаем эмулятор и подключаем девайс

Для отладки Android приложения удобно использовать одновременно как реальный девайс, так и эмулятор. Чтобы создать эмулятор, нужно запустить SDK Manager и выбрать пункт "Virtual devices". При создании эмулятора указать название, платформу, размер SD-карты, выбрать экран и hardware.

Эмулятор хорош тем, что позволяет проверить работоспособность приложения на разных конфигурациях железа, не имея этого железа под рукой. В то же время, у него есть ряд недостатков. В частности, он крайне медленно запускается (можно попробовать включить недавно реализованную поддержку снапшотов, чтобы обойти эту проблему), на нем нет маркета (установить можно, но не все приложения работают).

Для подключения устройства Android к компьютеру вам потребуется установить USB-драйвер для данного конкретного устройства. Как это сделать и где искать драйвера написано в руководстве разработчика.

Для некоторых устройств драйвера найти крайне сложно - имеет смысл зарегистрироваться на форуме 4PDA.ru и поискать там (без регистрации файлы с форума не скачать).

Автоматизируем сборку проекта

Создание релизной версии проекта лучше сразу автоматизировать. При частых релизах возможность собрать приложения одним кликом сэкономит кучу времени. К тому же, сама процедура автоматизации занимает всего несколько минут. Подробно она описана вот здесь.

Cкачиваем Ant. В настоящий момент, последняя версия apache-ant-1.8.2-bin.zip. Распаковываем архив в какую-нибудь директорию, например в c:\program files\ant\apache-ant-1.8.2.

По моему опыту, наличие пробелов в пути к Ant к каким-либо проблемам не приводит, но на 100% я это гарантировать не берусь.

Убеждаемся, что у нас правильно прописаны пути. Нам необходимо добавить две директории в %PATH%:

путь к утилитам Android SDK, т.е. c:\utils\Android\android-sdk\tools
путь к ant\bin, т.е. c:\program files\ant\apache-ant-1.8.2\bin

Кроме того, необходимо правильно инициализировать две других переменные среды:

JAVA_HOME должна указывать на директори JDK, т.е. на c:\program files\java\jdk1.6.0_24 (важно: к JDK, а не к JRE)
ANT_HOME должна указывать на корневую директорию Ant, т.е. c:\program files\ant\apache-ant-1.8.2

Заходим в корневую директорию нашего проекта. Из командной строки выполняем команду

android update project --path .

(не потеряйте точку в конце). Будет создан файл build.xml. Его необходимо подправить. В строке <project name="MainActivity" default="help"> нужно удалить default="help".

Сборка отладочной версии уже работает. Для сборки достаточно зайти в корневую директорию нашего проекта и дать команду "ant".

Чтобы заработала сборка релиза, необходимо прописать параметры цифровой подписи релизных версий. Для этого в корневом каталоге нашего проекта создаем файл build.properties со следующим содержанием:

key.store=путь_к_файлу_keystore
key.alias=имя_алиаса
key.store.password=пароль_к_keystore
key.alias.password=пароль_к_ключу

Путь к keystore-файлу, имя алиаса и пароли, естественно, нужно подставить реальные.

Теперь для сборки релизной версии приложения достаточно зайти в корневой каталог проекта и дать команду ant release. Эта команда не любит пробелы в пути к директории проекта - так что если ваш проект сохранен в C:\document and settings\..., то команда не сработает.

Подключаем ProGuard

ProGuard нужен для обфускации и уменьшения размера кода. До недавнего времени, ProGuard приходилось подключать вручную. Вот здесь детально рассмотрено, как это сделать. Начиная с 9-ой версии SDK, ProGuard включен в состав Android SDK, так что процедура установки существенно упростилась. Все что нужно сделать - добавить в файл build.properties еще одну строчку: proguard.config=proguard.cfg.

Файл proguard.cfg уже есть в корневой директории проекта. Он генерируется при выполнении команды "android update project --path ." вместе с файлом build.xml. Один и тот же файл proguard.cfg можно использовать в разных проектах. В build.properties в этом случае потребуется указывать полный путь к файлу: proguard.config=path\proguard.cfg

Теперь команда ant release использует ProGuard. Для того, чтобы ProGuard использовался так же и при ручном экспорте из Eclipse, необходимо добавить в файл default.properties аналогичную строчку

proguard.config=proguard.cfg

Если при экспорте начнут начать вылазить ошибки, проверьте переменную среды %TEMP%: нет ли пробелов в пути к директории с временными файлами(?).

Любопытно, что заголовке файла default.properties написано следующее: # This file is automatically generated by Android Tools. # Do not modify this file -- YOUR CHANGES WILL BE ERASED! Но в руководстве разработчика прямо указано, что редактировать нужно этот именно файл.

Добавляем юнит-тестирование

Средства юнит-тестирования в Android встроены, их можно использовать сразу, ничего не устанавливая. Тем не менее, есть дополнительные инструменты, позволяющие упростить процесс тестирования. На них останавливаться не буду - эта тема заслуживает отдельного поста.

Подключаем средства статистического анализа

Для Eclipse существует множество полезных плагинов. В частности, есть парочка очень неплохих плагинов для статического анализа кода: FindBugs и Checkstyle. По функционалу они напоминают FxCop и StyleCop (плагины для Visual Stuido, знакомые NET-программистам).

Статический анализ кода - штука очень полезная, позволяющая найти многие ошибки еще до запуска приложения. Так что эти плагины имеет смысл установить. Ставятся они точно тем же путем, что и ADT Plugin: вызываем Help > Install new software, в поле "Work with" указываем http://findbugs.cs.umd.edu/eclipse/ (для FindBugs) или http://eclipse-cs.sf.net/update/ (для Checkstyle).

Интересно, что FindBugs (по идее) работает с скомпилированными JAR-файлами (подобно FxCop) и не требует исходных кодов. В Android формат байткода другой. Тем не менее, FindBugs успешно работает и с Android-приложениями. Похоже, он не только байткод умеет анализировать, но и исходники напрямую.

Update: Дошли руки, разобрался со статическими анализаторами и написал подробный отчет - "Статические анализаторы кода для Android-приложения". Всего, в настоящий момент, нашлось восемь готовых к использованию анализаторов. И как минимум пять из них имеет смысл регулярно применять в работе.

Итоги

Что мы получили в итоге? Eclipse, настроенный для разработки Android приложения, плюс возможность собирать релизную версию Android приложения (полностью готовую для публикации на маркете) одной командой. Весь процесс установки занимает минут 20-30 - без учета времени скачивания компонентов.

В процессе написания данной статьи я проделал настройку Eclipse "с нуля" на виртуальной машине и постарался отметить все места, которые могут вызвать вопросы. Возможно, кое-где процесс установки описан недостаточно полно. Появятся вопросы - пишите, я постараюсь подправить описание.

Kill Word. Автоматизация удаления зависших процессов, запущенных из сервиса.

2011-03-10T11:45:00.004+07:00

Имеется сервис, конвертирующий документы из doc в html. В качестве конвертера используется Microsoft Word. Сервис управляет им через средства автоматизации. При каждом запросе на конвертацию сервис запускает экземпляр Word, открывает в нем документ, дает команду "сохранить в в виде HTML" и закрывает Word. Все прекрасно работает, но иногда процессы Word подвисают. Одна операция на сотню или даже тысячу запусков приводит к ошибке и подвисшему процессу winword.exe в Process Explorer.

Если включить в настройках сервиса галочку "Разрешить взаимодействие с рабочим столом" и сделать окно Word видимым, то причина зависания проясняется: Word что-то сообщил пользователю и ждет нажатия кнопки. Процесс Word работает на невидимом рабочем столе, так что ответить ему никто никогда не сможет.

Причины появления сообщений об ошибках могут быть самыми разными - при гигантском разнообразии конвертируемых документов без ошибок не обойтись. Остается только периодически удалять ручками такие зависшие процессы. Но конечно же, лучше этот процесс автоматизировать.

Имеются два очевидных варианта автоматизации:

Периодически проходить по списку процессов, определять время запуска каждого windord.exe и вычислять длительность его работы. Если процесс работает слишком долго, завершать его.
Отслеживать время выполнения операции конвертирования. Если время выполнения операции превышает допустимое, находить и уничтожать соответствующий winword.exe.

Первый метод реализовать достаточно просто - процессы winword.exe будут успешно уничтожаться. Но в таком решении не все гладко:

Если процессы winword.exe проверять слишком часто, мы напрасно снизим производительность системы. Если слишком редко, количество зависших процессов может стать недопустимо большим. Дело в том, что в редких случаях зависание winword.exe приводит к лавинному эффекту, когда каждый последующий запущенный winword.exe зависает .. и сервис валится
Нет возможности выполнить какие-либо действия непосредственно в момент подвисания (запись в лог, отправка сообщения на email, что угодно).

Второй метод вроде бы способен решить указанные проблемы. Будем запускать операцию конвертирования в отдельном потоке и ждать завершение потока в течении заданного времени. В случае таймаута, найдем winword.exe, запущенный потоком, и принудительно его завершим.

Но здесь есть две проблемы.

Не ясно, как определить, какой именно winword.exe был запущен нашим потоком. На самом деле, для конкретного winword.exe мы не только не можем определить родительский поток, но даже родительский процесс. Точнее, процесс то мы найдем, но это будет svchost.exe, а вовсе не наш процесс - все потому, что мы имеем дело с сервисом, а не с обычным приложением.
Поток может благополучно завершится (мы не получим сообщение о таймауте), а процесс winword.exe останется висеть навсегда.

Первая проблема решается обходным путем. При запуске Word.Application можно помещать в заголовок окна Word некую уникальную строку. Например, GUID или путь к конвертируемому документу. В случае, если winword.exe зависнет, его можно будет найти по этой строке - достаточно будет перебрать все процессы winword.exe, в каждом перебрать все окна и проверить заголовок каждого окна на наличие этой уникальной строки.

А вот вторая проблема, похоже, не решается никак. Так что на практике придется либо ограничится первым методом и смириться с его ограничениями, либо использовать оба метода: те зависания, которые можно отловить немедленно - отлавливать немедленно, плюс изредка проводить "сборку мусора".

Практическая реализация

Для своих целей я реализовал оба метода в модуле ProcessKiller.pas. В нем реализованы две функции для поиска и уничтожения зависших процессов:

FindAndKillProcessByPid - находит и уничтожает все процессы winword.exe, которые работают слишком долго.
FindAndKillProcessByWindow - находит и уничтожает все процессы winword.exe, содержащие окно с заданной строкой в заголовке.

Эти функции объявлены следующим образом:

//найти и уничтожить все процессы 
//у которых имя exe файла совпадает с processExeFileName
//и которые созданы более чем timeOutMs миллисекунд назад
function FindAndKillProcessByPid(
  const processExeFileName: String; 
  const timeOutMs: Integer)
: Integer; //возвращает количество уничтоженных процессов

//найти и уничтожить все процессы 
//у которых имя exe файла совпадает с processExeFileName
//и у которых имеется окно, содержащее в заголовке 
//строку strCaption
function FindAndKillProcessByWindow(
  const processExeFileName: String; 
  const strCaption: String): Integer;

На практике функций, принимающих константы, скорее всего будет недостаточно. Нужна возможность варьировать критерии поиска "зависшего процесса", определения нужного exe-файла и нужного окна. Например, имена exe-файлов и уникальные строки могут задаваться списками; или может потребоваться уничтожить процесс, если он занимает слишком много памяти/CPU и т.д. На этот случай в ProcessKiller.pas, имеется другие варианты тех же функций FindAndKillProcessByWindow и FindAndKillProcessByWindow, которые в качестве параметров вместо констант принимают функторы.

Там же объявлена пара классов, с помощью которых можно определить функторы со стандартным поведением. Для удобства, привожу текст модуля ProcessKiller целиком.

unit ProcessKiller;

interface
uses Windows, SysUtils, Classes, tlhelp32, Messages;

type
  tmatch_functor = function (srcName: PWideChar): Boolean of object;
  pmatch_functor = ^tmatch_functor;

  tpid_matcher_functor = function (srcPid: LongInt): Boolean of object;
  ppid_matcher_functor = ^tpid_matcher_functor;

//finds process  matched to fMatchExeName
//enumerates windows in the process and finds one with captionString in its title bar
//if window is found then the function kills the process
function FindAndKillProcessByWindow(
  fMatchExeName: tmatch_functor; //selects process by exe filename
  fMatchWindowCaption: tmatch_functor  //selects window by window caption
): Integer; overload;//returns count killed processes

//finds process matched to fMatchExeName
//checks its start time. If process is outdated then kills it.
function FindAndKillProcessByPid(fMatchExeName: tmatch_functor; //selects process by exe filename
  fMatchPid: tpid_matcher_functor //check PID and decide if process should be killed
): Integer; overload;//returns count killed processes

//**** simplified (and not flexible) versions of same functions
function FindAndKillProcessByPid(
  const processExeFileName: String;
  const timeOutMs: Integer)
: Integer; overload;

function FindAndKillProcessByWindow(
  const processExeFileName: String;
  const strCaption: String)
: Integer; overload;

type
//**** a couple of simple matchers to implement
//simplified versions of FindAndKillProcessByPid and  FindAndKillProcessByWindow
  TMatcher = class
  public
    constructor Create(const sample: String);
    function EqualToI(srcName: PWideChar): Boolean;
    function EndWithI(srcName: PWideChar): Boolean;
  private
    m_Sample: String;
  end;

  TPidOutdatedMatcher = class
  public
    constructor Create(intervalMS: Integer);
    function IsOutdated(srcPid: LongInt): Boolean;
  private
    m_IntervalMS: Integer;
  end;

//**** auxiliary functions:
//find all processes with exe file names that match to search criteria
procedure GetListProcesses(fMatchExeName: tmatch_functor; dest: TStringList);

//find all windows in specified process which captions match to search criteria
function FindWindowInProcess(const processId: Cardinal; fMatchWindowCaption: tmatch_functor): Boolean;

//kill specified process
procedure KillProcess(const processId: Cardinal);

implementation

procedure GetListProcesses(fMatchExeName: tmatch_functor; dest: TStringList);
var handle: THandle;
  ProcStruct: PROCESSENTRY32; // from "tlhelp32" in uses clause
begin
  handle := CreateToolhelp32Snapshot(TH32CS_SNAPALL, 0);
  if handle <> 0 then try
    ProcStruct.dwSize := sizeof(PROCESSENTRY32);
    if Process32First(handle, ProcStruct) then repeat
      if fMatchExeName(PWideChar(@ProcStruct.szExeFile)) then begin
        dest.AddObject('', Pointer(ProcStruct.th32ProcessID));
      end;
    until not Process32Next(handle, ProcStruct);
  finally
    CloseHandle(handle);
  end;
end;

function FindAndKillProcessByPid(fMatchExeName: tmatch_functor; fMatchPid: tpid_matcher_functor): Integer;
var list: TStringList;
    i: Integer;
    pid: Cardinal;
begin
  Result := 0;
  list := TStringList.Create;
  try
    GetListProcesses(fMatchExeName, list);
    for i := 0 to list.Count - 1 do begin
      pid := Cardinal(list.Objects[i]);
      if fMatchPid(pid) then begin
        KillProcess(pid);
        inc(Result);
      end;
    end;
  finally
    list.Free;
  end;
end;

function FindAndKillProcessByWindow(fMatchExeName: tmatch_functor; fMatchWindowCaption: tmatch_functor): Integer;
var list: TStringList;
    i: Integer;
    pid: Cardinal;
begin
  Result := 0;
  list := TStringList.Create;
  try
    GetListProcesses(fMatchExeName, list);
    for i := 0 to list.Count - 1 do begin
      pid := Cardinal(list.Objects[i]);
      if FindWindowInProcess(pid, fMatchWindowCaption) then begin
        KillProcess(pid);
        inc(Result);
      end;
    end;
  finally
    list.Free;
  end;
end;

type
  wrapper = record  //helper class to pass functor to enum_window_proc
    m_F: tmatch_functor;
  end;
  pwrapper = ^wrapper;

function enum_window_proc(hWnd: HWND; lparam: LPARAM): BOOL; stdcall;
var buffer: String;
begin
  SetLength(buffer, MAX_PATH);
  Result := true;
  if SendMessage(hWnd, WM_GETTEXT, MAX_PATH, Integer(@buffer[1])) <> 0 then begin
    if pwrapper(lparam)^.m_F(@buffer[1]) then Result := false;
  end;
end;

function FindWindowInProcess(const processId: Cardinal; fMatchWindowCaption: tmatch_functor): Boolean;
var snap_proc_handle: THandle;
  next_proc: Boolean;
  thread_entry: TThreadEntry32;
  w: wrapper;
begin
  w.m_F := fMatchWindowCaption;
  Result := false;
  snap_proc_handle := CreateToolhelp32Snapshot(TH32CS_SNAPTHREAD, 0); //enumerate all threads
  if (snap_proc_handle <> INVALID_HANDLE_VALUE) then try
    thread_entry.dwSize := SizeOf(thread_entry);
    next_proc := Thread32First(snap_proc_handle, thread_entry);
    while next_proc do begin
      if thread_entry.th32OwnerProcessID = processId then begin //check the owner Pid against the PID requested
        if not EnumThreadWindows(thread_entry.th32ThreadID, @enum_window_proc, LPARAM(@w)) then begin
          Result := true;
          break;
        end;
      end;
      next_proc := Thread32Next(snap_proc_handle, thread_entry);
    end;
  finally
    CloseHandle(snap_proc_handle);
  end;
end;

procedure KillProcess(const processId: Cardinal);
var nerror: Integer;
    process: THandle;
    fdwExit: DWORD;
begin //see http://stackoverflow.com/questions/4690472/error-invalid-handle-on-terminateprocess-vs-c
  process := OpenProcess(PROCESS_TERMINATE, TRUE, processId);
  fdwExit := 0;
  GetExitCodeProcess(process, fdwExit);
  if not TerminateProcess(process, fdwExit) then begin
    nerror := GetLastError;
  end;
  CloseHandle(process);
end;

{ TMatcher }
constructor TMatcher.Create(const sample: String);
begin
  m_Sample := sample;
end;

function TMatcher.EndWithI(srcName: PWideChar): Boolean;
var
  len: Integer;
  len_sample: Integer;
  pw: PWideChar;
begin
  Result := false;
  len_sample := Length(m_Sample);
  len := lstrlen(srcName);
  if (len >= len_sample) then begin
      pw := PWideChar(@srcName[len - len_sample]);
      if lstrcmpi(pw, PWideChar(m_Sample)) = 0 then begin
        Result := true;
      end;
    end;
end;

function TMatcher.EqualToI(srcName: PWideChar): Boolean;
begin
  Result := lstrcmpi(srcName, PWideChar(m_Sample)) = 0;
end;

{ TPidOutdatedMatcher }
constructor TPidOutdatedMatcher.Create(intervalMS: Integer);
begin
  m_IntervalMS := intervalMS;
end;

function TPidOutdatedMatcher.IsOutdated(srcPid: Integer): Boolean;
var tc, te, tk, tu, current: FILETIME;
    u0, u1: ULARGE_INTEGER;
    process: THandle;
    st: SYSTEMTIME;
begin
  Result := false;
  process := OpenProcess(PROCESS_ALL_ACCESS, TRUE, srcPid);
  try
    if GetProcessTimes(process, tc, te, tk, tu) then begin
      FileTimeToSystemTime(tc, st);
      GetSystemTimeAsFileTime(current);

      FileTimeToSystemTime(current, st);
      u1.LowPart := current.dwLowDateTime;
      u1.HighPart := current.dwHighDateTime;

      u0.LowPart := tc.dwLowDateTime;
      u0.HighPart := tc.dwHighDateTime;

      if (u1.QuadPart - u0.QuadPart) / 10000 > m_IntervalMS then Result := true;
    end;
  finally
    CloseHandle(process);
  end;
end;

function FindAndKillProcessByPid(const processExeFileName: String; const timeOutMs: Integer): Integer;
var
  me: TMatcher;
  md: ProcessKiller.TPidOutdatedMatcher;
begin
  md := nil;
  me := TMatcher.Create(processExeFileName);
  try
    md := TPidOutdatedMatcher.Create(timeOutMs);
    ProcessKiller.FindAndKillProcessByPid(me.EqualToI, md.IsOutdated);
  finally
    md.Free;
    me.Free;
  end;
end;

function FindAndKillProcessByWindow(const processExeFileName: String; const strCaption: String): Integer;
var
  me: TMatcher;
  ms: TMatcher;
begin
  ms := nil;
  me := TMatcher.Create(processExeFileName);
  try
    ms := TMatcher.Create(strCaption);
    ProcessKiller.FindAndKillProcessByWindow(me.EqualToI, ms.EndWithI);
  finally
    me.Free;
    ms.Free;
  end;
end;

end.

Демонстрационное приложение WordKiller

Проверить работоспособность модуля ProcessKiller.pas можно с помощью тестового приложения WordKiller.

Это сервис, способный выполнять две задачи.

С заданной периодичностью проверять список процессов и уничтожать процессы, которые работают слишком долго (первый метод). Имя exe-файла процесса, интервал запуска и максимально допустимый период работы процессов задаются в конфигурационном файле WordKiller.ini
С заданной периодичностью запускать Word, открывать в нем тестовый документ, а затем находить и уничтожать открытый процесс winword.exe с помощью FindAndKillProcessByWindow (второй метод).

Первую функцию можно использовать в готовом виде - как сервис, способный периодически проверять и уничтожать зависшие потоки. Вторая функция добавлена исключительно в целях тестирования. Включается и отключается она в WordKiller.ini.

Чтобы установить сервис нужно выполнить команду WordKiller.exe /install, чтобы деинсталлировать - WordKiller.exe /uninstall.

Если вы найдете ошибку в приложении - буду признателен, если сообщите о ней в комментариях.

Исходные коды

Скачать исходные коды проекта WordKiller.

Просмотреть online исходные коды WordKiller.

Отчетность ИП в ПФРФ за 2010.

2011-02-27T23:53:00.007+07:00

Каждый индивидуальный предприниматель платит взносы в пенсионный фон на страховую и накопительную часть. До 2010 года никакой отчетности по этим взносам в ПФРФ предоставлять не требовалось (по крайней мере для ИП, которые не нанимают работников). Сходил, сделал сверку - и все. С нынешнего года нужно предоставлять "декларацию" - отчетность по форме РСВ-2. Ее надо представить в пенсионный фонд до 1 марта 2011 года.

На сайте ПФРФ есть брошюрка, где все подробно расписано. Бланк формы РСВ-2 в брошюрке приведен, но в виде PDF его использовать не удобно. Не проблема - вот бланк РСВ-2 в формате Excel. Но и он скорее всего будет бесполезен. И вот почему.

В указанной брошюрке сказано: "Для заполнения Расчета используйте средства вычислительной техники или шариковую (перьевую) ручку". На практике ручки не прокатывают. Отчетность нужна в электронном виде. Приходите в пенсионный фонд и получаете три программы - Документы ПУ 5, CheckXML, CheckXML-UFA. Первая служит для заполнения разнообразной отчетности для ПФРФ, последние две - для проверки заполненной отчетности. Подозреваю, что в разных отделениях ПФРФ набор выдаваемого программного обеспечения может отличаться. Но мне досталась программа "Документы ПУ 5" и пришлось работать в ней.

Общий порядок работы с программой таков. Устанавливаете, запускаете. Вносите в окно "Справочники->Страхователи/Работодатели" информацию о себе - фио, коды, инн, адрес и т.д. Далее в окне "Документы->Расчет страховых взносов: РСВ-1, РСВ-2" заполняете форму РСВ-2 (выбираете страхователя, проверяете раздел "Титульный лист", заполняете "Раздел 1" - период предпринимательской деятельности, "Раздел 2.1" - 4 числа в строке "уплачено с начала расчетного периода"), сохраняете готовую форму в XML. Далее с помощью двух других программ проверяете корректность получившегося XML-файла. XML и логи проверки складываете на флешку, распечатываете готовую форму РСВ-2 в двух экземплярах, подписываете и несете в ПФРФ.

Честно говоря, на мой взгляд программа "Документы ПУ 5" - ужасна. Ошибки, подвисания, топорный интерфейс, непонятные сообщения о проблемах в заполнении формы, полное отсутствие справки по РСВ-2. Конечно, жаловаться смысла нет, поэтому просто перечислю проблемы, с которыми я столкнулся. Возможно кому-нибудь пригодятся найденные решения.

Первая проблема: где взять регистрационный номер ТФОМС. Его можно узнать пряом на сайте ТФОМС. Вполне возможно, что такую услугу предоставляют не всех сайтах ТФОМС, но на красноярском - она есть точно.

Вторая проблема - ошибка при проверке: "Причина. Нарушена структура блока. Отсутствует обязательный элемент (либо нарушен порядок следования элементов).
Ожидался элемент: ДанныеДляРасчетаСуммНачисленныхСтраховыхВзносов. Источник. <ЛицоПодтверждающееСведения>1</ЛицоПодтверждающееСведения>".

Причина ошибки - не заполнен "раздел 2.1" в РСВ-2. Вам нужно обязательно указать в этом разделе период осуществления предпринимательской деятельности (с 1 января по 31 декабря, если вы зарегистрировали ИП не в прошедшем году, а ранее). По умолчанию он не указан. А сообщение об этой ошибке, скажем так, замысловатое.

Третья проблема: адрес страхователя. Его ввод нетривиален. Если вы просто указали название города и улицы, то проверочная программа выдаст что-то такое:

***30: Ошибка в адресе <АдресРегистрации>: так как указано <ГеографическоеНазвание> для элемента адреса <Город>, то должно быть указано <Сокращение> для этого элемента:

***30: Ошибка в адресе <АдресРегистрации>: так как указано <ГеографическоеНазвание> для элемента адреса <Улица>, то должно быть указано <Сокращение> для этого элемента:

Секрет в том, что надо писать не просто "Красноярск", а "Красноярск Г", не просто улица "МИРА", а "МИРА УЛ". Охотно верю, что специалистам ввод адреса в правильном формате КЛАДР прост и привычен.. неспециалисту же приходится изрядно поломать голову чтобы понять, что он делает не так. Лично для меня загадка, почему разработчики программы "Документы ПУ 5" сделали настолько неудобную форму ввода адреса. Нужно там подставлять Г и УЛ - подставьте автоматом! или хотя бы подсказку дайте, в каком формате вносить информацию (кстати, подстановка сокращений для дома и квартиры в программе предусмотрены - есть соответствующая галочка).

И последнее: рекомендую ставить весь подобный софт на виртуалку. И систему не замусорите и проблем с инсталляцией избежите (например, одна из проверочных программ требует установки Firebird. Лично у меня уже установлен Firebird, причем тот что нужен мне, а не тот, что нужен ей.. Естественно, настраивать запуск второго FB в параллель программа не умеет).

Update. Сходил в пенсионный фонд. Оказывается, сдавать надо два документа: РСВ-2 и индивидуальные (информационные?) сведения. Индивидуальные сведения делаются в той же программе "Документы ПУ 5" и включат три страницы: титульный лист, форму С3В-6-1 и форму АДВ-6-2. Мне этот документ сделали за 20 секунд и сказали - "в этом году делаем за вас, в следующем отчетность без него не примем".

И еще. В нашем отделении пенсионного фонда РСВ-2 и информационные сведения сдаются в разные кабинеты, так что надо стоять две очереди. Дурдом.

Мне интересно, зачем ввели столько отчетности? Чем не устраивала простая сверка, как раньше? Несколько лет назад я просто звонил в пенсионный фонд и спрашивал - все платежи от меня получили? они говорили - все. И идти никуда было не нужно. Теперь я должен подготовить 2 документа на 5 листов, прийти лично и отстоять 2 очереди. Потратить в итоге на все часов 5-6, если не больше. Зачем?

Update 2: а парево то с этими С3В нехилое, вон как народ бурно обсуждает на klerk.ru. Кстати там ссылочка на другой софт проскакивает, возможно он лучше.

Update 3: мой товарищ, у которого ИП зарегистрировано в другом районе города, наученный моим опытом тщательно подготовил всю необходимую отчетность и пошел в свое отделение пенсионного фонда. И сходу им пожаловался, как сложно разбираться с их кривым софтом. Ему сказали "а зачем вы разбирались? нам от вас ничего не нужно". Отчетность, которую он с таким трудом готовил, не взяли, а сверку провели так как раньше - по паспорту :)

Как разделить Android приложение на Pro и Free версии.

2011-02-20T13:51:00.001+07:00

Если вы разрабатываете бесплатное приложение под Android, то это совсем не значит, что оно не принесет вам доход. Путей монетаризации достаточно: показ рекламы, пожертвования пользователей, продажа специальной "Pro" версии приложения, в которой нет рекламы и/или есть дополнительный функционал.

Типичный сценарий таков. Вы разрабатываете Free версию приложения, в которой реклама есть. И предлагаете приобрести Pro версию, в которой рекламы нет. Бесплатность приложения привлекает большое количество пользователей. Больше пользователей - больше кликов по рекламе, больше покупок Pro версии.

Возникает чисто технический вопрос: как сделать две версии приложения - Pro и Free, - на базе одних и тех же исходных кодов? Вот об этом и поговорим.

Традиционные способы разделения Pro и Free версий

Вопрос разделения Pro и Free версий Android-приложений обсуждается на многих форумах (вот, например, ветка на stackoverflow). Как правило, предлагаются следующие варианты:

Вводить runtime или compile time переключатели Pro/Free функциональности.
Использовать git. Вести в основной ветке разработку Pro-версии, и в отдельной ветке держать измененную Free-версию. При сборке очередного билда делать для Free-версии команду rebase, накатывая Free-изменения на основную Pro-версию.
Создавать два отдельных проекта, использующих общую Android library.
Вместо Pro версии разрабатывать и продавать "unlocker" приложение. Если "unlocker" приложение на устройстве установлено, то ваше приложение работает как "Pro". Если не установлено - то как "Free". (Правда, такой подход подразумевает скорее разработку двух разных приложений, чем две версии одного и того же приложения, т.е. это несколько другое.)

Ни один из перечисленных подходов мне не подошел: все либо не удобны, либо не надежны, либо возможностей не хватает. Пришлось искать другой вариант.

Основные отличия Pro и Free версий

В чем отличия Pro и Free версий на уровне исходных кодов?

Приложения называются по разному. Например, MyApplication и MyApplication Pro
У приложений разные иконки: icon.png, icon_pro.png
Во Free приложении может присутствовать кнопка "Donate" ("Bue Pro"). Два основных места, где она присутствует: главный экран приложения и option menu. На уровне исходников это означает, что в основной Activity приложения должен присутствовать код для отображения и обработки нажатия такой кнопки, а меню должны задаваться в ресурсах разными xml-файлами.
Во Free приложении может присутстовать код для отображения рекламного баннера.
Pro версия может содержать функции, которых во Free версии нет. Т.е. в Pro-проект должны входить дополнительные классы и файлы ресурсов.
Pro и Free приложения должны иметь разные названия пакетов, например: com.dummy.myapp и com.dummy.myapp.pro

В целом, отличия сводятся к следующим:

Отличная структура директорий (из-за отличий в названии пакета).
Отличия в значениях некоторых атрибутов в манифесте и других xml файлах (названия иконок, название программы и т.д.)
Разный набор файлов (некоторые файлы должны быть только во Free версии, другие только в Pro).
Небольшие отличия в коде (например, в Pro версии должен использоваться один идентификатор меню, во Free - другой; в Pro версии надо вызвать одну функцию, во Free - другую).

Утилита apfsplitter

Подход, к которому я в итоге пришел, достаточно прост: разрабатывать единую базовую версию, и генерировать на ее основе Pro и Free версии с помощью специальной (самописной) утилиты AndroidProFreeSplitter (сокращенно, apfsplitter).

Имеется единственный базовый проект. На нем можно разрабатывать и отлаживать как Pro, так и Free версию, используя булевую переменную IS_PRO как переключатель. Когда же нужно собрать релиз, AndroidProFreeSplitter генерирует на основе базового два новых проекта: Pro и Free. Генерация сводится к копированию дерева проекта, исключению ненужных файлов и изменению некоторых файлов проекта. Порядок копирования, исключения и изменения файлов определяется набором правил. Правила задаются в конфигурационном файле и представляют, по большому счету, список регулярных выражений + файловых масок.

Этот подход напоминает git-вариант. Только изменения "накатываются" на базовую версию не с помощью git, а с помощью специальной утилиты.

Тестовый проект DemoProFreeSplitter

Утилита apfsplitter является достаточно общей и не накладывает никаких ограничений на структуру проекта. Но на практике такие ограничения накладывать приходится - иначе как описать набор правил для преобразования файлов?

В реальном проекте, я ввел ряд соглашений об именовании Pro-Free зависимых файлов и функций и прописал соответствующий набор правил в конфигурационном файле. Вот эти соглашения.

Версии

У нас три версии - базовая, pro и free. Базовая версия может работать как pro и как free в зависимости от значения переменной Version.IS_PRO. При генерации Pro/Free проектов apfsplitter автоматические выставляет корректное значение IS_PRO.

Именование файлов

Файлы, которые должны быть включены только во free-версию, заканчиваются на "_free". Файлы, которые должны быть включены только в pro-версию, заканчиваются на "_pro". Пример: файл "icon_pro.png" будет скопирован только в pro-версию.

Макросы, аналоги #ifdef/#endif

Да, макросы это плохо. И использовать их нужно крайне осторожно. Тем не менее, макросы могут пригодиться. Например, чтобы удалять Pro-код из Free-версии и Free-код из Pro-версии.

Макросы введены в следующем виде:

//#startBASE 
  //здесь код который будет выполняться только в базовой версии
  //в Pro и Free он будет закомментирован
//#endBASE

//#startPRO
  //здесь код который будет выполняться только в pro-версии
  //в Free он будет закомментирован
//#endPRO

//#startPRO
  //здесь код который будет выполняться только во free-версии
  //в Pro он будет закомментирован
//#endPRO

Обращаю внимание, что ненужный код не удаляется, а комментируется. Хотя в принципе, в конфигурационном файле apfsplitter можно изменить соответствующие регулярные выражения и код будет удаляться.

Именование функций

Если у нас есть Pro/Free-зависимый код, то он оформляется в виде трех функций:

//#startBASE 
public void prepareDonateButton_ProFree() {
//эта функция работает только в базовой версии
//в Free/Pro проектах она закомментирована.
 if (Version.IS_PRO) {
  prepareDonateButton_Pro();
 } else {
  prepareDonateButton_Free();
 }
}
//#endBASE

//#startFREE 
public void prepareDonateButton_Free() {
   //показываем кнопку Donate во Free версии
}
//#endFREE

//#startPRO 
public void prepareDonateButton_Pro() {
  //не показываем кнопку Donate в Pro версии
}
//#endPRO

В базовой версии будут присутствовать все три функции. В Pro версии все вызовы prepareDonateButton_ProFree будут заменены на вызовы prepareDonateButton_Pro, а функции prepareDonateButton_ProFree и prepareDonateButton_Free закомментированы (с помощью макросов). Аналогично, во Free версии все вызовы prepareDonateButton_ProFree будут заменены на вызовы prepareDonateButton_Free, а функции prepareDonateButton_ProFree и prepareDonateButton_Pro закомментированы.

Класс Version

В проекте имеется вот такой класс Version:

public class Version {
 public static final boolean IS_PRO = false;
 public static int GetFreeProId(int idFree, int idPro) {
   return IS_PRO ? idPro : idFree; 
 }
 public static int GetFreeId(int idFree) {
   return IS_PRO ? 0 : idFree; 
 }
 public static int GetProId(int idPro) {
   return IS_PRO ? idPro : 0; 
 }
}

Когда мы работаем в базовой версии, то переменная IS_PRO определяет, какая из версий Pro/Free компилируется. При создании Pro/Free версий apfsplitter принудительно устанавливает значение константы IS_PRO в true или false.

Функции GetFreeProId, GetFreeId и GetProId нужны, чтобы корректно обращаться к ресурсам. Предположим, у нас есть два варианта menu: R.menu.menu_free и R.menu.menu_pro. Чтобы вызвать меню мы пишем в базовой версии такой код:

inflater.inflate(       
    Version.GetProFreeId(R.menu.menu_free, R.menu.menu_pro) 
  , menu);

В Pro версии вызов GetProFreeId будет заменен на
inflater.inflate(R.menu.menu_pro, menu). В Free версии на inflater.inflate(R.menu.menu_free, menu). Такой финт нужен потому, что в Pro версии идентификатора R.menu.menu_free может не существовать, а во Free версии может не существовать R.menu.menu_pro (напомню, что файлы оканчивающиеся на _free не попадают в Pro версию, так что menu_free.xml не попадет в Pro версию и идентификатора R.menu.menu_free не будет; аналогичная ситуация с menu_pro).

Функции GetFreeId и GetProId работают аналогично. В той версии, где нужного идентификатора нет, вместо него будет стоять ноль.

Тестовый проект

Тестовый проект DemoProFreeSplitter демонстрирует использование указанных соглашений именования и утилиты apfsplitter.

Командный файл для генерации Pro и Free версий тестового проекта выглядит так:

apfsplitter.exe "sources" "versions\pro" "apfs_config.xml" pro
apfsplitter.exe "sources" "versions\free" "apfs_config.xml " !pro

Директория "sources" содержит базовую версию проекта. Результаты записываются в "versions\pro" и "versions\free". Конфигурационный файл с правилами разбиения называется apfs_config.xml. Последним параметром передается тег версии - "pro" или, для free версии,"!pro".

Выводы

Итак, с помощью утилиты apfsplitter можно без особых хлопот генерировать Pro и Free версии Android приложения на основе единого набора исходных кодов - "базовой" версии. Сама базовая версия может работать как Pro и Free, так что ее можно использовать при разработке, отладке и тестировании как Pro так и Free версии.

Тестовый проект DemoProFreeSplitter демонстрирует возможности apfsplitter. В проект входит конфигурационный файл apfsplitter. Чтобы можно было использовать этот файл в реальном проекте, необходимо придерживаться в этом проекте ряда простых соглашений в именовании Pro/Free зависимых файлов и функций. Кроме того, необходимо изменить последнее правило:

<replace if="target:pro">   
 <files>.project</files>
 <search>projectDescription/name</search>
 <replace>My Application Pro Title</replace>
<kind>xml</kind>
</replace>

Данное правило заменяет в Pro-версии название проекта. Вам необходимо либо заменить "My Application Pro Title" на что-нибудь другое, либо вообще удалить это правило из конфигурационного файла.

Утилита apfsplitter достаточно универсальна и не привязана к каким-либо соглашениям. Соглашения, описанные выше, оказались удобными для меня, но это лишь один из возможных вариантов. Естественно, их можно доработать, изменить или полностью заменить на другие. Для этого потребуется отредактировать конфигурационный файл apfsplitter. Описание его структуры - тема отдельного разговора, к которому я вернусь в дальнейшем.

Ссылки и исходники

Скачать утилиту apfsplitter и тестовый проект DemoProFreeSplitter в виде 7z-архива.

Просмотреть исходные коды тестового проекта DemoProFreeSplitter.

Просмотреть исходные коды apfsplitter.

Named Folders 3.0. Релиз, итоги.

2011-01-22T20:31:00.001+07:00

Выложил релиз Named Folders 3.0 - плагина для Far Manager, позволяющего быстро перемещаться между директориями в Far (версия x86, версия x64). С момента начала работы над третьей версией плагина прошло уже четыре месяца.. и 14 билдов.

Детально об изменениях написано в whatsnew. Основные изменения следующие:

Плагин стал юникодным, работает теперь только в Far 2 и использует FAR API 2.0.
У плагина появилась 64-битная версия.
Код плагина приведен более менее в нормальное состояние, пригодное для дальнейшей работы (ох, не весь еще приведен..)
Оптимизированы размеры итоговых dll.
Исправлено множество багов и добавлен ряд полезных мелочей в функциональность плагина.
Полностью переделана технология разбора относительных путей и изменен синтаксис команд для ограничения глубины поиска.

О последнем пункте хочу сказать чуть подробнее. Ведь именно из-за него релиз плагина был отложен более чем на полтора месяца.

Named Folders 2.5 позволял не только переходить в директорию, на которую непосредственно указывал псевдоним, но и указывать дальнейший путь. Например:

команда cd:pf переходит в c:\program files;
команда cD:pf\* находит все поддиректории c:\program files
cD:pf\\* находит как директории, непосредственно вложенные в c:\program files, так и все их поддиректории
cD:pf\\\a позволяет искать вглубь на три уровня

Другими словами, слеши позволяли ограничивать глубину поиска. Поставил 5 слешей - ищешь не более чем на 5 уровней вглубь. 10 слешей - на 10 уровней. И т.д.

Для чего это нужно? Для скорости поиска. Чтобы перебрать все файлы в c:\program files, может потребоваться несколько минут. Если же вы знаете, что файл лежит не глубоко, в двух-трех уровнях от поверхности, то почему бы не использовать эту информацию для ускорения поиска? Это как раз в духе плагина - использовать для поиска любую информацию, которая есть у пользователя.

К сожалению, в NF2.5 синтаксис команд поиска с ограничением глубины был не слишком интуитивен. И, что печально, реализация хромала на обе ноги. Работали лишь самые простейшие команды, а чуть более сложные уже работали не так как ожидается или вообще не работали.

После длительных дискуссий, было решено изменить синтаксис метасимволов, используемых для ограничения глубины поиска. Вслед за изменением синтаксиса последовала полная смена реализации, после чего поиск стал работать предсказуемо и появилась возможность писать достаточно сложные выражения поиска.

Детали приведены в вики. Здесь же я приведу просто несколько примеров, как теперь можно использовать поиск с ограничением уровня вложенности.

cd:sh\** - неограниченный поиск всех директорий вглубь.
cd:sh\**:2 - поиск вглубь на два уровня вниз.
cd:sh\*\* - поиск вглубь на два уровня вниз. Эта команда похожа на cd:sh\**:2, но есть важное отличие. Команда cd:sh\*\* включит в результаты только директории второго уровня, а команда cd:sh\:2 - как второго, так и первого уровня.
cd:sh\*\*\a - найти директории, расположенные на третьем уровне вложенности, удовлетворяющие маске "a".
cd:sh\**:3a - найти все директории, расположенные на первом, втором и третьем уровнях вложенности, и удовлетворяющие маске "a".
cd:sh\**:3\a - найти все директории, расположенные на первом, втором и третьем уровнях вложенности, а затем в каждой из них провести поиск директории, удовлетворяющей маске "a".
cd:sh\.. - перейти в родительскую директорию.
cd:sh\..\* - найти все директории, вложенные в родительскую директорию.
cd:sh\..*:2 - вернуть две директорию: родительскую и ту, в которую родительская вложена.
cd:sh\..* - вернуть все родительские директории. Если наша директория находится на N-ном уровне в файловой системе, то команда вернет N - 1 директорию.
cd:sh\..*\**:2a" - найти все родительские директории и в каждой из них провести поиск директорий, удовлетворяющих маске "a", причем поиск ограничить двумя уровнями.

В NF3 функциональность для ограничения глубины поиска можно использовать не только в командах перехода по псевдониму cd:sh, но и еще в паре мест:

В командах прямого перехода в директорию: cd:path
В путях, на которые ссылаются псевдонимы. Т.е. для псевдонима pf можно указать не просто директорию c:\program files, но, например, c:\program files\**:3. В результате, команда cd:pf будет всегда показывать полный список всех директорий, вложенных в c:\program files на 1-3 уровня

Из других изменений в функциональности в NF 3.0 отмечу:

Реализована возможность запуска 64-битных приложений из 32-битного FAR
Команда прямого перехода в директорию cd:path позволяет указывать path в кавычках; кроме того path может быть сетевой директорией.
Реализованы команды неявного создания шоткатов, ссылающихся на две панели сразу.
Макрос FastPrefix стал гораздо более удобным: нажатие ":" не только приводит к вводу "cd:" в командной строке, но и меняет раскладку клавиатуры на английскую. Нажал ":" и печатай команду NF.

В следующей версии плагина (3.1) планируется следующее:

Поддержка win7-libraries (#10)
Поддержка атрибутов для каталогов и шоткатов (#8). Например, для каталогов нужен атрибут "показывать в меню дисков" и "синхронизировать с библиотекой win7"
"НЕ" в фильтре и в масках пути (#46, #47)
Интеграция с doskey (#36).
Визуализация длительных операций (#44).

Новую версию постараюсь выложить на PlugRing. Обо всех замеченных багах можно писать сюда, на email или в issue tracker.

Конвертер PDF в HTML. Вариантов море, а нужного нет.

2011-01-21T19:23:00.002+07:00

Появилась задача: конвертация PDF-файлов в HTML в автоматическом режиме на сервере. Условия просты: текст должен конвертироваться в текст (не в картинку), форматирование страницы должно быть максимально приближено к оригиналу, плюс все это должно делаться локально - документ должен оставаться на сервере и никуда не передаваться. Оказалось, что найти подходящий конвертер очень и очень не просто.

Сразу отпали:

Утилиты типа Apache PDFBox и Amyuni OCR Module. Все они позволяют извлечь текст, но не сохраняют форматирование
Утилиты типа ImageMagick, способные конвертировать PDF в набор JPEG-файлов. Нам нужен текст.
Сервисы для конвертации PDF-документов, типа сервиса Adobe, а так же сервисы включения PDF-документов в веб-страниц типа, scribd
Adobe Acrobat. Конвертировать PDF в HTML он умеет, а вот программно использовать его не получается.
XtremePDFConverter на VCL, способный конвертировать PDF в RTF. Мы его пробовали три года назад. Форматирование при конвертировании сохраняет не плохо, но имелись серьезные проблемы с кодировкой. Например, датские символы не конвертировались. Скачал с сайта текущую демоверсию (3.0.1), проверил - проблема с датскими символами осталась.

Поискал в google "PDF to HTML". Вывалился гигантский список недорогих утилит типа PDF Ripper и IntraPDF. Попробовал несколько штук - у всех качество очень посредственное. Форматирование портится просто чудовищно, некоторые PDF документы вообще не воспринимаются...

Более глубокий поиск дал следующие варианты:

pdftohtml - бесплатный конвертер, основанный на старой версии xpdf 2.02. Последняя версия pdftohtml 0.40 датирована 2006 годом. Во многих случаях, эта утилита работает отлично. Но, к сожалению, некоторые PDF-документы ей не по зубам - валится с ошибкой. Движок xpdf уже давно обновился, текущая версия - 3.02pl5 (октябрь 2010 года). Вот только обновлений pdftohtml под нее нет.
BCL easy converter. Качество преобразования отличное, документы, на которых pdftohtml вылетает, конвертит на ура. Но цена крайне высока: ~$4000 за серверную лицензию и более $1000 за лицензию разработчика.
Компоненты iText и iTextSharp. Они позволяют распарсить PDF документ, и построить в памяти объектную модель документа. Далее, эту модель можно попробовать использовать для создания HTML документа. Правда, готового решения мне не попалось.
CrawfordTech's Transforms. Не ясно, что за зверь. Судя по описанию - какой-то универсальный конвертер, позволяющий конвертировать друг в друга форматы Xerox, Postscript, PDF, AFP, PCL и т.д. Надо изучать. Запросил у них демоверсию.
ABBYY PDF Transformer 3.0. Конечно, с этим продуктом та же проблема, что с Adobe Acrobat - он не предназначен для использования программным образом. Но у ABBI есть SDK, которое можно попробовать использовать для наших целей. Написал в ABBYY письмо, посмотрим что ответят.

Как видите, 100%-подходящего варианта нет. Остается искать дальше :(

Даблклик по виджету на Android

2011-01-14T16:46:00.002+07:00

Как известно, даблклика (даблтапа - double tap) на андроиде нет. Но порой требуется, чтобы одинарный и двойной щелчок по виджету приводили к разным действиям. Приходится реализовывать даблклик обходным путем. Например, так, как описано ниже.

Идея обходного пути проста. Заводим статический синглетон. В синглетоне регистрируем клики по виджиту. При первом клике запускается таймер. Если таймер срабатывает до того, как произойдет второй клик, мы запускаем функцию обработки одинарного клика. Если же раньше произойдет второй клик, запускаем функцию обработки double click, а последующее событие таймера игнорируем.

Layout для виджета выглядит так:

<?xml version="1.0" encoding="UTF-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
 android:gravity="center" 
 android:orientation="vertical" 
 android:id="@+id/widget_layout"
 android:layout_width="72dip"
   android:layout_height="72dip"
 android:clickable="true">
 <ImageView android:id="@+id/widget_image_view"
     android:scaleType="fitXY"
     android:layout_width="fill_parent" 
     android:layout_height="fill_parent" 
     android:layout_marginLeft="0.0dip"
     android:src="@drawable/link_pressed"
  />
</RelativeLayout>

Т.е. виджет содержит компонент ImageView, который умеет обрабатывать клики. Вот как выглядит класс виджета:

public class MyProvider extends AppWidgetProvider {

private static final String ACTION_WIDGET_CONTROL = "my.domain.WIDGET_CONTROL";
public static final String ACTION_UPDATE_WIDGET_CONTEXT = "my.domain.UPDATE_WIDGET_CONTEXT";
public static final String URI_SCHEME = "my.domain";      

public static final String PARAM_WIDGET_ID = "my.domain.appWidgetId";
public static final String PARAM_WIDGET_POSITION = "my.domain.widgetPos";

@Override
public void onUpdate(Context context, AppWidgetManager appWidgetManager, int[] appWidgetIds) {
    for (int widget_id : appWidgetIds) {
      update_widget_view(context, widget_id, appWidgetManager);                  
    }                  
    super.onUpdate(context, appWidgetManager, appWidgetIds);        
}

private void set_click_listener_to_widget(Context context, int widgetId, RemoteViews remoteViews) {
//обработчик одинарного клика по виджету
 Intent active = new Intent(context, AWidgetProvider.class);
 //при нажатии на ImageButton на виджите
 //будет посылаться ACTION_WIDGET_CONTROL
 //мы перехватим его в OnReceive
 active.setAction(ACTION_WIDGET_CONTROL); 
 Uri data = Uri.parse(URI_SCHEME + "://widget#");
 data = data.buildUpon()
  .appendQueryParameter("widget_id", String.valueOf(widgetId))
  .build();
 active.setData(data);
 PendingIntent pi = PendingIntent.getBroadcast(context, 0, active, 0);
 remoteViews.setOnClickPendingIntent(R.id.widget_image_view, pi); 
}                 
    
@Override
public void onReceive(Context context, Intent intent) {
 final String action = intent.getAction();
 ....
 if (action.equals(ACTION_WIDGET_CONTROL)) {
//обрабатываем клик по виджету
    Uri uri = intent.getData();
    //определяем позицию виджета на экране
    Rect widget_pos = intent.getSourceBounds(); 
    int widget_id = Integer.parseInt(uri.getQueryParameter("widget_id"));
    if (widget_id != AppWidgetManager.INVALID_APPWIDGET_ID) {
      on_widget_click(context, widget_id, widget_pos);
    }
 } 
 super.onReceive(context, intent);
}       
   
private boolean on_widget_click(Context context, int widgetId, Rect widgetPos) {
//Регистрируем все клики по виджету
  return ((Kernel)context.getApplicationContext())
     .RegisterClick(widgetId, widgetPos);
}

private void update_widget_view(Context context, int widgetId, AppWidgetManager appWidgetManager) {
 RemoteViews remote_views = new RemoteViews(context.getPackageName()
     , R.layout.widget);
 set_click_listener_to_widget(context, widgetId, remote_views); 
 appWidgetManager.updateAppWidget(widgetId, remote_views);
}

public static void makeDoubleClickAction(Context context
  , int appWidgetId, Rect widgetPos) {
//!TODO: обработка одинарного клика
}

public static void makeSingleClickAction(Context context
  , int appWidgetId, Rect widgetPos) {
//!TODO: Обработка двойного клика
}
}

Переходим к синглетону, в котором мы будет регистрировать клики. Синглетон создаем на базе класса Application - во-первых, чтобы избежать проблем с использованием синглетона в разных Activity, во-вторых, чтобы получить доступ к контексту, который нам нужен (скорее всего) в функциях makeDoubleClickAction и makeSingleClickAction. Код синглетона:

public final class Kernel extends Application { 
//http://stackoverflow.com/questions/708012/android-how-to-declare-global-variables
public static final String TAG_LOG = "my.domain";

public static int DOUBLE_CLICK_DELAY_MS = 200; 

//номер сессии - порядковый номер кликов
//номер сессии нужен, чтобы избежать ложного срабатывания функции "один клик" по таймеру уже
//после того, как сработала функция "дабл клик".
private static int m_DoubleClickSession = 1;
private static int m_DoubleClickCountClicks = 0;
private static DoubleClickHelper m_DoubleClickHelper = null;

/* Регистрирует клик. Возвращает True, если это был первый клик в последовательности double-click.
 * */
public boolean RegisterClick(int appWidgetId, Rect widgetRect) {
 synchronized (this) {
  if (m_DoubleClickCountClicks == 1) {
   m_DoubleClickSession++;
   m_DoubleClickCountClicks = 0;
   m_DoubleClickHelper = null; 
   MyProvider.makeDoubleClickAction(this.getApplicationContext()
      , appWidgetId, widgetRect);
   return false;
  } else {
   m_DoubleClickHelper = new DoubleClickHelper(m_DoubleClickSession
     , appWidgetId, widgetRect);
   Timer timer = new Timer();
   timer.schedule(m_DoubleClickHelper, Kernel.DOUBLE_CLICK_DELAY_MS);
   m_DoubleClickCountClicks = 1;
   return true;
  }
 }
}

private void on_first_click_timer(int sessionId, int appWidgetId, Rect widgetRect) {
 synchronized (this) {
  //если номер сессии изменился, значит пока мы ждали таймер, был второй клик
  //и была вызвана функция дабл-клика. В этом случае, ничего не вызываем.
  if (Kernel.m_DoubleClickSession == sessionId) { 
   m_DoubleClickSession++;
   m_DoubleClickCountClicks = 0;
   m_DoubleClickHelper = null;
   MyProvider.makeSingleClickAction(this.getApplicationContext(), appWidgetId, widgetRect);
  }
 }  
}

public class DoubleClickHelper  extends TimerTask {
    final int m_AppWidgetId;
    final Rect m_WidgetRect;
    final int m_DoubleClickSession;
    
 public DoubleClickHelper(int doubleClickSession, int appWidgetId, Rect widgetRect) {
  m_AppWidgetId = appWidgetId;
  m_WidgetRect = widgetRect;
  m_DoubleClickSession = doubleClickSession;
 }
 
 @Override 
 public void run() {
  on_first_click_timer(m_DoubleClickSession, m_AppWidgetId, m_WidgetRect);
 }  
}
}

Значение задержки таймера DOUBLE_CLICK_DELAY_MS лучше вынести в настройки, ведь скорее всего, на разных устройствах потребуется задавать разные значения задержки.

Функции makeSingleClickAction и makeDoubleClickAction могут быть объявлены как угодно. В моем проекте требовалось передать в них в качестве параметров контекст и позицию виджета на экране. Отсюда многочисленные Rect в коде - если вам позиция виджета не важна, можете смело выкидывать все Rect-ы.

Приведенный выше код вполне успешно работает в приложении Animated Widget Contact Launch. Тем не менее, ошибки не исключены. Вполне возможно, что со временем они выплывут - тогда я о них обязательно сообщу. Если же вы найдете ошибку, буду признателен за сообщение о ней в комментариях.

Update: как оказалось, приведенный выше код работает вовсе не так хорошо, как хотелось бы. Дело оказалось в 200 миллисекундной задержке, которая возникает при клике по виджету (пока ждем второй клик). Она слишком заметна и субъективно кажется что виджет тормозит. Пользователи стали жаловаться. Пришлось выкручиваться: по первому клику сразу же запускать однокликовое действие (запуск активити с анимацией) и, одновременно, продолжать отслеживать второй клик. Особенность: отслеживать второй клик приходится как на стороне виджета, так и на стороне запущенной активити, т.к. на практике второй клик может прийти и туда, и туда.

Реестр intents

2011-01-11T16:23:00.000+07:00

Наткнулся на крайне полезный ресурс
Registry of intents protocols.

С этими интентами под Андроид ведь просто беда.. каждый раз приходится выискивать - какие параметры у какого intent есть. А тут - все по полочкам разложено. Удобно.

Синглетоны на Android. Как не стукнуться клювом об дерево...

2010-12-26T22:15:00.001+07:00

Синглетон - объект существующий в единственном экземпляре. Удобнейшая штука для хранения объектов, существующих в течении всего времени жизни приложения: всякого рода настроек, кешей и т.д. Сильно злоупотреблять синглетонами не стоит, т.к. у них есть четко определенные недостатки. Однако в некоторых случаях без синглетонов (как и без глобальных переменных) просто не обойтись.

Синглетон можно реализовать разными способами. Обычно его реализуют так, чтобы он был доступен в любой точке приложения. Например, в виде класса, в котором все функции статические. Или в виде обычного класса со статичной функцией GetInstance() и приватным конструктором. Главное, учесть при реализации синглетона особенности языка программирования и платформы. Иначе ваше приложение рискует погрязнуть в ворохе непонятных и трудноуловимых багов. Я уже как-то писал об одной такой нетривиальной особенности реализации синглетона на CLI/C++. Оказалось, что и в реализации синглетона под Android есть подобная нетривиальная особенность.

Простейшая и вроде бы очевидная реализация синглетона под Android неверна. Пример:

public final class MySingleton {
   private static MyClass m_A = new MyClass();
   private static MyClass getA() {
      return m_A;
   }
}

Такой синглетон заработает. И может работать очень долго. Но в один прекрасный момент, вы рискуете получить null в getA(). Со всеми вытекающими последствиями...

Причина проста. Вы инициализируете статический класс синглетона в контексте Activity. Если в вашем приложении несколько activity, то синглетон доступен в каждой из них. Но если первоначальная activity, в которой создавался синглетон, будет уничтожена, то и синглетон тоже будет уничтожен. После этого, в других activity вы будете получать null вместо A. А ведь под андроидом подобное уничтожение activity дело обычное..

Проблема эта известна. Имеются решения:

создавать синглетон в контексте сервиса, а не в контексте activity;
унаследовать класс синглетона от класса Application.

На мой взгляд, второй способ проще. Если нет каких-либо особых противопоказаний, можно использовать именно его. Синглетон, унаследованный от Application, будет выглядеть так:

public final class MySingleton extends Application {
   private MyClass m_A = new MyClass();

  @Override
  public void onCreate() {
     super.onCreate();
     //инициализация объектов синглетона
     Resources r = this.getResources();      
     ...
  }

  private MyClass getA() {
    return m_A;
  } 
}

Нужно не забыть немножко подправить манифест, указав класс синглетона в качестве класса приложения:

...
   
   ...

MySingleton стал нестатическим классом. Тем не менее, обращаться к нему можно отовсюду, где имеется context - из виджета, из activity и т.п.

//виджет:
public void onUpdate(Context context, AppWidgetManager appWidgetManager, int[] appWidgetIds) {
  MySingleton s = (MySingleton)context.getApplication(); 
}
//Activity:
public void onCreate(Bundle savedInstanceState) {
  super.onCreate(savedInstanceState);
  MySingleton s = (MySingleton)this.getApplication(); 
}

Не так удобно, как раньше, но вполне терпимо.

Выводы

Если ваш приложение под Android стало вдруг временами зависать или виджет стал отваливаться через некоторое время после начала работы, проверьте: а правильно ли у вас реализованы синглетоны?

Расчетный счет ИП. Налоги, расходы и вычеты. Минимизация затрат.

2010-12-21T11:47:00.108+07:00

В предыдущих статьях речь шла о тонкостях открытия валютного расчетного счета ИП, оформлении паспорта сделки и получения денег от заказчика. Теперь поговорим о насущном: во сколько обходится содержание валютного расчетного счета, какие явные и неявные траты существуют и можно ли как-нибудь сэкономить.

Разумеется, в каждом банке свои тарифы и свои правила. Так что суммы, приведенные ниже, всего лишь иллюстрируют порядок величин и могут варьироваться на практике.

Явные затраты по расчетному счету

Напомню, речь идет о двух счетах: рублевом и валютном. Для получения денег от иностранного заказчика нужны оба счета, соответственно, и оплачивать приходится оба.

Затраты	Сумма	Оплата
Открытие рублевого счета, всевозможные комиссии за свидетельствование подписей, копирование документов и т.д.	1200 руб	Один раз при открытии счета
Открытие валютного счета	$30	Один раз при открытии счета
Комиссия за ведение рублевого счета	600 руб	Каждый месяц, но только если были операции по счету, см. ниже.
Комиссия за ведение валютного счета	$20	Каждый месяц, но только если были операции по счету, см. ниже.
Комиссия за выполнение функции валютного контроля + НДС	300 руб	За каждый полученный платеж в валюте.
Комиссия за выполнение платежных поручений	20 руб	За каждое платежное поручение.

Несколько замечаний.

Комиссия за ведение рублевого счета взимается только в том случае, если вы счетом пользовались, т.е. переводили с него деньги. Если же вы не создавали платежных поручений, а только получали деньги на счет, то комиссия не взимается.
Похожая ситуация с валютным счетом. Если операции по счету не проводятся, то и комиссия не взимается. При этом обязательный перевод валюты с транзитного счета на текущий и ~~обязательная~~ продажа валюты с текущего валютного счета на рублевый "операциями" не считаются. Так что лично с меня комиссию за ведение валютного счета пока не брали ни разу.
Комиссия за выполнение платежных поручений не берется при оплате налогов и сборов.
За перевод денег с вашего расчетного счета на вашу же пластиковую карточку, открытую в другом банке, дополнительных процентов не берут. Такая операция стоит 20 руб - как и любое другое платежное поручение.

С какой суммы платить налог

Если вы используете упрощенную систему налогообложения с объектом налогообложения "доходы", то вы обязаны уплатить налог 6% с полученных доходов. Доходы приходят в валюте, а налоги платятся в рублях. С какой суммы платится налог?

Напомню, что при поступлении платежа необходимо выполнить две операции: оформить валютную справку и перевести деньги транзитного счета на текущий, а затем продать валюту с текущего валютного счета на рублевый. Банковские операции - дело не быстрое, так что за один день не управиться. В итоге возникает курсовая разница между рублевым эквивалентом полученной суммы на момент зачисления и итоговой суммой, поступившей вам на рублевый расчетный счет. Причем разница может быть как положительной, так и отрицательной.

Пример. Вам поступил платеж $1000. Обстоятельства сложились так, что курс доллара в это время стабильно рос. Получаем следующее:

День	Операция	Курс ЦБ	Сумма на вашем счету
1	Зачисление денег на транзитный валютный счет	30	$1000 = 30000 руб
2	Перевод денег на текущий валютный счет	31	$1000 = 31000 руб
3	Продажа валюты на рублевый расчетный счет	32	1000 * Курс банка = N руб (см. ниже)

Вопрос: с какой суммы платить налог?

Ответ я нашел здесь: "у предпринимателей (не путать с организациями), курсовая разница возникает (и с нее платится налог) только при продаже валюты дороже курса ЦБ на дату продажи (у меня такое иногда случается, как ни странно). При изменении курса лежащей на счете валюты у ИП - нет курсовой разницы."

Таким образом, налог платится с 30000 рублей. Если в момент продажи валюты (день 3) курс банка был выше, чем курс ЦБ на дату продажи (т.е. в день 3), то вам потребуется доплатить налог с курсовой разницы. У меня такого пока не было ни разу - банк стабильно держит курс валюты ниже, чем у ЦБ.

Курс ЦБ и курс банка

В приведенном выше примере у ЦБ курс в день 3 был 32 руб. У банка он был ниже, скажем, 31.5. В результате мы платим налог с 30 т.р., а на наш счет упала сумма 31500 руб. Мы в выигрыше. Но если доллар за эти дни не рос в цене, а падал, то мы будем в проигрыше: налог платим с 30 т.р., а на счет упадет, скажем, всего 28500 руб. Тут уж как повезет с курсом.

Здесь есть еще одна тонкость - курс банка постоянно меняется. Причем это совсем не тот курс, который используется для обмены валюты физ. лицами и который устанавливается раз в сутки. Интересующий наш курс изменяется непрерывно и зависит от торгов на ММВБ. Когда вы подаете заявление на продажу валюты - там один курс. Через час, когда оператор это заявление пускает в работу, курс может быть совершенно другим. Сплошная лотерея.

Из банка удалось вытянуть следующую информацию по этому вопросу. "На сегодняшний день действуют следующие спрэды по паре ЕВРО/рубль:

с 10-01 до 18-00 (время московское) - 30 копеек,
с 18-01 до 10-00 (время московское) - 70 копеек"

Спред здесь - это расхождение с курсом ЦБ. Разница во времени у нас (в Красноярске) с Москвой 4 часа. В результате, если я оформляю заявку на продажу утром, до 14:00 (=10:00 по Москве), то натыкаюсь на курс примерно на 40 копеек ниже, чем после 14:00 (кр). Так что теперь до 14:00 по красноярскому времени заявки я не оформляю..

P.s. подозреваю, далеко не все банки продают валюту на бирже. В крупных банках подобной "лотереи", скорее всего, можно избежать.

Налоговые вычеты за платежи в пенсионный фонд РФ

Все индивидуальные предприниматели ежегодно платят отчисления в ПФР, ФФОМС и ТФОМС. В 2010 г. сумма этих отчислений составляет 12 т.р. Сумма приличная... Но есть один положительный момент - ее можно использовать для сокращения величины налогов.

Если вкратце, то согласно статье 346.21. НК РФ, вы имеете право уменьшить налог на сумму отчислений в ПФР, ФФОМС и ТФОМС но не более чем на 50% от суммы налога. Для того, чтобы вычесть из налога все 12 т.р., ваш суммарный налог за год должен составить более 24 т.р. Вот здесь детально разбирается алгоритм расчета налога с учетом вычетов.

Налоги платятся ежеквартально, а отчисления в ПФР можно платить ежемесячно, ежеквартально, или всю сумму разом в конце года. Для вычетов это не имеет значение - даже если вы платите в ПФР в конце года, налоговый вычет на всю сумму налогов сделать все-равно можно.

Итоги: минимизация расходов

Итак, вот несколько возможных путей минимизации затрат связанных с расчетным счетом.

Постарайтесь получать платежи в то время, когда курс валюты растет, а не падает (да, я знаю что фиг подгадаешь :).
Правильно выбирайте время дня для создания заявки на продажу валюты - время, когда банковский курс валюты максимально высок и близок к курсу ЦБ.
Лучше забрать деньги два раза в одном месяце, чем по одному разу в каждом из двух месяцев. В первом случае вы заплатите комиссию за обслуживание счета один раз, во втором - дважды.
Используйте налоговые вычеты связанные с платежами в ПФ РФ, ФФОМС и ТФОМС для сокращение величины налогов.
Один крупный платеж выгоднее двух мелких - комиссия за проведение валютной операции для них одинакова.

Update: И еще: нужно вовремя сдавать отчетность в пенсионный фонд и налоговую, чтобы штрафов не накидали.. В пенсионном фонде с этого года тоже приходится отчитываться.

Первая бета Animated Widget Contact Launch на маркете.

2010-12-21T11:21:00.003+07:00

Первая бета версия моего приложения Animated Widget Contact Launch (AWidget) появилась на Android Market.

Это - виджит, которому можно присвоить контакт из телефоной книги. Виджет отображает фотографию из свойств контакта или, если контакт без фотографии, имя.

Назначение виджета - ускорить выполнение операций с контактом. При щелчке по виджиту из него анимированно выезжает куча шариков, каждый из которых связан с той или иной функцией - позвонить, послать email, смс, отредактировать контакт и т.п.

Таким образом, любая операция с контактом выполняется в два щелчка. Плюс анимация радует глаз.

AWidget любопытен тем, что в нем использована технология анимации виджета по клику, о которой я недавно рассказывал.

Мелких багов в AWidget пока еще достаточно (это бета версия, которая требует обкатки), но в целом все работает. Плюс - AWidget полностью бесплатен.

Update: Вот Пост на 4PDA, посвященный Animated Widget Contact Launch. Со скриншотами.

Update2: сайт AWidget.

Анимированный виджет на Android. Анимация по клику.

2010-12-02T18:39:00.001+07:00

Итак, анимированный виджет на Android сделать толком не получается. Идем в обход?

Идея проста. Делаем виджет. При нажатии на виджет появляется активити. Активити полностью прозрачна и целиком перекрывает рабочий стол. В том месте, где на рабочем столе расположен исходный виджет, на активити рисуем такой же "виджет". И уже этот "виджет" мы можем сделать анимированным.

Практика показала, что такой подход действительно работает. Но в нем много нюансов. О них и пойдет речь.

Тестовый проект AniClick
Рассмотрим простейший пример такого анимированного виджета. Для простоты вновь используем ту же анимацию, что в прошлый раз - крутящееся колесо. Анимация колеса состоит из 10 кадров. Статический виджет показывает колесо - один (по умолчанию, самый первый) кадр анимации. При нажатии на виджет колесо на экране начинает крутиться. При повторном нажатии колесо останавливается. Теперь виджет показывает другой кадр анимации - тот, на котором произошел клик. Если снова кликнуть виджет, колесо вновь начнет крутиться. И т.д.

Проект называется AniClick. В проекте 5 основных исходных файлов:

AniWidgetProvider.java - реализация провайдера виджета. Содержит код для вызова активити и обновления виджета после завершения работы активити.
DataStorage.java - отвечает за сохранение и загрузку данных (номер кадра) каждого экземпляра виджета в SharedPreferences.
MainActivity.java - прозрачная активити, которая перекрывает экран при нажатии на виджет. Внутренний класс ScreenView обеспечивает немедленную перерисовку экрана и позволяет достичь приемлемых значений FPS.
ScreenManager.java - эмулирует анимацию (перебирает кадр за кадром) и отрисовывет текущий кадр на переданный canvas.
Utils.java - вспомогательный класс, позволяющий конвертировать Rect в строку и обратно.

Проект небольшой, классы легковесные и довольно простые. Исходные коды можно просмотреть онлайн, можно скачать в виде 7z-архива.

Теперь переходим к особенностям реализации.

Вызов активити при нажатии на виджет
Первая проблема - получение координат исходного виджета. Нам они необходимы, чтобы мы могли нарисовать на активити картинку точно поверх исходного виджета.

//class AniWidgetProvider
...
public void onReceive(Context context, Intent intent) {
  final String action = intent.getAction();
  if (action.equals(ACTION_WIDGET_CONTROL)) {
    Uri uri = intent.getData();
    Rect widget_pos = intent.getSourceBounds();
  }
}

Все просто. Но код работает только под API 2.1. В более ранних версиях API функции getSourceBounds нет и координаты кликнутного виджета узнать невозможно (?).

Вызов activity из виджета выполняется следующим образом:

private void make_widget_action(Context context, int appWidgetId, Rect widgetPos) {
 Intent start = new Intent(context, MainActivity.class);
 start.addFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
 start.addFlags(Intent.FLAG_ACTIVITY_NO_ANIMATION);
 start.putExtra(PARAM_WIDGET_ID, appWidgetId); 
 start.putExtra(PARAM_WIDGET_POSITION, Utils.RectToStr(widgetPos)); 
 context.startActivity(start);
}

Прозрачная activity
Наша активити должна быть прозрачной. Как делать прозрачные activity известно - нужно использовать тему @android:style/Theme.Translucent. Беда в том, что в этой теме свойство стиля android:windowNoTitle выключено. Поэтому, при нажатии на виджет, сверху будет появляться заголовок activity. Отключить заголовок можно, создав собственную тему:

<!-- res/values/TranslucentNoTitleBarTheme.xml -->
<?xml version="1.0" encoding="utf-8"?>
<resources>
  <style name="TranslucentNoTitleBarTheme" parent="@android:style/Theme.Translucent">
 <item name="android:windowNoTitle">false</item>
  </style>
</resources>

и применив ее в манефесте к нашей activity:

<activity android:name=".MainActivity"
  android:theme="@style/TranslucentNoTitleBarTheme"
  android:label="@string/app_name">
</activity>

Обновление виджета после завершения активити
Ткнули на крутящееся колесо, колесо остановилось, activity закрывается. Запомнили кадр, который показывался в момент клика. Теперь нужно сообщить виджету о том, что его картинку следует обновить. Это делается следующим образом. В activity даем команду виджиту:

public class MainActivity extends Activity {
....
@Override
public boolean onTouchEvent(MotionEvent event) {
//any click on the animation stops it  
 if (event.getAction() == MotionEvent.ACTION_DOWN) { 
    ...
    Intent active = new Intent(this, AniWidgetProvider.class);
    active.setAction(AniWidgetProvider.ACTION_UPDATE_WIDGET_CONTEXT);
    Uri uri = Uri.parse(AniWidgetProvider.URI_SCHEME + "://widget#");
    uri = uri.buildUpon()
      .appendQueryParameter("widget_id", String.valueOf(m_WidgetId))
      .build();
    active.setData(uri);      
    this.sendBroadcast(active); //сообщаем виджету об обновлении
   ...
 }
 return super.onTouchEvent(event);
}
...
}

В провайдере виджета принимаем и выполняем эту команду:

//class AniWidgetProvider
public static final String ACTION_UPDATE_WIDGET_CONTEXT 
  = "com.rammus.aniclick.UPDATE_WIDGET_CONTEXT";
...
@Override
public void onReceive(Context context, Intent intent) {
...
 if (action.equals(ACTION_UPDATE_WIDGET_CONTEXT)) {
   Uri uri = intent.getData();
   int widget_id = Integer.parseInt(uri.getQueryParameter("widget_id"));
   if (widget_id != AppWidgetManager.INVALID_APPWIDGET_ID) {
  //перерисовывем картинку
    WidgetInstanceManager wim = get_instance(widget_id);
    wim.ReinitializeWidgetBitmap(context);
  //даем команду виджету обновить картинку
    RemoteViews remote_views 
       = new RemoteViews(context.getPackageName()
            , R.layout.widget);
    update_widget_view(AppWidgetManager.getInstance(context)
       , widget_id
       , remote_views);
   } else super.onReceive(context, intent);
 }
}
private void update_widget_view(AppWidgetManager appWidgetManager
  , int appWidgetId, RemoteViews remoteViews) {
  WidgetInstanceManager wim = get_instance(appWidgetId);  
  remoteViews.setImageViewBitmap(R.id.widget_image_view, wim.GetBitmap() );
  appWidgetManager.updateAppWidget(appWidgetId, remoteViews);
}

View для рисования на activity.
Чтобы можно было рисовать на активити, нам нужен View. Изначально я пошел следующим путем:

public class ActivityMain extends Activity {
 private ScreenView m_MainView;
 ...

 @Override
 public void onCreate(Bundle savedInstanceState) {
   super.onCreate(savedInstanceState);     
   m_MainView = new ScreenView(this);
   setContentView(m_MainView);
   ...
 }

 private class ScreenView extends View { 
  public ScreenView(Context context){
   super(context);
  }

  //рисуем текущий фрейм анимации на активити
  @Override protected void onDraw(Canvas canvas) {
    super.onDraw(canvas);   
    RedrawScreen();
  }
 } //ScreenView

 private class AnimationThread extends TimerTask {  
  @Override 
  public void run() {
  //запускается 25 раз в секунду
  //перейти к следующему кадру анимации
    MakeAnimationStep();
  //перерисовать активити
    ActivityMain.this.m_MainView.postInvalidate();
  }   
 }
}

У нас два вспомагательных класса. ScreenView - это View, на котором рисуется очередной фрейм анимации. AnimationThread - поток, который 25 раз в секунду увеличивает номер текущего кадра анимации и дает команду перерисовать активити. Все работает, но анимация рисуется рывками - часть кадров пропускается.

Причина пропусков очевидна. Команда invalidate не обновляет экран мгновенно - она лишь помещает команду redraw в очередь. У нас команды redraw генерируются с заданным FPS - 25 раз в секунду. А слишком частые redraw приводят к тому, что OS объединяет несколько redraw в одну команду (для оптимизации). Для покадрового вывода анимации такое поведение не подходит.

SurfaceView вместо View
При разработке игр вместо View используют SurfaceView. Основное отличие - в SurfaceView можно рисовать из фоновых потоков, что идеально подходит в нашем случае. Вот как выглядит код с SurfaceView:

class ScreenView extends SurfaceView implements SurfaceHolder.Callback { 
 private final String TAG_LOG = "com.rammus.flw.ScreenView";
 SurfaceHolder m_SurfaceHolder;
 
 public ScreenView(Context context){
  super(context);

  m_SurfaceHolder = this.getHolder();
  //ставим формат TRANSLUCENT чтобы получить 
  //прозрачную activity
  m_SurfaceHolder.setFormat(PixelFormat.TRANSLUCENT );
  m_SurfaceHolder.addCallback(this);
 }

  public void surfaceCreated(SurfaceHolder holder) {
  //необходимо реализовать интерфейс SurfaceHolder.Callback
  //и вызвать Repaint() при создании поверхности.
  //Иначе мы получим моргание экрана в момент запуска activity.
    Repaint(); 
  }

  public void surfaceDestroyed(SurfaceHolder holder) {
  }  
 
  public void surfaceChanged(SurfaceHolder holder, int format, int w, int h) {
  }  

  @Override protected void onDraw(Canvas canvas) {
    super.onDraw(canvas);   
  }

  private void paint(Canvas canvas) {
    RedrawScreen();
  }
 
  public void Repaint() {
  //доступ к lockCanvas должен быть синхронизирован
  //чтобы функцию Repaint можно было вызывать из
  //разных потоков
    synchronized (m_SurfaceHolder) {
 Canvas c = m_SurfaceHolder.lockCanvas();
 if (c != null) {
     try {
     super.draw(c);
     paint(c);
   } finally {
     m_SurfaceHolder.unlockCanvasAndPost(c);
   }
       } else {
  Log.e(TAG_LOG, "c is null!");
       }
   }
 } //Repaint
} //ScreenView

public class ActivityMain extends Activity {
 private ScreenView m_MainView;
 ...
 @Override
 public void onCreate(Bundle savedInstanceState) {
   super.onCreate(savedInstanceState);     
   m_MainView = new ScreenView(this);
   setContentView(m_MainView);
   ...
 }

 private class AnimationThread extends TimerTask {  
   @Override 
   public void run() {
     m_ScreenManager.MakeAnimationStep();
     //перерисовка экрана вызывается из ФОНОВОГО потока.
     m_MainView.Repaint();
   }   
 } 
}

Вместо invalidate мы вызываем функцию Repaint, которая рисует картинку на SurfaceView.

Здесь хочу обратить внимание на несколько важных моментов.

Для того, чтобы наша поверхность была прозрачной, необходимо вызвать
setFormat(PixelFormat.TRANSLUCENT) По умолчанию установлен формат PixelFormat.OPAQUE, это не то.
Перерисовка экрана вызывается из фонового потока AnimationThread. Чтобы перерисовка работа корректно, вызовы функций lockCanvas и unlockCanvasAndPost должны быть синхронизированы. Отсюда synchronize в коде.
ScnreenView должен реализовывать интерфейс SurfaceHolder.Callback и обязательно вызывать функцию отрисовки при создании поверхности в функции surfaceCreated. Если этого не сделать, то при запуске activity экран на короткое мгновение будет становиться черным.
Функция lockCanvas корректно отрабатывает только после полного создания activity. Если вызвать функцию Repaint в ActivityMain.OnCreate, то мы lockCanvas вернет null и мы получим ошибку "c is null!" в логе. Таким образом МГНОВЕННО запустить анимацию не получится - задержка равная времени создания activity неизбежна.

И последнее - наша activity прозрачна. Сквозь нее виден рабочий стол и, естественно, наш исходный виджет. В тестовом примере анимированное колесо крутится на активити, а под ним видно колесо, нарисованное на виджите. Думаю, что эта проблема вполне решаема, но в тестовом проекте я ее не касался.

Выводы
Подход с псевдоанимированным виджетом оказался вполне рабочим. Конечно, есть определенные проблемы - под активити видно исходный виджет, запуск анимации происходит не мгновенно, а лишь после создания активити, анимация в виджете работает только по клику на виджет и т.д. Однако, существует ряд приложений, в которых такой анимации более чем достаточно. Для них главное, чтобы значение FPS получалось пристойным - а этого можно добиться.

Одно из таких приложений мы сейчас разрабатываем. Надеюсь, уже скоро оно появится на маркете и тогда данный подход пройдет проверку боем. Там посмотрим.

Исходные коды проекта
Просмотреть исходные коды, скачать исходные коды, скачать apk. Short description in English is here.

Анимированный виджет на Android и setImageViewUri

2010-11-18T10:56:00.000+07:00

В прошлый раз, обсуждая возможность создания анимированного виджета на Android, я остановился на прискорбном выводе: виджет с динамически генерируемой анимацией создать не получается. Если картинки для анимации сидят в ресурсах - тогда другое дело, функция setImageViewResource отрабатывает бодро. А вот пересылка в remoteview битмапок через setImageViewBitmap по несколько раз в секунду приводит к катастрофическому проседанию FPS и ошибкам FAILED BINDER TRANSACTION. Остался открытым вопрос - что если для обновления виджета применить функцию setImageViewUri? Попробуем.

За основу я взял тот же тестовый проект, что и в прошлый раз - TestAnimatedWidget. Добавил в него третий режим эмуляции анимации:

private enum tmodes {
  MODE_PASS_BITMAP_ID //setImageViewResource
  , MODE_PASS_BITMAP_ITSELF //use setImageViewBitmap
  , MODE_PASS_BITMAP_URI //use setImageViewUri
}; 
 private static String PATH_TO_INTERNAL_FILES; //path to stored bitmaps

Ввел функцию save_all_bitmaps_from_resources_to_application_directory для сохранения битмапок из ресурсов в файлы:

private void save_all_bitmaps_from_resources_to_application_directory(Context context) {
  for (int i = 0; i < WidgetInstanceContent.WHEEL_ANIMATION.length; ++i) {
    Bitmap bmp = WidgetInstanceContent.GetCachedBitmapById(i + 1);
    try {    
      String filename = String.valueOf(i + 1) + ".png";
      FileOutputStream out = context.openFileOutput(filename, Context.MODE_WORLD_READABLE);    
      bmp.compress(Bitmap.CompressFormat.PNG, 100, out);
    } catch (Exception e) {
      e.printStackTrace();
   }
 }
}

Эта функция вызывается в OnUpdate.

Uri uri = Uri.fromFile(context.getFileStreamPath("FILENAME"));
PATH_TO_INTERNAL_FILES = uri.toString();
if (USE_GENERATED_BITMAPS == tmodes.MODE_PASS_BITMAP_URI) {
  save_all_bitmaps_from_resources_to_application_directory(context);
}

В функцию update_widget_view добавил обработку третьего режима эмуляции анимации:

...
} else if (USE_GENERATED_BITMAPS == tmodes.MODE_PASS_BITMAP_URI) { 
//pass URI of bitmap to remote view
  int step = wic.FrameId;
  String s = PATH_TO_INTERNAL_FILES;
  s = s.replace("FILENAME", String.valueOf(step + 1) + ".png");
  try {   
    s = s.replace("file://", "");
    Uri uri = Uri.parse(new File(s).toString());
    remoteViews.setImageViewUri(R.id.bkview, uri);
    appWidgetManager.updateAppWidget(appWidgetId, remoteViews);
  } catch (Exception ex) {
    Log.e(TAG_LOG, ex.toString());
  }
}

Несколько замечаний по коду. Переменная PATH_TO_INTERNAL_FILES используется для хранения пути к сохраняемым файлам (получить этот путь в update_widget_view не удается, т.к. там нет context). В качестве имени файла в ней указано "FILENAME" - в процессе работы вместо "FILENAME" подставляется реальное имя файла. Префикс "file://" приходится удалять, т.к. с ним setImageViewUri не работает, похоже из-за вот этого бага вылазит ошибка "resolveUri failed on bad bitmap uri...".

Результат

Результат отрицательный. Ошибка FAILED BINDER TRANSACTION вылазить перестала, но анимация выглядит отвратительно: слишком многие кадры пропускаются. Функцию setImageViewUri можно использовать для загрузки больших картинок в виджет, а вот увеличить вызывать ее 10-25 раз в секунду, чтобы сэмулировать анимацию, не получится.

Исходные коды

Обновленную версию примера можно взять в репозитории TestAnimatedWidget

Исходные коды для блога на google code

2010-11-17T13:44:00.000+07:00

Наконец то решил для себя вопрос, где хранить исходные коды мелких проектов, которые я создаю для блога. Решил тривиально - завел на google code новый проект dvsrc. Теперь буду заливать все исходники туда и для каждого создавать короткое wiki-сообщение на английском языке. Исходники будут подразделяться на группы C++, C#, Delphi, Android и т.д. Надеюсь, будет удобно и мне, и читателям.

Блог dv

Тестирование Android приложений

С чего начать

Проблема скорости запуска тестов

Mock-библиотеки под Android

Автоматизация тестирования. Многократное воспроизведение записанного теста.

Облачные сервисы

Сервисы для бета-тестирования

Monkey и т.д.

Code coverage

Сбор информации от пользователей

Другие инструменты

Тестировщику на заметку

Особенности окружающей среды

Методологии

Список языков с переводом названий (ISO 639-1).

Сдача налоговой отчетности ИП за 2011 год

Софт

Подготовка

Сведения о среднесписочной численности работников

Декларация

Книга доходов и расходов

Идем в налоговую

Статические анализаторы кода для Android-приложения.

Lint

FindBugs

Checkstyle

CodePro Analytix

PMD

Motodev App Validator

Klocwork Solo for Java

JTest от Parasoft

Julia

Напоследок. Сравнительные тесты

Неверное сравнение строк

Проблемы со switch

NP-анализ

NP анализ. Файл 1

NP анализ. Файл 2

NP анализ. Файл 3

Итоги

Диалог выбора на Android или контекстное меню с картинками.

Постановка задачи

Реализация UniDialog

Пример 1. Список строк

Пример 2. Список элементов с картинками и описанием

Заключение

Три недели в Као-Лаке.Отдых в Таиланде в октябре 2011.

Подготовка и первоначальные расходы

Путешествие с ребенком. Особенности

Khao Lak

Погода

Отель Khaolak Laguna Resort

Страховой случай

Перелет на Пхукет и обратно на Air Asia

Банког, Pratunum Park Hotel

Шоппинг в Бангкоке

Dirty Free в аэропорте

Общие впечатления

Книга Version Control by Example в свободном доступе.

Книги которые стоит прочитать. Разные версии топов.

Списки на русском

Списки на английском

Книжные блоги

Специализированные списки

Производительность Android приложения.

Общие рекомендации Google

Грамотная работа с UI

Снижение времени отклика приложения

Корректное использование памяти

Производительность в играх

SparseArray вместо HashMap

Выводы

Мультфильмы для самых маленьких

Мультфильмы студии Aardman

Иностранные мультсериалы

Методика Глена Домана

Обучающие мультфильмы Роберта Саакянца

Развивающие мультфильмы

Российские мультфильмы